Afficher les journaux acheminés vers Pub/Sub

Ce document explique comment trouver les entrées de journal que vous avez acheminées de Cloud Logging vers des sujets Pub/Sub, ce qui se produit presque en temps réel. Nous vous recommandons d'utiliser Pub/Sub pour intégrer des journaux Cloud Logging à des logiciels tiers.

Lorsque vous acheminez des entrées de journal vers un sujet Pub/Sub, Logging publie chaque entrée de journal en tant que message Pub/Sub dès qu'il la reçoit. Les entrées de journal acheminées sont généralement disponibles en quelques secondes après leur arrivée dans Logging, avec 99% des entrées de journal disponibles en moins de 60 secondes.

Avant de commencer

Pour en savoir plus sur les récepteurs, consultez la page Présentation des modèles de routage et de stockage: récepteurs.

Pour savoir comment acheminer vos entrées de journal, consultez la section Acheminer les journaux vers des destinations compatibles.

Voir les journaux

Pour afficher vos journaux au fur et à mesure qu'ils sont diffusés via Pub/Sub, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Topics (Sujets) :

    Accéder à Sujets

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Pub/Sub.

  2. Recherchez ou créez un abonnement au sujet utilisé dans le récepteur de journaux, puis extrayez une entrée de journal. Vous devrez peut-être attendre la publication d'une nouvelle entrée.

Organisation des journaux

Le champ data de chaque message correspond à un objet LogEntry encodé en base64. Un abonné Pub/Sub peut par exemple extraire l'objet suivant d'un sujet qui reçoit des entrées de journal. L'objet affiché contient une liste qui ne comprend qu'un seul message. Notez toutefois que Pub/Sub peut renvoyer plusieurs messages lorsque plusieurs entrées de journal sont disponibles. La valeur data (environ 600 caractères) et la valeur ackId (environ 200 caractères) ont été raccourcies pour rendre l'exemple plus lisible:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Si vous décodez le champ data et le mettez en forme, vous obtenez l'objet LogEntry suivant:

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Intégration de Pub/Sub avec des services tiers

Vous acheminez vos entrées de journal vers un sujet Pub/Sub. Le tiers reçoit vos entrées de journal en s'abonnant au même sujet. Logging autorise l'intégration de la journalisation avec des services tiers tels que Splunk ou Datadog. Pour obtenir la liste actuelle des intégrations, consultez la section Partenaires pour les intégrations de Google Cloud Observability.

Pour effectuer l'intégration, attendez-vous à effectuer une démarche semblable à la suivante :

  1. Dans le projet d'où proviennent vos entrées de journal, créez votre sujet Pub/Sub avec un abonnement par défaut:

    1. Activez l'API Pub/Sub.

      Enable the API

    2. Dans la console Google Cloud, accédez à la page Topics (Sujets) :

      Accéder à Sujets

      Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Pub/Sub.

    3. Cliquez sur Create topic (Créer un sujet).

    4. Dans le champ ID du sujet, saisissez un ID pour votre sujet. Exemple : projects/my-project-id/topics/my-pubsub-topic.

      Chaque message envoyé au sujet inclut l'horodatage de l'entrée de journal acheminée dans le message Pub/Sub attributes. Par exemple :

      "attributes": {
        "logging.googleapis.com/timestamp": "2024-07-01T00:00:00Z"
      }
      
    5. Conservez l'option Ajouter un abonnement par défaut. Ne sélectionnez aucune autre option.

    6. Cliquez sur Create topic (Créer un sujet).

  2. Dans le projet d'où proviennent vos entrées de journal, configurez Logging pour acheminer les entrées de journal vers votre sujet:

    1. Dans la console Google Cloud, accédez à la page Routeur de journaux :

      Accéder au routeur de journaux

      Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

    2. Cliquez sur Créer un récepteur, saisissez un nom et une description pour le récepteur, puis cliquez sur Suivant.
    3. Dans le menu Sink Service (Service du récepteur), sélectionnez Cloud Pub/Sub topic (Sujet Cloud Pub/Sub), sélectionnez le sujet Pub/Sub, puis cliquez sur Next (Suivant).
    4. Sélectionnez les entrées de journal à inclure dans le récepteur, puis cliquez sur Suivant.
    5. Facultatif: sélectionnez les entrées de journal à exclure.
    6. Cliquez sur Créer un récepteur.

      Une boîte de dialogue contenant le message Récepteur créé s'affiche. Ce message indique que votre récepteur a bien été créé et qu'il dispose des autorisations nécessaires pour acheminer les futures entrées de journaux correspondantes vers la destination que vous avez sélectionnée.

    7. Attribuez le rôle Éditeur Pub/Sub (roles/pubsub.publisher) à l'identité du rédacteur du récepteur. Pour en savoir plus sur l'obtention de l'identité du rédacteur et l'attribution d'un rôle, consultez la section Définir les autorisations de destination.

    Cloud Logging envoie désormais des entrées de journal à votre sujet Pub/Sub.

  3. Créez l'abonnement.

    Par exemple, si vous utilisez Dataflow pour extraire les données de votre sujet Pub/Sub et les envoyer à Datadog, vous devez suivre deux étapes:

    1. Créez ou obtenez un compte de service, puis attribuez-lui les rôles IAM nécessaires pour vous abonner à votre sujet. Le compte de service doit disposer au minimum des rôles suivants:

      Pour en savoir plus, consultez les documents suivants :

    2. Créez une tâche à partir d'un modèle, puis exécutez-la. Pour cet exemple, vous devez utiliser le modèle Pub/Sub vers Datadog.

Le service tiers devrait commencer à recevoir immédiatement les entrées de journal.

Pour découvrir des scénarios de routage de journaux courants à l'aide de Pub/Sub, consultez la page Scénarios d'exportation de données Cloud Logging: Splunk.

Dépannage

Si des entrées de journal semblent manquantes dans la destination de votre récepteur ou si vous pensez que votre récepteur n'achemine pas correctement les entrées de journal, consultez la section Résoudre les problèmes de routage des journaux.

Tarifs

Cloud Logging ne facture pas l'acheminement des journaux vers une destination compatible. Toutefois, la destination peut appliquer des frais. À l'exception du bucket de journaux _Required, Cloud Logging facture le streaming de journaux dans des buckets de journaux et le stockage pendant une durée supérieure à la période de conservation par défaut du bucket de journaux.

Cloud Logging ne facture pas la copie des journaux, la définition des champs d'application des journaux ni les requêtes émises via les pages Explorateur de journaux ou Analyse de journaux.

Pour en savoir plus, consultez les documents suivants :