Configurer des buckets de journaux

Ce document explique comment créer et gérer des buckets Cloud Logging à l'aide de la console Google Cloud, de la Google Cloud CLI et de l'API Logging. Il fournit également des instructions pour créer et gérer des buckets de journaux au niveau du projet Google Cloud. Vous ne pouvez pas créer de buckets de journaux au niveau du dossier ou de l'organisation. Toutefois, Cloud Logging crée automatiquement des buckets de journaux _Default et _Required au niveau du dossier et de l'organisation.

Vous pouvez mettre à niveau des buckets de journaux pour utiliser Log Analytics. L'Analyse de journaux vous permet d'exécuter des requêtes SQL sur vos données de journaux, ce qui vous aide à résoudre les problèmes liés aux applications, à la sécurité et au réseau.

Pour utiliser BigQuery pour analyser vos données de journalisation, vous avez deux options:

  • Mettez à niveau un bucket de journaux pour utiliser l'Analyse de journaux, puis créez un ensemble de données BigQuery associé. Dans ce scénario, Logging stocke vos données de journaux, mais BigQuery peut les lire.

  • Exporter vos entrées de journaux vers BigQuery Dans ce scénario, vous devez créer un récepteur. BigQuery stocke et gère les données, et vous avez la possibilité d'utiliser des tables partitionnées.

Lorsque vos données de journaux sont disponibles pour BigQuery, vous pouvez les joindre à d'autres données stockées dans BigQuery. Vous pouvez également y accéder à partir d'autres outils, comme Looker Studio et Looker.

Pour obtenir une présentation des concepts liés aux buckets, consultez la page Présentation du routage et du stockage : buckets de journaux.

Ce document n'explique pas comment créer un bucket de journaux qui utilise une clé de chiffrement gérée par le client (CMEK). Si vous souhaitez en savoir plus sur ce sujet, consultez la section Configurer CMEK pour le stockage des journaux.

Avant de commencer

Pour faire vos premiers pas avec les buckets, procédez comme suit :

  • Configurez votre projet Google Cloud :

    1. Make sure that billing is enabled for your Google Cloud project.

    2. Pour obtenir les autorisations nécessaires pour créer, mettre à niveau et associer un bucket de journaux, demandez à votre administrateur de vous accorder le rôle IAM Rédacteur de configuration des journaux (roles/logging.configWriter) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

      Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

      Pour obtenir la liste complète des autorisations et des rôles, consultez la section Contrôle des accès avec IAM.

    3. Facultatif: Pour afficher les données stockées dans un bucket de journaux à l'aide de BigQuery, procédez comme suit :
      1. Vérifiez que l'API BigQuery est activée. Vous pouvez vérifier que l'API est activée en listant les services disponibles.
      2. Votre rôle Identity and Access Management inclut les autorisations qui vous permettent de créer un ensemble de données associé. Pour en savoir plus, consultez la section Autorisations pour les ensembles de données BigQuery associés.
  • Familiarisez-vous avec les régions disponibles dans lesquelles vous pouvez stocker vos journaux.

  • Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

    REST

    Pour utiliser les exemples d'API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à gcloud CLI.

      Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init

    Pour en savoir plus, consultez la section S'authentifier pour utiliser REST dans la documentation sur l'authentification Google Cloud.

  • Si vous prévoyez d'utiliser la Google Cloud CLI ou l'API Cloud Logging pour créer ou gérer vos buckets de journaux, vous devez connaître les exigences de mise en forme de LogBucket.

Créer un bucket

Vous pouvez créer au maximum 100 buckets par projet Google Cloud.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Google Cloud, procédez comme suit:

Console Google Cloud

Pour créer un bucket de journaux dans votre projet Google Cloud, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Cliquez sur Créer un bucket de journaux.

  3. Saisissez un nom et une description pour votre bucket.

  4. Facultatif: Mettez à niveau votre bucket pour utiliser l'Analyse de journaux.

    1. Sélectionnez Effectuez la mise à niveau pour utiliser l'Analyse de journaux.

      Lorsque vous mettez à niveau un bucket pour utiliser l'Analyse de journaux, vous pouvez interroger vos journaux sur la page Analyse de journaux à l'aide de requêtes SQL. Vous pouvez également continuer à afficher vos journaux à l'aide de l'explorateur de journaux.

    2. Facultatif: Pour afficher vos journaux dans BigQuery, sélectionnez Créer un ensemble de données BigQuery lié à ce bucket, puis saisissez un nom d'ensemble de données unique.

      Lorsque vous sélectionnez cette option, BigQuery peut lire les données stockées dans votre bucket de journaux. Vous pouvez désormais effectuer des requêtes dans l'interface BigQuery, où vous pouvez joindre vos données de journal, et accéder aux données d'autres outils tels que Looker Studio et Looker.

  5. Facultatif: Pour sélectionner la région de stockage de vos journaux, cliquez sur le menu Sélectionner la région du bucket de journaux et sélectionnez une région. Si vous ne sélectionnez pas de région, la région global est utilisée, ce qui signifie que les journaux peuvent se trouver physiquement dans n'importe quelle région compatible.

  6. Facultatif: Pour définir une période de conservation personnalisée pour les journaux du bucket, cliquez sur Suivant.

    Dans le champ Durée de conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est 30 days.

    Vous pouvez également mettre à jour votre bucket pour appliquer une durée de conservation personnalisée après sa création.

  7. Cliquez sur Create bucket (Créer un bucket).

    Une fois le bucket de journaux créé, la journalisation le met à niveau et crée l'association à l'ensemble de données, si ces options ont été sélectionnées.

    L'exécution de ces étapes peut prendre un certain temps.

gcloud

Pour créer uniquement un bucket de journaux, exécutez la commande gcloud logging buckets create. Si vous souhaitez mettre à niveau le bucket de journaux pour utiliser Log Analytics, incluez les options --enable-analytics et --async, et veillez à définir la variable LOCATION sur une région compatible:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

L'indicateur --async force la commande à être asynchrone. Le résultat d'une méthode asynchrone est un objet Operation. Il contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la page Méthodes d'API asynchrones.

Si vous ne souhaitez pas mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux, omettez les indicateurs --enable-analytics et --async.

Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID my-bucket dans la région global, votre commande se présente comme suit :

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Par exemple, pour créer un bucket avec l'élément BUCKET_ID my-upgraded-bucket dans l'emplacement global, puis mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux, votre commande se présente comme suit:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

Pour créer un bucket, utilisez la méthode projects.locations.buckets.create ou projects.locations.buckets.createAsync. Préparez les arguments de la méthode comme suit :

  1. Définissez le paramètre parent comme la ressource dans laquelle créer le bucket :projects/PROJECT_ID/locations/LOCATION

    La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.

    Par exemple, si vous souhaitez créer un bucket pour le projet my-project dans la région global, votre paramètre parent se présente comme suit: projects/my-project/locations/global

  2. Définissez le paramètre bucketId (par exemple, my-bucket).

  3. Effectuez l'une des opérations suivantes:

    • Pour créer un bucket de journaux, puis le mettre à niveau pour utiliser l'Analyse de journaux:

      1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.

      2. Appelez la méthode asynchrone projects.locations.buckets.createAsync pour créer le bucket.

        La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la page Méthodes d'API asynchrones.

        L'exécution de la méthode createAsync prend plusieurs minutes. Cette méthode ne génère pas de message d'erreur ni ne échoue lorsque la valeur booléenne analyticsEnabled est définie sur true.

    • Sinon, appelez la méthode synchrone projects.locations.buckets.create pour créer le bucket.

Après avoir créé un bucket, créez un récepteur pour acheminer les entrées de journal vers votre bucket et configurez les vues des journaux pour contrôler les utilisateurs autorisés à accéder aux journaux de votre nouveau bucket et les journaux qu'ils peuvent consulter. Vous pouvez également mettre à jour le bucket pour configurer la conservation personnalisée et les champs restreints.

Suivre le volume de journaux stockés dans des buckets de journaux

La page Stockage des journaux de la console Google Cloud permet de suivre le volume des données de journaux stockées dans des buckets de journaux:

Dans la console Google Cloud, accédez à la page Stockage des journaux.

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

La page Stockage des journaux affiche un récapitulatif des statistiques de votre projet Google Cloud:

Les statistiques récapitulatives indiquent la quantité de données de journal stockées dans les buckets de journaux pour le projet sélectionné.

Les statistiques suivantes sont consignées :

  • Ingestion du mois en cours: quantité de données de journaux stockées par votre projet Google Cloud dans des buckets de journaux depuis le premier jour du mois civil en cours.

  • Ingestion du mois précédent: quantité de données de journaux stockées par votre projet Google Cloud dans des buckets de journaux au cours du dernier mois civil.

  • Ingestion prévue à la fin du mois: quantité estimée de données de journaux que votre projet Google Cloud stockera dans des buckets de journaux à la fin du mois calendaire en cours, en fonction de l'utilisation actuelle.

  • Stockage facturable du mois en cours: quantité de données de journaux conservées pendant plus de 30 jours et facturée.

Les statistiques précédentes n'incluent pas les journaux du bucket _Required. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.

La page Routeur de journaux de la console Google Cloud vous fournit des outils permettant de réduire les frais de stockage de journaux dans des buckets de journaux ou de stockage dépassant votre allocation mensuelle. Vous pouvez procéder comme suit :

  • Désactivez le stockage des journaux au niveau du bucket.
  • Excluez certaines entrées de journal de l'enregistrement dans des buckets de journaux.

Pour en savoir plus, consultez la page Gérer les récepteurs.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide du Google Cloud CLI ou de la console Google Cloud.

Mettre à jour un bucket

Pour mettre à jour les propriétés de votre bucket, telles que la description ou la durée de conservation, procédez comme suit :

Console Google Cloud

Pour mettre à jour les propriétés de votre bucket, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Cliquez sur Plus correspondant au bucket que vous souhaitez mettre à jour.

  3. Cliquez sur Modifier le bucket.

  4. Modifiez votre bucket comme désiré.

  5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les propriétés de votre bucket, exécutez la commande gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Pour mettre à jour les propriétés de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging.

Mettre à niveau un bucket pour utiliser l'Analyse de journaux

Pour mettre à niveau un bucket existant pour utiliser l'Analyse de journaux, les restrictions suivantes s'appliquent:

  • Le bucket de journaux a été créé au niveau du projet Google Cloud.
  • Le bucket de journaux est déverrouillé, sauf s'il s'agit du bucket _Required.

  • Aucune mise à jour du bucket n'est en attente.

Console Google Cloud

Pour mettre à niveau un bucket existant pour utiliser l'Analyse de journaux, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Recherchez le bucket que vous souhaitez mettre à niveau.

  3. Lorsque la colonne Log Analytics disponible affiche Mettre à niveau, vous pouvez mettre à niveau le bucket de journaux pour utiliser Log Analytics. Cliquez sur Mettre à niveau.

    Une boîte de dialogue s'ouvre. Cliquez sur Confirmer.

gcloud

Pour mettre à niveau votre bucket de journaux pour utiliser l'Analyse de journaux, exécutez la commande gcloud logging buckets update. Vous devez définir l'indicateur --enable-analytics et nous vous recommandons d'inclure également l'indicateur --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

L'indicateur --async force la commande à être asynchrone. Le résultat d'une méthode asynchrone est un objet Operation, qui contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la page Méthodes d'API asynchrones.

REST

Pour mettre à niveau un bucket de journaux pour utiliser l'Analyse de journaux, utilisez la méthode projects.locations.buckets.updateAsync de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.
  2. Pour le paramètre de requête de la commande, utilisez updateMask=analyticsEnabled.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

L'exécution de updateAsync peut prendre plusieurs minutes.

Lorsque vous souhaitez utiliser les fonctionnalités de BigQuery pour analyser vos données de journaux, mettez à niveau un bucket de journaux pour utiliser l'Analyse de journaux, puis créez un ensemble de données associé. Avec cette configuration, Logging stocke vos données de journaux, mais BigQuery peut les lire.

Console Google Cloud

Pour créer un lien vers un ensemble de données BigQuery pour un bucket de journaux existant, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Recherchez le bucket de journaux et vérifiez que la colonne Log Analytics disponible affiche Ouvert.

    Si cette colonne affiche Mettre à niveau, cela signifie que le bucket de journaux n'a pas été mis à niveau pour utiliser l'Analyse de journaux. Configurez l'Analyse de journaux:

    1. Cliquez sur Mettre à jour.
    2. Cliquez sur Confirmer dans la boîte de dialogue.

    Une fois la mise à niveau terminée, passez à l'étape suivante.

  3. Sur le bucket de journaux, cliquez sur Plus, puis sur Modifier le bucket.

    La boîte de dialogue Modifier le bucket de journaux s'ouvre.

  4. Sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez le nom du nouvel ensemble de données.

    Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous saisissez le nom d'un ensemble de données existant, l'erreur suivante s'affiche : Dataset name must be unique in the selected region.

  5. Cliquez sur OK, puis sur Mettre à jour le bucket.

    Une fois que Logging affiche le nom de l'ensemble de données associé sur la page Stockage des journaux, BigQuery peut mettre plusieurs minutes à le reconnaître.

gcloud

Pour créer un ensemble de données associé à un bucket de journaux mis à niveau pour utiliser l'Analyse de journaux, exécutez la commande gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

L'LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données BigQuery. La valeur de ce champ doit être unique pour votre projet Google Cloud.

La commande links create est asynchrone. Le résultat d'une méthode asynchrone est un objet Operation, qui contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la page Méthodes d'API asynchrones.

L'exécution de la commande links create prend plusieurs minutes.

Par exemple, la commande suivante crée un ensemble de données associé nommé mylink pour le bucket de journaux nommé my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous essayez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, l'erreur suivante s'affiche:

BigQuery dataset with name "LINK_ID" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser l'Analyse de journaux, l'erreur suivante s'affiche:

A link can only be created for an analytics-enabled bucket.

REST

Pour créer un ensemble de données BigQuery associé à un bucket de journaux existant mis à niveau à l'aide de l'Analyse de journaux, appelez la méthode projects.locations.buckets.links.create asynchrone de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Créez le corps de la requête pour la commande create. Le corps de la requête est au format d'objet Link.
  2. Pour le paramètre de requête de la commande, utilisez linkId=LINK_ID. L'LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données BigQuery. La valeur de ce champ doit être unique pour votre projet Google Cloud.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la page Méthodes d'API asynchrones.

L'exécution de la méthode links.create prend plusieurs minutes.

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous essayez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, l'erreur suivante s'affiche:

BigQuery dataset with name "LINK_ID" already exists.

Si vous essayez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser l'Analyse de journaux, l'erreur suivante s'affiche:

A link can only be created for an analytics-enabled bucket.

Verrouiller un bucket

Lorsque vous verrouillez les mises à jour pour un bucket, vous verrouillez également la règle de conservation du bucket. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que la durée de conservation de ce dernier n'a pas été atteinte pour toutes les entrée de journal qu'il contient.

Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :

Console Google Cloud

La console Google Cloud ne permet pas de verrouiller un bucket de journaux.

gcloud

Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update avec l'indicateur --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

REST

Pour verrouiller les attributs de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging. Définissez le paramètre locked sur true.

Répertorier les buckets

Pour répertorier les buckets de journaux associés à un projet Google Cloud et afficher des détails tels que les paramètres de conservation, procédez comme suit:

Console Google Cloud

Dans la console Google Cloud, accédez à la page Stockage des journaux.

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

Un tableau intitulé Buckets de journaux répertorie les buckets associés au projet Google Cloud en cours.

La table répertorie les attributs suivants pour chaque bucket de journaux :

  • Name (Nom) : nom du bucket de journaux.
  • Description: description du bucket.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • État : indique si le bucket est verrouillé ou non.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée avec un symbole d'avertissement.

gcloud

Exécutez la commande gcloud logging buckets list :

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux :

  • LOCATION : région dans laquelle les données du bucket sont stockées.
  • BUCKET_ID: nom du bucket de journaux.
  • RETENTION_DAYS : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • LIFECYCLE_STATE : indique si le bucket est en attente de suppression par Cloud Logging.
  • LOCKED : indique si le bucket est verrouillé ou non.
  • CREATE_TIME : horodatage indiquant la date de création du bucket.
  • UPDATE_TIME : horodatage indiquant la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région global, exécutez la commande gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Pour répertorier les buckets de journaux associés à un projet Google Cloud, utilisez projects.locations.buckets.list dans l'API Logging.

Afficher les détails d'un bucket

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :

Console Google Cloud

Dans la console Google Cloud, accédez à la page Stockage des journaux.

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

Dans le bucket de journaux, cliquez sur Plus, puis sélectionnez Afficher les détails du bucket.

La boîte de dialogue répertorie les attributs suivants pour le bucket de journaux:

  • Name (Nom) : nom du bucket de journaux.
  • Description: description du bucket de journaux.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • Analyse de journaux: indique si votre bucket a été mis à niveau pour utiliser l'Analyse de journaux.
  • Analyse BigQuery: indique si un ensemble de données BigQuery est associé à votre bucket.
  • Ensemble de données BigQuery: fournit un lien vers votre ensemble de données BigQuery, qui s'ouvre sur la page BigQuery Studio. La date à laquelle l'association à BigQuery a été activée est également affichée.

gcloud

Exécutez la commande gcloud logging buckets describe.

Par exemple, la commande suivante indique les détails du bucket _Default:

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux:

  • createTime : horodatage indiquant la date de création du bucket.
  • description: description du bucket de journaux.
  • lifecycleState : indique si le bucket est en attente de suppression par Cloud Logging.
  • name: nom du bucket de journaux.
  • retentionDays : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • updateTime : horodatage indiquant la date de la dernière modification du bucket.

REST

Pour afficher les détails d'un seul bucket de journaux, utilisez projects.locations.buckets.get dans l'API Logging.

Supprimer un bucket

Pour supprimer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour supprimer un bucket de journaux, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Recherchez le bucket que vous souhaitez supprimer, puis cliquez sur Plus.

  3. Si la colonne Ensemble de données associé dans BigQuery affiche un lien, supprimez l'ensemble de données BigQuery associé:

    1. Cliquez sur Modifier le bucket.

    2. Décochez Créer un ensemble de données BigQuery associé à ce bucket, cliquez sur OK, puis sur Mettre à jour le bucket.

      Une fois de retour sur la page Stockage des journaux, cliquez sur Plus pour le bucket que vous souhaitez supprimer, puis passez aux étapes suivantes.

  4. Cliquez sur Supprimer le bucket.

  5. Dans le panneau de confirmation, cliquez sur Supprimer.

  6. Sur la page Stockage des journaux, un indicateur spécifie que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

gcloud

Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

Vous ne pouvez pas supprimer un bucket de journaux lorsqu'il contient un ensemble de données BigQuery associé:

REST

Pour supprimer un bucket, utilisez projects.locations.buckets.delete dans l'API Logging.

Il s'agit d'une erreur de supprimer un bucket de journaux si ce bucket contient un ensemble de données BigQuery associé. Vous devez supprimer l'ensemble de données associé avant de supprimer le bucket de journaux:

Un bucket supprimé reste dans l'état "en attente de suppression" pendant sept jours et Logging continue d'acheminer des journaux vers le bucket pendant cette période. Pour arrêter l'acheminement des journaux vers un bucket supprimé, vous devez supprimer les récepteurs de journaux qui ont ce bucket en tant que destination, ou modifier le filtre des récepteurs acheminant des journaux vers ce bucket.

Vous ne pouvez pas créer de bucket de journaux portant le même nom qu'un bucket supprimé dont l'état est "en attente".

Restaurer un bucket supprimé

Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Cliquez sur Plus pour le bucket que vous souhaitez restaurer, puis sélectionnez Restaurer un bucket supprimé.

  3. Dans le panneau de confirmation, cliquez sur Restaurer.

  4. Sur la page Stockage des journaux, l'indicateur de suppression en attente est retiré de votre bucket de journaux.

gcloud

Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Pour restaurer un bucket en attente de suppression, utilisez projects.locations.buckets.undelete dans l'API Logging.

Alerte sur les octets de journaux mensuels stockés dans des buckets de journaux

Pour créer une règle d'alerte, sur la page Stockage des journaux de la console Google Cloud, cliquez sur  Créer une alerte d'utilisation. Ce bouton ouvre la page Créer une règle d'alerte dans "Monitoring" et renseigne le champ de type de métrique avec logging.googleapis.com/billing/bytes_ingested.

Pour créer une règle d'alerte qui se déclenche lorsque le nombre d'octets de journaux écrits dans vos buckets de journaux dépasse la limite définie par l'utilisateur dans Cloud Logging, utilisez les paramètres suivants.

ChampNouvelle condition
Valeur
Ressource et métrique Dans le menu Ressources, sélectionnez Global.
Dans le menu Catégories de métriques, sélectionnez Métrique basée sur les journaux.
Dans le menu Métriques, sélectionnez Octets de journaux ingérés par mois.
Filter Aucun
Dans toutes les séries temporelles
Agrégation de séries temporelles		 sum
Fenêtre glissante 60 m
Fenêtrage glissant max
Champ Configurer le déclencheur d'alerte
Valeur
Type de condition Threshold
Déclencheur d'alerte Any time series violates
Position du seuil Above threshold
Valeur du seuil Vous définissez la valeur acceptable.
Fenêtre du nouveau test La valeur minimale acceptable est de 30 minutes.

Pour en savoir plus sur les règles d'alerte, consultez la page Présentation des alertes.

Écrire dans un bucket

Vous n'écrivez pas directement de journaux dans un bucket de journaux. Vous écrivez plutôt des journaux sur une ressource Google Cloud: un projet, un dossier ou une organisation Google Cloud. Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux.

Lire des données à partir d'un bucket

Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Les vues de journaux vous permettent d'accorder à un utilisateur un accès à un sous-ensemble uniquement des journaux stockés dans un bucket de journaux. Pour savoir comment configurer des vues de journaux et accorder l'accès à des vues de journaux spécifiques, consultez Configurer des vues de journaux sur un bucket de journaux.

Pour lire les journaux d'un bucket de journaux, procédez comme suit :

Console Google Cloud

  1. Dans la console Google Cloud, accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour personnaliser les journaux affichés dans l'explorateur de journaux, cliquez sur Affiner le champ d'application, puis sélectionnez une option. Par exemple, vous pouvez afficher les journaux stockés dans un projet ou par vue de journal.

  3. Cliquez sur Appliquer. Le volet Résultats de la requête est actualisé avec les journaux correspondant à l'option sélectionnée.

Pour en savoir plus, consultez la section Présentation de l'explorateur de journaux: affiner le champ d'application.

gcloud

Pour lire les journaux d'un bucket de journaux, utilisez la commande gcloud logging read et ajoutez un LOG_FILTER pour sélectionner des données:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

REST

Pour lire les journaux d'un bucket de journaux, utilisez la méthode entries.list. Définissez resourceNames pour spécifier le bucket et la vue de journal appropriés, et définissez filter pour sélectionner les données.

Pour en savoir plus sur la syntaxe de filtrage, consultez la page Langage de requête Logging.

Configurer la conservation personnalisée

Lorsque vous créez un bucket de journaux, vous avez la possibilité de personnaliser la période pendant laquelle Cloud Logging stocke les journaux du bucket. Vous pouvez configurer la durée de conservation de n'importe quel bucket de journaux défini par l'utilisateur, ainsi que celle du bucket de journaux _Default.

Si vous raccourcissez la durée de conservation du bucket, un délai de grâce de sept jours est appliqué, pendant lequel les journaux expirés ne sont pas supprimés. Vous ne pouvez pas interroger ni afficher ces journaux expirés. Toutefois, pendant ces sept jours, vous pouvez restaurer un accès complet en prolongeant la durée de conservation du bucket. Les journaux stockés pendant la période de grâce sont comptabilisés dans vos frais de conservation.

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Cliquez sur Plus correspondant au bucket que vous souhaitez mettre à jour, puis sélectionnez Modifier le bucket.

  3. Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.

  4. Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation apparaît dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, exécutez la commande gcloud logging buckets update, après avoir défini une valeur pour RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, pour conserver les journaux dans le bucket _Default dans l'emplacement global pendant un an, votre commande se présentera comme suit:

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.

Méthodes d'API asynchrones

La réponse d'une méthode asynchrone telle que projects.locations.buckets.createAsync est un objet Operation.

Les applications qui appellent une méthode API asynchrone doivent interroger le point de terminaison operation.get jusqu'à ce que la valeur du champ Operation.done soit true:

  • Lorsque l'état done est défini sur false, l'opération est en cours.

    Pour actualiser les informations d'état, envoyez une requête GET au point de terminaison operation.get.

  • Lorsque done est défini sur true, l'opération est terminée et le champ error ou response est défini:

    • error: si défini, l'opération asynchrone a échoué. La valeur de ce champ est un objet Status qui contient un code d'erreur gRPC et un message d'erreur.
    • response: si défini, l'opération asynchrone est terminée et la valeur reflète le résultat.

Pour interroger une commande asynchrone à l'aide de Google Cloud CLI, exécutez la commande suivante:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Pour en savoir plus, consultez la page gcloud logging operations describe.

Résoudre les problèmes courants

Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

Pourquoi ne puis-je pas supprimer ce bucket ?

Si vous essayez de supprimer un bucket, procédez comme suit :

  • Assurez-vous de disposer des autorisations appropriées pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez la section Contrôle des accès avec IAM.

  • Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.

  • Vérifiez qu'aucun ensemble de données BigQuery n'est associé au bucket de journaux. Vous ne pouvez pas supprimer un bucket de journaux associé à un ensemble de données.

    L'erreur suivante s'affiche en réponse à une commande delete sur un bucket de journaux associé à un ensemble de données:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    Pour lister les liens associés à un bucket de journaux, exécutez la commande gcloud logging links list ou la méthode API projects.locations.buckets.links.list.

Quels comptes de service acheminent les journaux vers mon bucket ?

Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page IAM :

    Accéder à IAM

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est IAM et administration.

  2. À partir de l'onglet Autorisations, affichez la liste par Rôles. Une table contenant tous les rôles et comptes principaux IAM associés à votre projet Google Cloud s'affiche.

  3. Dans la tableFiltre zone de texte, saisissez Rédacteur de bucket de journaux.

    Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne gserviceaccount.com.

  4. Facultatif: si vous souhaitez empêcher un compte de service d'acheminer les journaux vers votre projet Google Cloud, cochez la case correspondant au compte de service, puis cliquez sur Supprimer.

Pourquoi les journaux d'un projet Google Cloud apparaissent-ils alors que je les ai exclus de mon récepteur _Default ?

Vous pouvez consulter les journaux d'un bucket de journaux dans un projet Google Cloud centralisé qui regroupe les journaux de votre organisation.

Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et que vous voyez les journaux que vous avez exclus du récepteur _Default, votre vue peut être définie au niveau du projet Google Cloud.

Pour résoudre ce problème, sélectionnez Vue des journaux dans le menu Affiner le champ d'application, puis sélectionnez la vue des journaux associée au bucket _Default dans votre projet Google Cloud. Vous ne devriez plus voir les journaux exclus.

Étape suivante

Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket.

Si vous gérez une organisation ou un dossier, vous pouvez spécifier l'emplacement des buckets de journaux _Default et _Required des ressources enfants. Vous pouvez également configurer si les buckets de journaux utilisent CMEK et le comportement du collecteur de journaux _Default. Pour en savoir plus, consultez la page Configurer les paramètres par défaut pour les organisations et les dossiers.

Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :