Représenter les résultats d'une requête SQL sous forme de graphique

Ce document explique comment représenter graphiquement les résultats de vos requêtes d'analyse de journaux, ce qui vous permet d'identifier des tendances et des modèles dans vos données de journaux. L'analyse de journaux vous permet de rechercher et d'agréger des journaux pour générer des insights utiles à l'aide de requêtes SQL.

Après avoir exécuté une requête, vous pouvez afficher ses résultats dans un tableau ou les convertir en graphique. Vous pouvez également enregistrer la requête et sa visualisation dans un tableau de bord. Par exemple, pour identifier les types de gravité générés par vos journaux, créez un graphique qui affiche le nombre de journaux générés au cours des 12 dernières heures et ventilez les journaux par severity. La capture d'écran suivante illustre les points de données répartis en différents types de gravité :

Exemple de graphique illustrant une répartition par gravité.

Avant de commencer

Cette section décrit les étapes à suivre avant de pouvoir utiliser Log Analytics.

Configurer des buckets de journaux

Assurez-vous que vos buckets de journaux ont été mis à niveau pour utiliser l'Analyse de journaux :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour chaque bucket de journaux comportant une vue de journaux que vous souhaitez interroger, assurez-vous que la colonne Analyse de journaux disponible affiche Ouvrir. Si l'option Mettre à niveau s'affiche, cliquez dessus et remplissez la boîte de dialogue.

Configurer les rôles et autorisations IAM

Cette section décrit les rôles ou autorisations IAM requis pour utiliser Log Analytics :

  • Pour obtenir les autorisations nécessaires pour utiliser Log Analytics et interroger les vues de journaux, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

    Vous pouvez limiter l'accès d'une entité principale à une vue de journaux spécifique en ajoutant une condition IAM à l'attribution du rôle "Accesseur de vues de journaux" au niveau du projet, ou en ajoutant une liaison IAM au fichier de stratégie de la vue de journaux. Pour en savoir plus, consultez Contrôler l'accès à une vue de journal.

    Il s'agit des mêmes autorisations que celles dont vous avez besoin pour afficher les entrées de journal sur la page Explorateur de journaux. Pour en savoir plus sur les rôles supplémentaires dont vous avez besoin pour interroger les vues sur les buckets définis par l'utilisateur ou pour interroger la vue _AllLogs du bucket de journaux _Default, consultez Rôles Cloud Logging.

  • Pour obtenir les autorisations nécessaires pour interroger les vues Analytics, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur Observability Analytics (roles/observability.analyticsUser) sur votre projet.

  • Pour obtenir les autorisations nécessaires pour créer des graphiques, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Monitoring (roles/monitoring.editor) sur votre projet.

Sélectionnez les données à représenter sous forme de graphique.

Pour configurer les données à afficher dans un graphique, créez une requête à l'aide de SQL. Lorsque vous sélectionnez l'onglet Graphique, un graphique affiche les résultats de votre requête. Une fois la requête exécutée et le graphique généré, vous pouvez personnaliser la configuration du graphique en modifiant son type et en sélectionnant les colonnes à afficher pour consulter différentes données.

Pour afficher les résultats de votre requête sous forme de graphique, exécutez une requête en procédant comme suit :

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Requête, saisissez une requête, puis cliquez sur Exécuter.

  3. Une fois la requête terminée, dans l'onglet Résultats, sélectionnez la façon dont vous souhaitez afficher les résultats de votre requête :

    • Tableau : format tabulaire uniquement.

    • Graphique : format graphique uniquement

    • Les deux : format graphique et tabulaire.

      Après avoir sélectionné la façon dont vous souhaitez afficher les résultats de votre requête, vous pouvez configurer les champs de la visualisation sélectionnée, puis enregistrer la requête et les résultats dans un tableau de bord personnalisé. Le format enregistré est tabulaire lorsque vous avez sélectionné l'option Tableau. Sinon, le format est un graphique.

      Pour les graphiques, les options de visualisation vous permettent de sélectionner le type de graphique, ainsi que les lignes et les colonnes à représenter. Pour en savoir plus sur la configuration des graphiques, consultez Personnaliser la configuration des graphiques.

Personnaliser la configuration du graphique

Vous pouvez personnaliser la configuration du graphique en modifiant son type, en sélectionnant la dimension et la mesure à représenter, et en appliquant une répartition. La dimension permet de regrouper ou de classer les lignes par catégorie. Il s'agit de la valeur de l'axe X. La mesure, ou la valeur de l'axe Y, est une série de données représentée sur l'axe Y.

Modifier le type de graphique

Vous pouvez choisir parmi les types de graphiques suivants, en fonction du type de lignes et de colonnes que vous avez sélectionné comme dimension et mesure, et de la façon dont vous souhaitez visualiser ces données.

  • Graphique à barres (par défaut) : les graphiques à barres représentent les données sur deux axes. Si votre graphique utilise une catégorie ou une chaîne comme dimension, vous pouvez définir la configuration du graphique à barres sur "horizontal" ou "vertical", où les axes de dimension et de mesure sont inversés.

  • Graphique en courbes : il permet d'afficher l'évolution des données au fil du temps. Lorsque vous utilisez un graphique en courbes, chaque série temporelle est affichée sous forme de ligne correspondant aux mesures que vous avez sélectionnées.

    Si votre axe X est basé sur le temps, chaque point de données est placé au début d'un intervalle de temps. Chaque point de données est relié par une interpolation linéaire.

  • Graphique en aires empilées : Un graphique en aires est basé sur un graphique en courbes, et la zone située sous chaque courbe est ombrée. Dans les graphiques en aires, les séries de données sont empilées. Par exemple, si vous avez deux séries identiques, elles se chevauchent dans un graphique en courbes, mais la zone ombrée est empilée dans un graphique en aires.

  • Graphique à secteurs ou en anneau : un graphique à secteurs montre comment les catégories d'un ensemble de données sont liées à l'ensemble de données, en utilisant un cercle pour représenter l'ensemble de données et des secteurs dans le cercle pour représenter les catégories de l'ensemble de données. La taille d'un segment indique la part (souvent en pourcentage) de la catégorie dans l'ensemble.

  • Table : une table affiche une ligne pour chaque ligne du résultat de la requête. Les colonnes du tableau sont définies par la clause SELECT. Si vous prévoyez d'afficher des données sous forme de tableau dans un tableau de bord, utilisez une clause LIMIT pour limiter le nombre de lignes dans le résultat à quelques centaines.

  • Jauge ou tableau de données : les jauges et les tableaux de données vous fournissent la valeur la plus récente, ainsi qu'une indication verte, orange ou rouge selon la façon dont cette valeur se compare à un ensemble de seuils. Contrairement aux jauges, qui n'affichent que des informations sur la valeur la plus récente, les tableaux de données peuvent également inclure des informations sur les valeurs précédentes.

    Les jauges et les tableaux de données ne peuvent afficher le résultat de la requête que si celui-ci contient au moins une ligne, et que cette ligne contient une colonne avec un code temporel et une colonne avec des données numériques. Le résultat de la requête peut contenir plusieurs lignes et plus de deux colonnes.

    Si vous souhaitez effectuer l'agrégation basée sur le temps dans votre requête, procédez comme suit :

    • Configurez votre requête pour agréger les données sur un intervalle de temps, pour trier les résultats par ordre décroissant des codes temporels et pour limiter le nombre de lignes dans les résultats. Vous pouvez utiliser la clause LIMIT ou le sélecteur de période pour limiter le nombre de lignes dans le résultat de la requête.

      Par exemple, la requête suivante interroge une vue de journaux, agrège les données par heure, applique une limite et trie les résultats :

      SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
FROM `TABLE_NAME_OF_LOG_VIEW`
WHERE severity IS NOT NULL AND severity = "DEFAULT"
GROUP BY hour,severity
ORDER BY hour DESC
LIMIT 10

    • Définissez la dimension pour qu'elle corresponde à la colonne qui indique l'unité de temps. Par exemple, si votre requête agrège les données par heure et crée une colonne nommée hour, définissez le menu Dimension sur hour.

    • Sélectionnez Désactiver l'intervalle, car votre requête spécifie déjà l'intervalle d'agrégation. Dans l'exemple, cet intervalle est d'une heure.

    • Définissez la mesure sur la colonne numérique et la fonction sur aucune.

    Si vous souhaitez vous appuyer sur l'analyse des journaux pour effectuer l'agrégation temporelle, procédez comme suit :

    • Configurez le sélecteur de période, qui affecte le nombre de lignes dans le résultat de la requête.
    • Définissez la dimension pour qu'elle corresponde à la colonne qui indique l'unité de temps. Par exemple, vous pouvez définir ce menu sur timestamp.
    • Définissez le menu Intervalle sur un intervalle d'agrégation spécifique. Par exemple, définissez la valeur de ce champ sur 1 hour. Ne sélectionnez pas Intervalle automatique.
    • Définissez la mesure sur la colonne numérique et sélectionnez une fonction telle que sum.

Modifier la dimension et la mesure

Vous pouvez choisir les lignes et les colonnes à représenter dans le graphique en sélectionnant les champs de dimension et de mesure.

  • Dimension

    La dimension doit être une colonne de type code temporel, numérique ou chaîne. Par défaut, la dimension est définie sur la première colonne basée sur un code temporel dans le schéma. Si aucun code temporel n'est présent dans la requête, la première colonne de chaîne est sélectionnée comme dimension. Vous pouvez également personnaliser la dimension dans le panneau Affichage du graphique. Lorsqu'une colonne d'horodatage est sélectionnée comme dimension, le graphique montre l'évolution des données au fil du temps. Lorsqu'une colonne de chaîne est sélectionnée comme dimension pour un graphique à barres, vous pouvez trier les données par ordre croissant ou décroissant, ce qui trie la dimension par ordre lexical. Vous pouvez également conserver l'ordre de tri par défaut, qui trie la dimension en fonction des valeurs de la mesure correspondante par ordre décroissant.

    Par défaut, l'intervalle des codes temporels est défini automatiquement, mais vous pouvez également sélectionner un intervalle personnalisé. Les valeurs des intervalles automatiques changent en fonction du sélecteur de période pour maintenir des groupes de taille similaire.

    Vous pouvez également désactiver l'intervalle, ce qui vous permet de spécifier vos propres agrégations et périodes dans la requête pour une analyse plus complexe. Si vous désactivez l'intervalle, la fonction d'agrégation des mesures est définie sur none. Seules les mesures numériques sont autorisées lorsque l'intervalle de dimension est désactivé.

  • Mesure

    Vous pouvez sélectionner plusieurs mesures dans le panneau Affichage du graphique. Lorsque vous sélectionnez une mesure, vous devez également sélectionner la fonction d'agrégation à appliquer à ses valeurs groupées, comme count, sum, average et percentile-99. Par exemple, count-distinct renvoie le nombre de valeurs uniques dans une colonne donnée.

    Si vous cochez la case Désactiver l'intervalle pour la dimension, l'option de fonction d'agrégation none est disponible. Si la dimension est une valeur de chaîne, la case à cocher Désactiver l'intervalle ne s'affiche pas. Toutefois, si vous définissez les fonctions d'agrégation d'une mesure sur none, l'intervalle est également désactivé.

Ajouter une répartition

Pour diviser une série de données en plusieurs séries de données en fonction d'une autre colonne, ajoutez une répartition.

Lorsque vous sélectionnez une répartition, choisissez des colonnes contenant un petit nombre de libellés courts et pertinents, comme region_name, plutôt que des champs pouvant contenir un grand nombre de chaînes ou de chaînes longues, comme textPayload.

Par exemple, consultez la configuration de graphique suivante, où le champ Dimension est défini sur type, le champ Mesure est défini sur Nombre de lignes et le champ Répartition est défini sur severity :

Exemple de graphique contenant une répartition par niveau de gravité.

Dans la capture d'écran précédente, vous voyez une série de données empilées, où le type de ressource k8s_container est divisé en différents types severity. Cela vous permet d'identifier le nombre de journaux de chaque type de gravité générés par une ressource donnée.

Enregistrer un graphique dans un tableau de bord personnalisé

Une fois qu'un graphique est généré à partir de votre requête, vous pouvez l'enregistrer dans un tableau de bord personnalisé. Les tableaux de bord personnalisés vous permettent d'afficher et d'organiser les informations qui vous sont utiles à l'aide de différents types de widgets. Ces tableaux de bord vous permettent également de définir des variables, qui sont des filtres au niveau du tableau de bord qui ne s'appliquent qu'à des widgets spécifiques. Pour appliquer une variable à un widget, vous devez modifier la requête. Pour en savoir plus, consultez Appliquer une variable à un widget.

Par exemple, vous pouvez créer un tableau de bord qui fournit des informations sur l'utilisation de vos buckets Cloud Storage :

Exemple de tableau de bord montrant l'utilisation de vos buckets Cloud Storage.

Pour enregistrer votre graphique dans un tableau de bord, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Exécutez une requête pour générer un graphique, puis cliquez sur Enregistrer le graphique dans l'onglet Graphique.

  3. Dans la boîte de dialogue Enregistrer dans le tableau de bord, saisissez un titre pour votre graphique et sélectionnez le tableau de bord dans lequel vous souhaitez l'enregistrer.

  4. Facultatif : Pour afficher le tableau de bord personnalisé, cliquez sur Afficher le tableau de bord dans le message pop-up.

Pour afficher la liste des tableaux de bord personnalisés contenant des graphiques générés par des requêtes SQL, accédez au bouton Enregistrer le graphique, puis cliquez sur Menu .

Modifier un graphique enregistré dans un tableau de bord personnalisé

Vous pouvez modifier un graphique après l'avoir enregistré dans un tableau de bord. Pour en savoir plus, consultez Modifier la configuration d'un widget. Dans la boîte de dialogue Configurer le widget, vous pouvez effectuer les opérations suivantes :

  • Modifier les données que vous interrogez
  • Modifiez la requête utilisée pour générer un graphique.
  • Personnalisez la configuration du graphique pour visualiser différentes données.

Limites

  • Si votre projet Google Cloud se trouve dans un dossier qui utilise Assured Workloads, les graphiques que vous générez ne peuvent pas être affichés dans un tableau de bord personnalisé.

  • Les filtres au niveau du tableau de bord ne s'appliquent pas aux graphiques générés à partir d'une requête SQL.

Exemples de requêtes

Cette section fournit des exemples de requêtes SQL pour représenter graphiquement les résultats de vos requêtes. Pour obtenir des insights plus utiles à partir de vos journaux, personnalisez la configuration du graphique. Pour utiliser les exemples de requêtes, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Identifiez le nom de la table pour la vue des journaux que vous souhaitez interroger.

    Pour identifier ce nom, accédez à la liste Vues des journaux, recherchez la vue des journaux, puis sélectionnez Requête. Le volet Requête est rempli avec une requête par défaut, qui inclut le nom de la table de la vue du journal interrogée. Le nom de la table est au format project_ID.region.bucket_ID.view_ID.

    Pour savoir comment accéder à la requête par défaut, consultez Interroger une vue de journal.

  3. Remplacez TABLE_NAME_OF_LOG_VIEW par le nom de la table de la vue des journaux que vous souhaitez interroger, puis copiez la requête.

  4. Collez la requête dans le volet Requête, puis cliquez sur Exécuter la requête.

Représenter les entrées de journal sous forme de graphique par emplacement et gravité

La requête suivante sélectionne location et severity, avec l'emplacement converti en chaîne :

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE_NAME_OF_LOG_VIEW`
WHERE resource.labels.location IS NOT NULL

Voici un exemple de graphique et de configuration de graphique :

Exemple de graphique représentant les entrées de journal pour l'emplacement et la gravité.

Dans la capture d'écran précédente, la configuration du graphique est la suivante :

  • Type de graphique : graphique à barres horizontales
  • Dimension : location, avec une limite de 10
  • Mesure : "Nombre de lignes"
  • Répartition : severity, avec une limite de cinq

Représenter graphiquement les journaux d'audit des accès aux données BigQuery

La requête suivante filtre les journaux d'audit data_access BigQuery et sélectionne certains champs, tels que user_email, ip, auth_permission et job_execution_project. Par exemple, vous pouvez créer un graphique qui visualise la fréquence d'utilisation de l'API BigQuery par chaque principal au fil du temps.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE_NAME_OF_LOG_VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Voici un exemple de graphique et de configuration de graphique :

Exemple de graphique pour les journaux d'audit des accès aux données BigQuery

Dans la capture d'écran précédente, la configuration du graphique est la suivante :

  • Type de graphique : graphique à barres verticales
  • Dimension : user_email (cinq maximum)
  • Mesure : "Nombre de lignes"
  • Répartition : auth_permission, avec une limite de cinq

Limites

  • Les colonnes sélectionnées doivent comporter au moins une ligne avec une valeur non nulle.

  • Si vous enregistrez une requête et personnalisez la configuration du graphique, la configuration personnalisée du graphique n'est pas enregistrée.

  • Si votre requête contient déjà des agrégations, le graphique généré peut être différent en raison de l'agrégation supplémentaire appliquée automatiquement par Log Analytics.

  • Les chemins JSON doivent être convertis en chaînes et en nombres pour pouvoir être représentés sous forme de graphique.

Étapes suivantes