Représenter les résultats d'une requête SQL sous forme de graphique

Ce document explique comment représenter graphiquement les résultats de vos requêtes Log Analytics, ce qui vous permet d'identifier des tendances et des tendances dans vos données de journaux. L'Analyse de journaux vous permet de rechercher et d'agréger des journaux pour générer des insights utiles à l'aide de requêtes SQL.

Après avoir exécuté une requête, vous pouvez afficher ses résultats dans un tableau ou les convertir en graphique. Vous pouvez également enregistrer la requête et sa visualisation dans un tableau de bord. Par exemple, pour voir les types de gravité que vos journaux génèrent, créez un graphique qui affiche le nombre de journaux générés au cours des 12 dernières heures et ventilez les journaux par severity. La capture d'écran suivante illustre les points de données répartis en différents types de gravité:

Exemple de graphique illustrant la répartition par gravité.

Avant de commencer

Cette section décrit les étapes à suivre avant de pouvoir utiliser Log Analytics.

Configurer des buckets de journaux

Assurez-vous que vos buckets de journaux ont été mis à niveau pour utiliser l'Analyse de journaux:

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour chaque bucket de journaux pour lequel vous souhaitez interroger une vue de journaux, assurez-vous que la colonne Log Analytics disponible affiche Ouvrir. Si l'option Mettre à niveau s'affiche, cliquez sur Mettre à niveau et remplissez la boîte de dialogue.

Configurer les rôles et les autorisations IAM

Cette section décrit les rôles ou autorisations IAM requis pour utiliser Log Analytics:

  • Pour obtenir les autorisations nécessaires pour utiliser Log Analytics et interroger les vues de journaux, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet:

    Vous pouvez limiter un principal à une vue de journaux spécifique en ajoutant une condition IAM à l'attribution du rôle "Accès aux vues de journaux" effectuée au niveau du projet ou en ajoutant une liaison IAM au fichier de stratégie de la vue de journaux. Pour en savoir plus, consultez la page Contrôler l'accès à une vue de journal.

    Il s'agit des mêmes autorisations dont vous avez besoin pour afficher les entrées de journal sur la page Explorateur de journaux. Pour en savoir plus sur les rôles supplémentaires dont vous avez besoin pour interroger des vues sur des buckets définis par l'utilisateur ou pour interroger la vue _AllLogs du bucket de journaux _Default, consultez la section Rôles Cloud Logging.

  • Pour obtenir les autorisations nécessaires pour créer des graphiques, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Monitoring (roles/monitoring.editor) dans votre projet.

Sélectionner les données à représenter sous forme de graphique

Pour configurer les données à afficher dans un graphique, créez une requête à l'aide de SQL. Lorsque vous sélectionnez l'onglet Graphique, la journalisation génère automatiquement un graphique en fonction des résultats de votre requête. Une fois la requête exécutée et un graphique généré, vous pouvez personnaliser la configuration du graphique en modifiant le type de graphique et en sélectionnant des colonnes pour afficher différentes données.

Pour afficher les résultats de votre requête sous forme de graphique, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Requête, saisissez une requête, puis cliquez sur Exécuter.

  3. Une fois la requête terminée, dans l'onglet Résultats, sélectionnez la façon dont vous souhaitez afficher les résultats de votre requête:

    • Tableau: format tabulaire uniquement.

    • Graphique: format du graphique uniquement

    • Les deux: format graphique et format tabulaire.

      Une fois que vous avez sélectionné la manière dont vous souhaitez afficher les résultats de votre requête, vous pouvez configurer tous les champs de la visualisation sélectionnée, puis enregistrer la requête et les résultats dans un tableau de bord personnalisé. Le format enregistré est sous forme de tableau lorsque vous avez sélectionné l'option Table. Sinon, le format est un graphique.

      Pour les graphiques, les options de visualisation vous permettent de sélectionner le type de graphique, ainsi que les lignes et les colonnes à inclure. Pour en savoir plus sur la configuration des graphiques, consultez la section Personnaliser la configuration des graphiques.

Personnaliser la configuration du graphique

Vous pouvez personnaliser la configuration du graphique en modifiant le type de graphique, en sélectionnant la dimension et la mesure à représenter, et en appliquant une répartition. La dimension permet de regrouper ou de classer les lignes. Il s'agit de la valeur de l'axe X. La mesure, ou valeur de l'axe Y, est une série de données représentée sur l'axe Y.

Changer de type de graphique

Vous pouvez choisir parmi les types de graphiques suivants, en fonction du type de lignes et de colonnes que vous avez sélectionnés comme dimension et mesure, et de la façon dont vous souhaitez que ces données soient visualisées.

  • Graphique à barres (par défaut) : les graphiques à barres représentent les données sur deux axes. Si votre graphique utilise une catégorie ou une chaîne comme dimension, vous pouvez définir la configuration du graphique pour un graphique à barres sur horizontal ou vertical, où les axes de dimension et de mesure sont échangés.

  • Graphique en courbes : les graphiques en courbes permettent de visualiser l'évolution des données au fil du temps. Lorsque vous utilisez un graphique en courbes, chaque série temporelle est représentée par une ligne différente qui correspond à la ou aux mesures que vous avez sélectionnées.

    Si votre axe X est basé sur le temps, chaque point de données est placé au début d'un intervalle de temps. Chaque point de données est relié par une interpolation linéaire.

  • Graphique en aires empilées : un graphique en aires est basé sur un graphique en courbes, et la zone sous chaque courbe est ombrée. Dans les graphiques en aires, les séries de données sont empilées. Par exemple, si vous avez deux séries identiques, elles se chevauchent dans un graphique en courbes, mais la zone ombragée est empilée dans un graphique en secteurs.

  • Graphique à secteurs ou en anneau : un graphique à secteurs montre comment les catégories d'un ensemble de données se rapportent à l'ensemble de données, en utilisant un cercle pour représenter l'ensemble de données et des secteurs dans le cercle pour représenter les catégories de l'ensemble de données. La taille d'un secteur indique la contribution de la catégorie à l'ensemble, souvent sous forme de pourcentage.

  • Tableau : un tableau affiche une ligne pour chaque ligne du résultat de la requête. Les colonnes du tableau sont définies par la clause SELECT. Si vous prévoyez d'afficher des données sous forme tabulaire dans un tableau de bord, utilisez une clause LIMIT pour limiter le nombre de lignes dans le résultat à moins de quelques centaines.

  • Jauge ou tableau de données : les jauges et les tableaux de données vous fournissent la valeur la plus récente, ainsi qu'une indication verte, orange ou rouge en fonction de la comparaison de cette valeur à un ensemble de seuils. Contrairement aux jauges, qui n'affichent que des informations sur la valeur la plus récente, les tableaux de données peuvent également inclure des informations sur les valeurs passées.

    Les jauges et les tableaux de données ne peuvent afficher le résultat de la requête que lorsqu'il contient au moins une ligne, et que cette ligne contient une colonne avec un code temporel et une colonne avec des données numériques. Le résultat de la requête peut contenir plusieurs lignes et plus de deux colonnes.

    Si vous souhaitez effectuer l'agrégation basée sur le temps dans le cadre de votre requête, procédez comme suit:

    • Configurez votre requête pour agréger les données sur une période, pour trier les résultats par codes temporels décroissants et pour limiter le nombre de lignes dans les résultats. Vous pouvez utiliser la clause LIMIT ou le sélecteur de période pour limiter le nombre de lignes dans le résultat de la requête.

      Par exemple, la requête suivante agrège les données par heure, applique une limite et trie les résultats:

      SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
FROM `TABLE_NAME_OF_LOG_VIEW`
WHERE severity IS NOT NULL AND severity = "DEFAULT"
GROUP BY hour,severity
ORDER BY hour DESC
LIMIT 10

    • Définissez la dimension sur la colonne qui indique l'unité de temps. Par exemple, si votre requête agrège les données par heure et crée une colonne nommée hour, définissez le menu Dimension sur hour.

    • Sélectionnez Désactiver l'intervalle, car votre requête spécifie déjà l'intervalle d'agrégation. Dans cet exemple, cet intervalle est d'une heure.

    • Définissez Mesure sur la colonne numérique et la fonction sur Aucune.

    Si vous souhaitez que Log Analytics effectue l'agrégation basée sur le temps à votre place, procédez comme suit:

    • Configurez le sélecteur de période, qui affecte le nombre de lignes dans le résultat de la requête.
    • Définissez la dimension sur la colonne qui indique l'unité de temps. Par exemple, vous pouvez définir ce menu sur timestamp.
    • Définissez le menu Interval sur un intervalle d'agrégation spécifique. Par exemple, définissez la valeur de ce champ sur 1 hour. Ne sélectionnez pas Intervalle automatique.
    • Définissez la mesure sur la colonne numérique, puis sélectionnez une fonction telle que somme.

Modifier la dimension et la mesure

Vous pouvez choisir les lignes et les colonnes à représenter dans le graphique en sélectionnant les champs de dimension et de mesure.

  • Dimension

    La dimension doit être une colonne de code temporel, numérique ou de chaîne. Par défaut, la dimension est définie sur la première colonne basée sur un code temporel du schéma. Si aucun code temporel n'est présent dans la requête, la première colonne de chaîne est sélectionnée comme dimension. Vous pouvez également personnaliser la dimension dans le panneau Affichage du graphique. Lorsqu'une colonne d'horodatage est sélectionnée comme dimension, le graphique montre l'évolution des données au fil du temps.

    Par défaut, l'intervalle des codes temporels est défini automatiquement, mais vous pouvez également sélectionner un intervalle personnalisé. Les intervalles automatiques modifient les valeurs en fonction du sélecteur de période pour maintenir des groupes de taille similaire.

    Vous pouvez également désactiver l'intervalle, ce qui vous permet de spécifier vos propres agrégations et périodes dans la requête pour une analyse plus complexe. Si vous désactivez l'intervalle, la fonction d'agrégation des mesures est définie sur none. Seules les mesures numériques sont autorisées lorsque l'intervalle de dimension est désactivé.

  • Mesure

    Vous pouvez sélectionner plusieurs mesures dans le panneau Affichage du graphique. Lorsque vous sélectionnez une mesure, vous devez également sélectionner la fonction d'agrégation à effectuer sur ses valeurs groupées, telles que count, sum, average et percentile-99. Par exemple, count-distinct renvoie le nombre de valeurs uniques dans une colonne donnée.

    Si vous cochez la case Désactiver l'intervalle pour la dimension, l'option de fonction d'agrégation none est disponible. Si la dimension est une valeur de chaîne, la case à cocher Désactiver l'intervalle ne s'affiche pas. Toutefois, définir les fonctions d'agrégation d'une mesure sur none désactive également l'intervalle.

Ajouter une répartition

Pour diviser une série de données en plusieurs séries en fonction d'une autre colonne, ajoutez une répartition.

Lorsque vous sélectionnez une répartition, choisissez des colonnes contenant un petit nombre de libellés courts et pertinents, comme region_name, au lieu de champs pouvant contenir un grand nombre de chaînes ou de chaînes longues, comme textPayload.

Par exemple, consultez la configuration du graphique suivante, où le champ Dimension est défini sur type, le champ Mesure est défini sur Nombre de lignes et le champ Décomposition est défini sur sévérité:

Exemple de configuration de graphique qui ajoute une répartition.

Le graphique suivant est un exemple de graphique avec une répartition supplémentaire:

Exemple de graphique contenant une répartition par gravité.

Dans la capture d'écran précédente, vous voyez une série de données empilées, où le type de ressource k8s_container est divisé en différents types severity. Cela vous permet d'identifier le nombre de journaux de chaque type de gravité générés par une ressource donnée.

Enregistrer un graphique dans un tableau de bord personnalisé

Une fois qu'un graphique a été généré à partir de votre requête, vous pouvez l'enregistrer dans un tableau de bord personnalisé. Les tableaux de bord personnalisés vous permettent d'afficher et d'organiser les informations qui vous intéressent à l'aide de différents types de widgets. Ces tableaux de bord vous permettent également de définir des variables, qui sont des filtres au niveau du tableau de bord qui ne s'appliquent qu'à des widgets spécifiques. Pour appliquer une variable à un widget, vous devez modifier la requête. Pour en savoir plus, consultez la section Appliquer une variable à un widget.

Par exemple, vous pouvez créer un tableau de bord qui fournit des informations sur l'utilisation de vos buckets Cloud Storage:

Exemple de tableau de bord montrant l'utilisation de vos buckets Cloud Storage.

Pour enregistrer votre graphique dans un tableau de bord, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Exécutez une requête pour générer un graphique, puis cliquez sur Enregistrer le graphique dans l'onglet Graphique.

  3. Dans la boîte de dialogue Enregistrer dans un tableau de bord, saisissez un titre pour votre graphique, puis sélectionnez le tableau de bord dans lequel vous souhaitez l'enregistrer.

  4. Facultatif: Pour afficher le tableau de bord personnalisé, dans le message, cliquez sur Afficher le tableau de bord.

Pour afficher la liste des tableaux de bord personnalisés contenant des graphiques générés par des requêtes SQL Log Analytics, accédez au bouton Enregistrer le graphique, puis cliquez sur Menu.

Modifier un graphique enregistré dans un tableau de bord personnalisé

Pour modifier les graphiques générés par les requêtes SQL Log Analytics enregistrées dans un tableau de bord, consultez Modifier la configuration d'un widget. Dans la boîte de dialogue Configurer le widget, vous pouvez modifier la requête utilisée pour générer un graphique ou personnaliser la configuration du graphique pour visualiser différentes données.

Limites

  • Si votre projet Google Cloud se trouve dans un dossier qui utilise Assured Workloads, les graphiques que vous générez ne peuvent pas être affichés dans un tableau de bord personnalisé.

  • Les filtres au niveau du tableau de bord ne s'appliquent pas aux graphiques générés à partir d'une requête SQL Log Analytics.

Exemples de requêtes

Cette section fournit des exemples de requêtes SQL pour créer des graphiques à partir des résultats de vos requêtes. Pour obtenir des insights plus utiles à partir de vos journaux, personnalisez la configuration du graphique. Pour utiliser les exemples de requêtes, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Identifiez le nom de la table pour la vue des journaux que vous souhaitez interroger.

    Pour identifier ce nom, accédez à la liste Vues des journaux, recherchez la vue des journaux, puis sélectionnez Interroger. Le volet Requête est renseigné par une requête par défaut, qui inclut le nom de la table de la vue de journal interrogée. Le nom de la table est au format project_ID.region.bucket_ID.view_ID.

    Pour savoir comment accéder à la requête par défaut, consultez la section Interroger une vue de journal.

  3. Remplacez TABLE_NAME_OF_LOG_VIEW par le nom de la table de la vue de journal que vous souhaitez interroger, puis copiez la requête.

  4. Collez la requête dans le volet Requête, puis cliquez sur Exécuter la requête.

Représenter les entrées de journal par emplacement et gravité

La requête suivante sélectionne location et severity, avec l'emplacement converti en chaîne:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE_NAME_OF_LOG_VIEW`

Un exemple de graphique et de configuration de graphique se présente comme suit:

Exemple de graphique représentant les entrées de journal par emplacement et gravité.

Dans la capture d'écran précédente, la configuration du graphique est la suivante:

  • Type de graphique: graphique à barres, horizontal
  • Dimension: location, avec une limite de 10
  • Mesure: compter les lignes
  • Décomposition: severity, avec une limite de cinq

Créer un graphique à partir des journaux d'audit des accès aux données BigQuery

La requête suivante filtre les journaux d'audit data_access BigQuery et sélectionne certains champs, tels que user_email, ip, auth_permission et job_execution_project. Par exemple, vous pouvez créer un graphique qui visualise la fréquence d'utilisation de l'API BigQuery par chaque principal au fil du temps.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE_NAME_OF_LOG_VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Un exemple de graphique et de configuration de graphique se présente comme suit:

Exemple de graphique pour les journaux d'audit des accès aux données par BigQuery

Dans la capture d'écran précédente, la configuration du graphique est la suivante:

  • Type de graphique: graphique à barres, vertical
  • Dimension: user_email, avec une limite de cinq
  • Mesure: compter les lignes
  • Décomposition: auth_permission, avec une limite de cinq

Limites

  • Les colonnes sélectionnées doivent comporter au moins une ligne avec une valeur non nulle.

  • Si vous enregistrez une requête et personnalisez la configuration du graphique, la configuration du graphique personnalisé n'est pas enregistrée.

  • Si votre requête contient déjà des agrégations, le graphique généré peut être différent en raison d'une agrégation supplémentaire appliquée automatiquement par Log Analytics.

  • Les chemins JSON doivent être convertis en chaînes et en nombres pour pouvoir être représentés sur un graphique.

Étape suivante