Ce document explique comment utiliser Cloud Monitoring pour observer les tendances dans vos journaux et vous avertir lorsque les conditions que vous décrivez apparaissent. Pour fournir à Cloud Monitoring des données provenant de vos journaux, Logging prend en charge les fonctionnalités suivantes:
Vous pouvez générer des métriques personnalisées à partir de vos entrées de journal. Ces métriques sont appelées métriques basées sur les journaux. Vous pouvez également créer des règles d'alerte basées sur une métrique pour être informé lorsqu'une métrique basée sur les journaux répond à une condition. Pour en savoir plus, consultez la section Visualiser les données des entrée de journal à l'aide de métriques basées sur les journaux.
Vous pouvez utiliser des règles d'alerte pour surveiller, en quasi-temps réel, l'apparition d'un message dans vos entrées de journal. Ces règles d'alerte sont appelées règles d'alerte basées sur les journaux. Pour en savoir plus, consultez la section Surveiller les entrées de journal individuelles pour les messages.
Vous pouvez écrire une requête SQL dans Log Analytics et créer une règle d'alerte permettant de surveiller les résultats de la requête. Ces règles d'alerte sont appelées règles d'alerte basées sur SQL. Pour en savoir plus, consultez la section Surveiller les résultats des requêtes SQL.
Les règles d'alerte basées sur SQL sont disponibles en version Preview publique.
Le reste de ce document décrit les différences entre ces trois règles d'alerte et fournit des informations sur l'autorisation, les coûts et les limites.
Visualiser les données des entrée de journal à l'aide de métriques basées sur les journaux
Pour surveiller les événements récurrents dans vos journaux au fil du temps, utilisez des métriques basées sur les journaux. Les métriques basées sur les journaux génèrent des données numériques à partir de vos journaux. Les métriques basées sur les journaux sont adaptées si vous souhaitez effectuer l'une des opérations suivantes :
- Comptez les occurrences d'un message dans vos journaux comme un avertissement ou une erreur et recevez une notification lorsque le nombre d'occurrences dépasse un certain seuil.
- Observez les tendances dans vos données, telles que les valeurs de latence dans les journaux, et recevez une notification si les valeurs changent de manière inacceptable.
- Créez des graphiques affichant les données numériques extraites de vos journaux.
Les métriques basées sur les journaux génèrent des données numériques à partir de vos journaux. Vous pouvez donc les utiliser dans des règles d'alerte et les afficher dans des graphiques. Pour en savoir plus sur la création de règles d'alerte et de graphiques pour les métriques basées sur les journaux, consultez la page Configurer des notifications pour les métriques basées sur les journaux.
Cloud Monitoring fournit un ensemble de métriques basées sur les journaux prédéfinies, et vous pouvez définir les vôtres. Pour afficher la liste des métriques basées sur les journaux définies par le système, cliquez sur le bouton add_circle suivant :
Métriques basées sur les journaux définies par l'utilisateur
Vous pouvez créer des métriques basées sur les journaux pour extraire des données numériques de vos journaux. Les métriques basées sur les journaux définies par l'utilisateur calculent les valeurs des journaux inclus et exclus.
Par défaut, les métriques basées sur les journaux définies par l'utilisateur collectent les données de tous les journaux reçus par le routeur de journaux de votre projet Google Cloud. Toutefois, vous pouvez définir des métriques basées sur les journaux qui collectent les données des journaux acheminés vers un bucket de journaux spécifique.
- Pour en savoir plus sur la définition et l'utilisation de métriques basées sur les journaux au niveau du projet, consultez la page Utiliser des métriques basées sur les journaux.
- Pour en savoir plus sur la définition et l'utilisation de métriques basées sur les journaux au niveau des buckets, consultez la section Métriques basées sur les journaux au niveau des buckets de journaux.
Si vous définissez vos propres métriques basées sur les journaux, des frais peuvent vous être facturés. Pour en savoir plus sur les coûts associés à l'ingestion de métriques, consultez la section Métriques facturables.
Surveiller les entrées de journal individuelles pour les messages
Pour être averti chaque fois qu'un message spécifique apparaît dans une entrée de journal, utilisez des règles d'alerte basées sur les journaux. Les règles d'alerte basées sur les journaux sont utiles pour détecter les événements liés à la sécurité dans les entrées de journal, par exemple:
- Vous souhaitez être averti lorsqu'un événement apparaît dans un journal d'audit (par exemple, un utilisateur humain accède à la clé de sécurité d'un compte de service).
- Votre application écrit des messages de déploiement dans les journaux et vous souhaitez être averti lorsqu'une modification de déploiement est enregistrée.
Les règles d'alerte basées sur les journaux sont utiles pour les événements qui, selon vous, sont rares et importants. Vous ne voulez pas connaître une tendance ou un modèle, mais savoir qu'un événement s'est produit.
Pour en savoir plus sur la création de règles d'alerte basées sur les journaux, consultez la page Configurer des règles d'alerte basées sur les journaux.
Vous pouvez configurer une règle d'alerte basée sur les métriques pour simuler une règle d'alerte basée sur les journaux. Pour ce faire, définissez une métrique basée sur les journaux et utilisez-la dans une règle d'alerte basée sur les métriques avec un seuil de un. Les règles d'alerte basées sur les journaux vous donnent ce comportement sans nécessiter de créer une métrique basée sur les journaux et de configurer une règle d'alerte basée sur les métriques.
Surveiller les résultats des requêtes SQL
Vous pouvez configurer des règles d'alerte qui utilisent Log Analytics pour exécuter des requêtes SQL sur vos données d'entrée de journal. Ces types de règles d'alerte sont efficaces lorsque vous souhaitez recevoir des notifications en fonction de modèles qui ne peuvent pas être évalués par les règles d'alerte basées sur les journaux, tels que des modèles complexes dans les entrées de journaux ou des agrégations de données de journaux. Pour en savoir plus, consultez la section Surveiller les résultats de vos requêtes SQL à l'aide d'une règle d'alerte.
Comparaison des options d'alerte
Cette section compare les règles d'alerte basées sur des métriques basées sur les journaux, les règles d'alerte basées sur les journaux et les règles d'alerte basées sur SQL.
tableau récapitulatif
Le tableau suivant récapitule les techniques d'alerte et fournit des liens vers des informations supplémentaires:
| Règles d'alerte basées sur les métriques | Règles d'alerte basées sur les journaux | Règles d'alerte basées sur SQL | En savoir plus |
|---|---|---|---|
| Basées sur des métriques dérivées des entrées de journal | Basées sur des chaînes dans des entrées de journal individuelles | Basées sur les tables renvoyées par les requêtes SQL sur les entrées de journal | Métriques basées sur les journaux Alertes basées sur les journaux Alertes basées sur SQL |
| Utilisées pour vous informer des tendances au fil du temps | Utilisées pour vous avertir lorsqu'un message spécifique apparaît dans un journal | Utilisées pour vous avertir d'un schéma dans une fenêtre d'entrées de journal | Métriques basées sur les journaux Alertes basées sur les journaux Alertes basées sur SQL |
Calculées à partir de
|
Correspondance uniquement avec les journaux inclus | Calcul basé sur les entrées de journal dans une fenêtre glissante | Journaux disponibles Alertes basées sur SQL |
| Exploiter les métriques de tous les projets dans le champ d'application des métriques du projet de champ d'application | Travailler uniquement sur les journaux dans le projet de champ d'application | Opérez sur tous les journaux lisibles de n'importe quel projet Google Cloud. | Surveiller les métriques de plusieurs projets |
| Un incident est créé lorsque la valeur d'une métrique remplit une condition pendant une période spécifiée. | Un incident est créé chaque fois qu'une entrée de journal spécifique correspond à un filtre | Un incident est créé lorsque la table des résultats de la requête remplit une condition. | Incidents et notifications |
| Créées et gérées dans Monitoring | Créées dans Logging ; gérées dans Monitoring |
Créées dans Log Analytics ; gérées dans Monitoring | Créer et gérer des règles d'alerte Alertes basées sur SQL |
| Consultées dans Monitoring | Consultées dans Monitoring | Consultées dans Monitoring | Afficher les règles d'alerte |
| Peut utiliser n'importe quel canal de notification compatible avec Monitoring | Peut utiliser n'importe quel canal de notification compatible avec Monitoring | Peut utiliser n'importe quel canal de notification compatible avec Monitoring | Canaux de notification |
Journaux disponibles
Les métriques basées sur les journaux définies par l'utilisateur sont calculées à partir de tous les journaux reçus par l'API Logging pour le projet Google Cloud, quels que soient les filtres d'inclusion ou les filtres d'exclusion pouvant s'appliquer au projet Google Cloud. Si vous créez une règle d'alerte basée sur une métrique basée sur les journaux définie par l'utilisateur, la règle surveille les données de tous les journaux.
Les métriques basées sur les journaux définies par le système ne sont calculées qu'à partir des journaux stockés dans des buckets de journaux du projet Google Cloud. Si un journal a été explicitement exclu, il n'est pas inclus dans ces métriques. Si vous créez une règle d'alerte basée sur une métrique basée sur les journaux définie par le système, la règle ne surveille que les données des journaux inclus.
Les règles d'alerte basées sur les journaux ne fonctionnent que sur les journaux inclus provenant d'un projet. Vous ne pouvez pas utiliser de règles d'alerte basées sur les journaux pour être averti des messages dans les journaux exclus ou les journaux d'autres ressources, telles que des dossiers ou des organisations.
Les métriques basées sur les journaux et les règles d'alerte basées sur les journaux fonctionnent au niveau du projet Google Cloud et non sur des buckets individuels.
Les règles d'alerte basées sur SQL interrogent les vues de journaux sur les buckets de journaux. Vous devez mettre à niveau ces buckets de journaux pour utiliser l'Analyse de journaux, puis les associer à un ensemble de données BigQuery. Pour en savoir plus sur les règles d'alerte basées sur SQL, consultez la section Surveiller les résultats de vos requêtes SQL avec une règle d'alerte.
Surveiller les métriques de plusieurs projets
Vous pouvez surveiller les métriques de plusieurs projets en configurant un champ d'application des métriques. Un champ d'application des métriques répertorie tous les projets et comptes qu'il surveille. Un projet de champ d'application héberge le champ d'application des métriques. Le projet de champ d'application stocke les règles d'alerte et d'autres configurations que vous créez pour le champ d'application des métriques. Le projet de champ d'application pour un champ d'application des métriques est le projet sélectionné par l'outil de sélection de projets de la console Google Cloud.
Les règles d'alerte basées sur les métriques basées sur les journaux, telles que les règles d'alerte basées sur d'autres métriques, fonctionnent sur tous les projets de champ d'application des métriques du projet de champ d'application.
Les règles d'alerte basées sur les journaux ne fonctionnent pas avec les champs d'application des métriques. Les journaux des projets ne font pas partie du champ d'application des métriques. Les règles d'alerte basées sur les journaux évaluent les entrées de journal provenant du projet Google Cloud actuel ou acheminées vers celui-ci, puis stockées dans un bucket de journaux.
Les règles d'alerte basées sur SQL ne fonctionnent pas avec les champs d'application des métriques.
Pour plus d'informations sur les champs d'application des métriques, y compris les champs d'application de métriques multiprojets et les projets de champ d'application, consultez les pages suivantes :
Incidents et notifications
Lorsque la condition d'une règle d'alerte est remplie, Monitoring ouvre un incident et envoie des notifications aux canaux de notification de la règle d'alerte. Pour afficher les détails de l'incident, cliquez sur Afficher l'incident dans le message de notification, ou accédez directement à la page Incidents dans Monitoring.
Incidents liés aux règles d'alerte basées sur des métriques
Les règles d'alerte basées sur des métriques basées sur les journaux créent des incidents et des notifications comme toutes les autres règles d'alerte basées sur les métriques dans Cloud Monitoring, comme décrit sur la page Comportement des alertes. Pour en savoir plus sur la gestion des incidents pour les règles d'alerte basées sur des métriques, consultez la page Incidents pour les règles d'alerte basées sur des métriques.
Incidents liés aux règles d'alerte basées sur les journaux
Les règles d'alerte basées sur les journaux ne sont pas des règles d'alerte basées sur les métriques. Lorsqu'une entrée de journal remplit la condition d'une règle d'alerte basée sur les journaux, Monitoring crée des incidents et des notifications de la manière suivante:
La première fois que Cloud Logging écrit une entrée de journal correspondant à votre requête d'alerte dans un bucket de journaux, un incident est créé et une notification est envoyée. Si une autre entrée de journal correspondante est ensuite écrite, un nouvel incident n'est créé que si l'incident précédent a été fermé. Toutefois, la suppression définitive d'un incident peut prendre jusqu'à trois minutes. Si une entrée de journal correspondante est reçue dans les trois minutes suivant la fermeture d'un incident, le système peut rouvrir l'incident plutôt que d'en créer un nouveau.
Lorsque vous créez une règle d'alerte basée sur les journaux, vous pouvez spécifier le délai minimal entre les notifications. Par exemple, vous sélectionnez un intervalle de 10 minutes entre les notifications. Si la condition de votre règle d'alerte basée sur les journaux est remplie deux fois au cours de cette période, vous ne recevez qu'une seule notification.
Le taux maximal de notifications pour les règles d'alerte basées sur les journaux est de 1 notification toutes les 5 minutes pour chaque règle d'alerte basée sur les journaux. Toutefois, si la requête de votre règle d'alerte basée sur les journaux extrait des valeurs de libellé, chaque combinaison de valeurs extraites représente son propre calendrier de notification. Par exemple, supposons qu'une règle d'alerte basée sur les journaux extrait les valeurs d'un libellé. Supposons que le libellé puisse avoir deux valeurs. Avec cette configuration, vous pouvez recevoir deux notifications, une pour chaque valeur de libellé, dans les cinq minutes.
Chaque règle d'alerte basée sur les journaux est limitée à 20 notifications par jour. Si vous atteignez cette limite, la notification inclut un message indiquant que vous avez atteint la limite pour la journée.
Les incidents sont automatiquement fermés après sept jours, sauf si vous configurez une période plus courte ou que vous les fermez manuellement.
Pour en savoir plus sur la gestion des incidents pour les règles d'alerte basées sur les journaux, consultez la section Gérer les incidents pour les règles d'alerte basées sur les journaux.
Incidents liés aux règles d'alerte basées sur SQL
Pour les règles d'alerte basées sur SQL, Cloud Monitoring crée un incident la première fois que le résultat de la requête SQL remplit la condition spécifiée dans la règle. Chaque règle d'alerte ne peut avoir qu'un seul incident ouvert. Tant que l'incident est ouvert, si la condition est à nouveau remplie, Monitoring ne crée pas d'autres incidents ni n'envoie pas de notifications supplémentaires. Monitoring ferme les incidents basés sur SQL au bout de sept jours, sauf si vous configurez une période de fermeture d'incident plus courte ou que vous fermez l'incident vous-même.
Pour en savoir plus sur la gestion des incidents pour les règles d'alerte basées sur SQL, consultez la section Gérer les incidents pour les règles d'alerte basées sur SQL.
Créer et gérer des règles d'alerte
Vous créez, modifiez et supprimez des règles d'alerte basées sur les métriques basées sur les journaux dans Cloud Monitoring, comme toute autre règle d'alerte basée sur les métriques. Pour plus d'informations, consultez la section Gérer les règles.
Vous pouvez créer des règles d'alerte basées sur les journaux à l'aide de l'explorateur de journaux ou de l'API Cloud Monitoring. Vous pouvez modifier et supprimer les règles d'alerte basées sur les journaux dans Monitoring ou avec l'API Cloud Monitoring. Pour en savoir plus, consultez la section Gérer les règles d'alerte basées sur les journaux.
Vous pouvez créer des règles d'alerte basées sur SQL à l'aide de Log Analytics ou de l'API Cloud Monitoring. Vous modifiez et supprimez des règles d'alerte basées sur SQL dans Monitoring ou à l'aide de l'API Cloud Monitoring. Pour en savoir plus, consultez la section Surveiller les résultats de vos requêtes SQL avec une règle d'alerte.
Afficher les règles d'alerte
La page Règles de Monitoring répertorie toutes les règles d'alerte de votre projet Google Cloud. Cette liste inclut les règles qui utilisent les métriques basées sur les journaux et les règles d'alerte basées sur les journaux.
-
Dans la console Google Cloud, accédez à la page notificationsAlertes :
Accéder à l'interface des alertes
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.
- Sélectionnez Afficher toutes les règles.
Les règles d'alerte basées sur les journaux apparaissent dans la liste avec la valeur Logs dans la colonne Type. Les règles d'alerte basées sur les métriques, y compris les métriques basées sur les journaux, apparaissent dans la liste avec la valeur Metrics dans la colonne Type.
Les règles d'alerte basées sur SQL apparaissent dans la liste avec la valeur SQL dans la colonne Types.
La capture d'écran suivante montre un extrait d'une liste de règles :
Canaux de notification
Vous pouvez envoyer des notifications à partir de n'importe quel type de règle d'alerte à n'importe quel canal de notification compatible avec Monitoring. Vous devez configurer ces canaux pour pouvoir les utiliser dans les règles d'alerte.
Pour plus d'informations, consultez la page Gérer les canaux de notification.
Exigences concernant les autorisations
L'utilisation de métriques basées sur les journaux ou de règles d'alerte basées sur les journaux nécessite une autorisation pour Cloud Logging et Cloud Monitoring.
Pour les métriques basées sur les journaux définies par l'utilisateur, consultez la page Autorisations pour les métriques basées sur les journaux.
Pour les règles d'alerte basées sur les journaux, consultez la section Autorisations pour les règles d'alerte basées sur les journaux.
Pour les règles d'alerte basées sur SQL, consultez la section Autorisations pour les règles d'alerte basées sur SQL.
Coûts et limites
Si vous définissez vos propres métriques basées sur les journaux, les critères suivants s'appliquent :
- Le nombre et la structure des métriques basées sur les journaux définies par l'utilisateur sont limités. Pour en savoir plus sur ces limites, consultez la section Limites des métriques basées sur les journaux.
- Des frais peuvent être facturés pour les métriques basées sur les journaux définies par l'utilisateur. Pour en savoir plus sur les coûts associés à l'ingestion de métriques, consultez la section Métriques facturables.
- Les règles d'alerte basées sur SQL s'exécutent dans une réservation BigQuery de votre projet Google Cloud. Des frais peuvent s'appliquer si vous disposez d'une réservation BigQuery. Pour en savoir plus sur les coûts associés aux réservations BigQuery, consultez la section Tarifs de BigQuery.
L'utilisation de règles d'alerte basées sur des métriques basées sur les journaux est gratuite.
Les limites de surveillance suivantes liées aux règles d'alerte s'appliquent :
| Catégorie | Valeur | Type de règle1 |
|---|---|---|
| Règles d'alerte (somme des métriques et des journaux) par champ d'application des métriques2 | 500 | Métrique, journal |
| Conditions par règle d'alerte basée sur des métriques | 6 | Métrique |
| Conditions par règle d'alerte basée sur SQL (version preview publique) | 1 | SQL |
| Période maximale qu'une condition d'absence de métrique évalue3 |
1 jour | Métrique |
| Période maximale qu'une condition de seuil de métrique évalue3 |
23 heures 30 minutes | Métrique |
| Longueur maximale du filtre utilisé dans une condition de seuil de métrique |
2 048 caractères Unicode | Métrique |
| Nombre maximal de séries temporelles surveillées par une condition de prévision |
64 | Métrique |
| Période de prévision minimale | 1 heure (3 600 secondes) | Métrique |
| Période de prévision maximale | 2,5 jours (216 000 secondes) | Métrique |
| Canaux de notification par règle d'alerte | 16 | Métrique, journal |
| Taux maximal de notifications4 | Une notification toutes les cinq minutes pour chaque règle d'alerte basée sur les journaux | Journal |
| Nombre maximal de notifications | 20 notifications par jour pour chaque règle d'alerte basée sur les journaux | Journal |
| Nombre maximal d'incidents ouverts simultanément par règle d'alerte |
1 000 | Métrique |
| Période après laquelle un incident sans nouvelle donnée est automatiquement fermé |
7 jours | Métrique |
| Durée maximale d'un incident s'il n'est pas fermé manuellement | 7 jours | Journal |
| Conservation des incidents fermés | 13 mois | Non applicable |
| Conservation des incidents ouverts | Indéfiniment | Non applicable |
| Canaux de notification par champ d'application des métriques | 4 000 | Non applicable |
| Nombre maximal de règles d'alerte par mise en veille | 16 | Métrique, journal |
| Conservation d'une répétition | 13 mois | Non applicable |
2 Apigee et Apigee hybrid sont étroitement intégrés à Cloud Monitoring. La limite d'alerte pour tous les niveaux d'abonnements Apigee (Standard, Enterprise et Enterprise Plus) est la même que pour Cloud Monitoring : 500 par champ d'application de métriques.
3 La période maximale qu'une condition évalue est la somme de la période d'alignement et des valeurs d'intervalle de temps. Par exemple, si la période d'alignement est définie sur 15 heures et que l'intervalle de temps est défini sur 15 heures, 30 heures de données sont nécessaires pour évaluer la condition.
4Si la requête de votre règle d'alerte basée sur les journaux extrait des valeurs de libellé, chaque combinaison de valeurs extraites représente son propre calendrier de notification. Par exemple, supposons qu'une règle d'alerte basée sur les journaux extrait les valeurs d'un libellé. Supposons que le libellé puisse avoir deux valeurs. Avec cette configuration, vous pouvez recevoir deux notifications, une pour chaque valeur d'étiquette, dans les cinq minutes.