Surveiller l'état, l'utilisation des ressources et les jobs

En tant qu'administrateur BigQuery, vous pouvez utiliser des graphiques de ressources pour surveiller l'état de votre organisation, l'utilisation des emplacements et les performances des jobs au fil du temps. Les graphiques suivants sont disponibles :

• Surveillez l'état opérationnel de BigQuery. La surveillance de l'état de fonctionnement de BigQuery en temps réel est un système de surveillance centralisé qui vous permet d'observer l'utilisation de BigQuery dans l'organisation et dans plusieurs emplacements.

• Affichez l'utilisation des ressources administratives. Les graphiques de ressources d'administration incluent principalement l'analyse des causes fondamentales de la planification de la capacité en fonction de l'utilisation historique des ressources et le diagnostic des variations des performances.

Pour afficher le tableau de bord de l'état de fonctionnement, vous devez disposer d'au moins une réservation à laquelle vous accédez via un projet d'administration. Les graphiques de ressources sont disponibles pour tous les utilisateurs disposant des autorisations appropriées.

Rôles requis

Pour obtenir les autorisations nécessaires pour afficher toutes les données des graphiques de ressources administratives, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre organisation :

• Lecteur de ressources BigQuery (roles/bigquery.resourceViewer)
• BigQuery Metadata Viewer (roles/bigquery.metadataViewer)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour afficher toutes les données des graphiques de ressources administratives. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour afficher toutes les données des graphiques de ressources administratives :

• bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sur l'organisation
• bigquery.reservationAssignments.list sur le projet d'administration de la réservation
• bigquery.capacityCommitments.list sur le projet d'administration de la réservation
• Pour afficher les données récapitulatives sur l'état de fonctionnement : bigquery.tables.get or bigquery.tables.list sur l'organisation
• Pour afficher les données partielles au niveau de la réservation, procédez comme suit :
  • bigquery.reservations.list sur le projet d'administration de la réservation
  • bigquery.reservationAssignments.list sur le projet d'administration de la réservation
• Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Surveiller l'état opérationnel d'une organisation

Le tableau de bord de l'état de fonctionnement affiche les métriques clés de votre organisation et de ses réservations dans tous les emplacements où vous avez des réservations. Vous pouvez utiliser ce tableau de bord pour surveiller les métriques suivantes :

• Utilisation des emplacements
• Utilisation du brassage
• Simultanéité des jobs
• Erreurs
• Durée du job
• Octets traités
• Espace de stockage total

Pour surveiller l'état de fonctionnement, procédez comme suit :

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le menu des projets, sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.

3. Dans le panneau de navigation, sélectionnez Administration > Monitoring. Par défaut, le graphique de l'état de fonctionnement affiche des métriques récapitulatives pour tous les emplacements et toutes les réservations.

4. Pour afficher des données plus fréquemment mises à jour, vous pouvez activer ou désactiver l'option Données en direct. Si l'option Données en direct est activée, les données sont automatiquement actualisées toutes les cinq minutes. Si l'option Données en direct est désactivée, l'obsolescence maximale des données est d'environ une heure. L'heure de la dernière mise à jour des données est affichée.

Pour afficher la vue détaillée, sélectionnez les valeurs pour lesquelles vous souhaitez afficher les graphiques chronologiques détaillés :

1. Dans la liste Sélectionner un emplacement, sélectionnez une région spécifique.
2. Dans la liste Sélectionner une réservation, sélectionnez la réservation.
3. Dans la liste Sélectionner un projet, sélectionnez le projet.
4. Dans la liste Période, sélectionnez une période.
5. Pour en savoir plus sur l'un des graphiques de métriques clés, cliquez sur Voir plus. Pour obtenir plus d'informations dans l'explorateur de jobs, cliquez sur Voir plus dans le graphique Classement des requêtes actives et la table Insights.

BigQuery fournit ces informations en interrogeant les vues INFORMATION_SCHEMA suivantes :

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATIONS
• INFORMATION_SCHEMA.TABLE_STORAGE

Vues

L'onglet État de fonctionnement affiche les vues suivantes :

• Vue récapitulative
• Vue détaillée

Vue récapitulative

La vue récapitulative fournit une vue de l'état des sous-systèmes, y compris les réservations et les régions au cours des 30 dernières minutes pour votre organisation.

Pour afficher la vue récapitulative, procédez comme suit :

• Dans le graphique État de fonctionnement, dans la liste Sélectionner un emplacement, sélectionnez Tous les emplacements.

Vue détaillée

La vue détaillée affiche des graphiques chronologiques détaillés de différentes métriques, au niveau d'un emplacement ou d'une réservation.

Pour afficher la vue détaillée, procédez comme suit :

• Dans le graphique État de fonctionnement, dans la liste Sélectionner un emplacement, sélectionnez la région ou l'édition.

Vous pouvez affiner les données affichées dans la vue détaillée à l'aide des filtres facultatifs suivants :

• Dans la liste Sélectionner une réservation, sélectionnez le nom de la réservation.
• Dans la liste Sélectionner un projet, sélectionnez le projet.

Graphiques

L'onglet État de fonctionnement affiche les options de configuration de graphique suivantes :

• Tableau récapitulatif (à partir de la vue récapitulative uniquement)
• Filtrer et rechercher des données
• Graphiques chronologique des métriques (à partir de la vue détaillée uniquement)
• Graphique en anneau des erreurs
• Graphique à barres de la liste des jobs les plus fréquents
• Table des insights

Tableau récapitulatif

Les tableaux récapitulatifs affichent les métriques suivantes :

• Utilisation des emplacements. Utilisation moyenne des emplacements. La capacité d'emplacements totale se compose de la capacité de référence et de la capacité d'autoscaling maximale.
• Utilisation du brassage. Maximum de tous les taux moyens d'utilisation du brassage des réservations.
• Simultanéité. Nombre maximal de jobs qui ont été exécutés simultanément.
• Octets traités. Nombre total d'octets traités par les jobs terminés.
• Durée du job Durée moyenne d'exécution des jobs, calculée entre leur création et leur fin.
• Espace de stockage total. Nombre total d'octets logiques actifs au moment de la dernière actualisation.

Deux tableaux récapitulatifs sont présentés dans la vue par emplacement ou par réservations. Chaque ligne de tableau représente une utilisation d'un emplacement ou d'une réservation.

Les tableaux affichent les métriques des 30 minutes précédant la dernière mise à jour. Si l'option Données en direct est activée, les données sont automatiquement actualisées toutes les cinq minutes. Si l'option Données en direct est désactivée, l'obsolescence maximale des données est d'environ une heure.

Les cellules de ce tableau incluent un code couleur si la métrique est supérieure au seuil. Tous les seuils sont prédéfinis et ne peuvent pas être personnalisés. Le code couleur est appliqué lorsqu'il y a une augmentation du nombre d'insights sur les performances pour les jobs répétés et une valeur de métrique supérieure à la normale. Si la valeur des métriques au cours des 30 minutes précédant la dernière mise à jour est supérieure à la valeur P99 de l'utilisation de la semaine précédente pour le même jour, la cellule de la table est marquée par un arrière-plan bleu foncé. Si la valeur des métriques au cours des 30 minutes est comprise entre la valeur P95 et P99 de l'utilisation de la semaine précédente pour le même jour, la cellule de la table est marquée par un arrière-plan bleu clair.

Filtrer les données

Vous pouvez filtrer les données des graphiques en fonction des valeurs suivantes :

• Emplacement. Les régions dans lesquelles l'organisation a enregistré une activité au cours des 30 derniers jours sont disponibles. La vue récapitulative présente un tableau récapitulatif par région permettant de suivre l'utilisation dans toutes les régions actives.
• Réservation. Ce champ n'est disponible que pour la vue détaillée. Toutes les réservations appartenant aux projets d'administration sont disponibles. Vous ne pouvez choisir qu'une seule réservation.
• Projet. Ce champ n'est disponible que pour la vue détaillée. Tous les projets générant du trafic dans l'organisation sont disponibles. Vous ne pouvez sélectionner qu'un seul projet.
• Période : Ce champ n'est disponible que pour la vue détaillée. Il affecte les graphiques chronologiques des métriques et le graphique en anneau sur les erreurs dans la vue détaillée. L'échelle des données dans les graphiques chronologiques des métriques est ajustée automatiquement en fonction de la période sélectionnée.

Graphique des requêtes les plus actives

Ce graphique affiche les dix jobs principaux avec des ressources actives triées par ordre décroissant. À l'aide du menu déroulant, vous pouvez sélectionner une option de tri en fonction de l'utilisation des emplacements ou de la durée du job. L'ID de job et le numéro d'utilisation des ressources pertinent s'affichent dans le graphique à barres. Sélectionnez Voir plus ou l'ID du job dans le graphique "Classement des requêtes actives" pour afficher plus de détails dans l'explorateur de jobs. Pour en savoir plus sur les détails de l'exécution et diagnostiquer les problèmes de performances de vos jobs BigQuery, consultez Graphique d'exécution des requêtes.

Graphique en anneau des erreurs

Ce graphique montre la proportion des principales causes d'échec au cours de la période sélectionnée. Dans la vue récapitulative, les 30 dernières minutes sont utilisées par défaut. Dans la vue détaillée, le sélecteur de période contrôle sa couverture. Vous pouvez regrouper les erreurs par type, par projet propriétaire ou par réservation. Le nombre de jobs ayant échoué s'affiche dans le graphique en anneau.

Graphiques chronologiques des métriques

Ces graphiques affichent les métriques disponibles sur une période de 30 jours maximum. La période par défaut est d'une heure. À mesure que la période sélectionnée change, la précision de chaque point de données du graphique est mise à l'échelle automatiquement.

Ces graphiques affichent une valeur agrégée sur une région ou une réservation. Il n'est pas possible d'afficher des données pour plusieurs régions ou plusieurs réservations.

Les graphiques chronologiques des métriques sont compatibles avec les métriques suivantes :

• Utilisation des emplacements. Utilisation moyenne des emplacements au cours de la période sélectionnée. Affiche séparément l'utilisation globale des emplacements pour tous les jobs et les jobs ayant échoué.
• Simultanéité des jobs. Nombre maximal de jobs pouvant être exécutés simultanément au cours de la période sélectionnée. Affiche le nombre de jobs en cours d'exécution et en attente séparément et s'affiche sous la forme d'un graphique à barres empilées.
• Octets analysés. Nombre total d'octets traités par les jobs terminés au cours de la période sélectionnée.
• Brassage. Valeur maximale de tout taux d'utilisation moyen du brassage de la réservation au cours de la période sélectionnée.
• Durée du job Durée moyenne d'exécution des jobs au cours de la période sélectionnée, calculée à partir de l'heure de création et de fin du job.
• Erreur par type. Le graphique en anneau des erreurs indique la proportion de différentes causes d'échec au cours de la période sélectionnée.

En plus des tendances des métriques, ces graphiques affichent des lignes de référence des valeurs de métriques P95 et P99 en fonction de l'utilisation de la semaine précédente pour le même jour. Le graphique Simultanéité des jobs affiche le seuil pour la somme des jobs en attente et en cours d'exécution. Ces valeurs référencées sont utilisées comme seuils de codes couleur dans le tableau récapitulatif.

Pour en savoir plus sur le graphique, cliquez sur En savoir plus. Vous êtes redirigé vers l'onglet Utilisation des ressources.

Table des insights

Cette table regroupe les erreurs de quota, les erreurs de type "accès refusé" et les insights sur les performances recueillis lors des exécutions de jobs au cours de la période sélectionnée. Les insights sont agrégés au niveau de la réservation. Chaque ligne fournit des informations sur le type d'insight, l'emplacement, la réservation, les détails de l'insight et des exemples d'ID de jobs. Cliquez sur les ID de jobs pour afficher plus de détails dans l'explorateur de jobs. Dans la vue récapitulative, la période d'observation par défaut couvre les 30 dernières minutes. Dans la vue détaillée, le sélecteur de période contrôle la période spécifique pour laquelle les données d'observation sont affichées.

Surveiller l'état opérationnel d'un seul projet

Le tableau de bord de l'état de fonctionnement du projet est la vue par défaut qui s'affiche si vous n'avez pas accès à l'ensemble de l'organisation ou si votre projet ne possède aucune réservation. Cette vue peut aider les analystes de projet à surveiller l'état du système pour leurs projets, un peu comme le tableau de bord de l'état opérationnel au niveau de l'organisation, mais elle n'affiche que les données au niveau du projet dans ses graphiques et filtres.

Afficher l'utilisation des ressources

Les données des graphiques de ressources d'administration sont basées sur la vue INFORMATION_SCHEMA.JOBS et la vue INFORMATION_SCHEMA.JOBS_TIMELINE, qui sont mises à jour en temps réel sur une période maximale de 30 jours.

Vous pouvez afficher l'utilisation des ressources BigQuery à l'aide des graphiques de ressources d'administration. Ces graphiques de ressources comportent les trois composants interactifs principaux suivants :

• Le graphique de chronologie des événements offre un aperçu des données sur une période de 30 jours maximum. La valeur par défaut est 1 jour.

• Le graphique principal affiche les métriques sélectionnées (par exemple, l'utilisation des emplacements, la simultanéité des jobs, les performances des jobs, les erreurs ou le nombre d'octets traités) au fil du temps pour le projet d'administration de l'organisation ou de la réservation. Ce graphique inclut une légende de table correspondant aux données du graphique qui affiche des statistiques plus détaillées agrégées sur la période donnée.

• Panneau latéral permettant de sélectionner divers graphiques, répartitions et options de filtrage.

Le schéma suivant présente les différentes options de graphiques d'administration dans BigQuery :

Avant de commencer

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

   Vous pouvez créer un projet d'administration de réservation de projet Google Cloud distinct pour gérer la réservation en lui attribuant un nom descriptif tel que bq-COMPANY_NAME-admin.

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery Reservation API.

   Enable the API

   Pour en savoir plus, consultez la section Activer l'API BigQuery Reservation.

4. Dans la console Google Cloud, affichez vos quotas d'emplacements :

   Afficher les quotas d'emplacements

   Pour acheter des emplacements, vous devez disposer d'un quota d'emplacements suffisant pour la région dans laquelle vous souhaitez effectuer l'achat d'emplacements.

   Si votre quota d'emplacements pour la région souhaitée est inférieur au nombre d'emplacements que vous voulez acheter, consultez la section Demander une augmentation du quota.

Afficher les graphiques des ressources administratives

Par défaut, vous avez accès aux graphiques des ressources administratives de l'édition lorsque vous accédez au projet d'administration des réservations. Vous pouvez basculer entre les graphiques des ressources d'administration à la demande et les graphiques des ressources administratives des éditions depuis le projet d'administration de la réservation (bêta).

Pour afficher les graphiques des ressources d'administration, procédez comme suit :

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le menu des projets, sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.

3. Dans le panneau de navigation, sélectionnez Administration > Monitoring.

4. Dans la section Options de graphique > Champ d'application, vous pouvez sélectionner le modèle de facturation dans la liste, qui comprend trois types d'éditions et à la demande. Par défaut, le modèle de facturation est défini sur l'édition Enterprise.

5. Dans la section Options de graphique > Configurations de graphique, procédez comme suit :

   1. Dans la liste Graphique, sélectionnez le type de graphique. Pour en savoir plus sur les différentes options de graphique, consultez la section Options de graphique.
   2. Dans la liste Métriques, sélectionnez le type de métrique disponible.
   3. Dans la liste Regrouper par, sélectionnez la dimension selon laquelle vous souhaitez regrouper les données dans le graphique. Pour en savoir plus sur les différentes dimensions, consultez la section Options de regroupement.
   4. Dans la liste Filtres, sélectionnez les options de filtre disponibles. Pour en savoir plus sur les différents filtres, consultez la section Filtrer et rechercher.
   5. Définissez la période pour laquelle vous souhaitez afficher les données dans le graphique.

Configurations de graphiques

Vous pouvez ajuster l'affichage de vos graphiques de ressources d'administration en modifiant les options de configuration suivantes :

• Options du graphique
• Composants de table
• Options de regroupement
• Option de période
• Filtrer et rechercher

Options du graphique

BigQuery fournit les types de métriques suivants à afficher dans les graphiques :

• Utilisation des emplacements Utilisation moyenne des emplacements. Si l'option Grouper par est définie sur Global, ou si les Filtres sont définis sur Aucun ou sur une seule réservation, les métriques sur la capacité et l'utilisation des emplacements empruntés sont également affichées.

  • Utilisation totale Utilisation moyenne des emplacements au cours de la période sélectionnée.
  • Utilisation des emplacements empruntés Utilisation moyenne supérieure à la capacité de la réservation. Il s'agit généralement d'emplacements inactifs empruntés à d'autres réservations et engagements, ou d'une imprécision d'arrondi dans les données d'utilisation.
  • Capacité d'engagement Taille de l'engagement d'édition.
  • Capacité de référence. Taille de référence de la réservation.
  • Capacité d'autoscaling. Taille de l'emplacement adaptée automatiquement.
  • Capacité maximale Nombre maximal d'emplacements auxquels l'utilisateur a accès.

• Simultanéité des tâches : nombre maximal de tâches pouvant être exécutées simultanément au cours de la période sélectionnée.

• Performances des tâches : durée moyenne d'exécution des tâches terminées, calculée à partir des heures de création et de fin de tâche.

• Erreurs de tâche : utilisation moyenne des emplacements au cours de la période sélectionnée à partir de tâches ayant échoué.

• Octets traités : nombre total d'octets traités par les tâches terminées au cours de la période sélectionnée.

• Utilisation du brassage : taux d'utilisation aléatoire des données de brassage au cours de la période sélectionnée (aperçu).

Composant de table

La table affiche des métriques pertinentes pour la période et la dimension sélectionnées dans le graphique.

Le graphique Utilisation des emplacements affiche l'utilisation moyenne des emplacements pour tous les jobs exécutés au cours de la période sélectionnée. Les jobs non terminés au cours de la période sélectionnée ne comprennent que les emplacements utilisés pendant cette période.

Pour le graphique de performances des tâches, le composant de table affiche les métriques suivantes :

• Nombre de tâches : nombre de tâches terminées qui ont été exécutées ou partiellement exécutées au cours de la période sélectionnée.

• Durée moyenne de la tâche : durée moyenne d'exécution de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée.

• Durée médiane de la tâche : durée médiane d'exécution de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée.

• Durée minimale du job : Durée minimale de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée. Cette colonne est masquée par défaut, mais vous pouvez l'activer dans les Options d'affichage des colonnes.

• Durée maximale du job : Durée maximale de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée. Cette colonne est masquée par défaut, mais vous pouvez l'activer dans les Options d'affichage des colonnes.

Pour le graphique des Tâches ayant échoué, le composant de table affiche les données suivantes :

• Utilisation moyenne des emplacements : identique au graphique Utilisation des emplacements, mais uniquement pour les tâches ayant échoué.

• Nombre total de tâches ayant échoué : nombre de tâches ayant échoué au cours de la période sélectionnée.

Options de regroupement

Selon le type de graphique, vous pouvez regrouper les données de la vue graphique selon plusieurs dimensions :

• Vue globale. La vue globale offre un aperçu général d'une métrique sélectionnée au fil du temps dans l'ensemble de l'organisation. Pour vous donner une idée de l'utilisation globale des emplacements au fil du temps, la capacité et l'utilisation sont affichées sur le même graphique.

• Projet. La vue Projet affiche les métriques sélectionnées regroupées par projet. Si une organisation possède plus de 10 projets, seuls les 10 premiers en termes d'utilisation des emplacements, de simultanéité des tâches, de durée des tâches ou de tâches en échec au cours de la période sélectionnée sont affichés. Pour l'utilisation des emplacements, tous les autres projets sont regroupés dans la catégorie Autre au bas du graphique, afin de faciliter la comparaison avec la capacité globale.

• Toutes les autres vues par groupe sont semblables à la vue du projet, les données étant regroupées par leur dimension respective.

Option de période

Vous pouvez modifier la période en procédant comme suit :

• Sélectionnez la période et faites-la glisser dans le graphique de chronologie des événements.

• Sélectionnez la période et faites-la glisser dans le graphique principal.

La période d'alignement est automatiquement mise à jour à mesure que la période sélectionnée change. Plus la période d'alignement est courte, plus la vue est détaillée. Pour mieux afficher les ressources qui changent fréquemment, par exemple l'option Utilisation des emplacements, réduisez la période d'alignement.

Filtrer et rechercher

Pour affiner le contenu du graphique, appliquez des filtres dans le panneau des filtres. Certains filtres ne sont disponibles que pour certains graphiques. Les filtres Réservations, Dossiers, Projets et Utilisateurs sont renseignés avec les ressources respectives ayant utilisé des emplacements au cours de la période sélectionnée. Par exemple, si un projet n'a pas été utilisé au cours des 30 derniers jours, il n'apparaît pas dans la liste du filtre "Projets".

Le graphique est actualisé après l'application des filtres afin d'afficher des données selon les paramètres sélectionnés.

Afficher les données des graphiques d'administration au niveau du projet

Vous pouvez ajuster le champ d'application dans les options du graphique pour générer une vue d'ensemble des graphiques d'administration au niveau du projet. Cette vue peut aider les analystes de projet à surveiller l'utilisation des ressources pour les projets détenus, comme les graphiques d'administration au niveau organisationnel, à l'exception de certaines options de graphiques et du regroupement par options non applicables. Cette vue montre l'utilisation globale des ressources, quel que soit le mode de facturation du projet contextuel.

Lorsque vous accédez aux graphiques d'administration d'un projet non administrateur avec des autorisations au niveau de l'organisation, le graphique d'administration passe au niveau du projet par défaut. Vous pouvez revenir à la vue appropriée à l'aide de la liste déroulante Champ d'application dans les options de graphique.

Facturation

Les graphiques des ressources d'administration sont disponibles sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes

• En savoir plus sur les réservations.
• En savoir plus sur l'achat d'emplacements.
• Découvrez comment estimer les exigences relatives à la capacité d'emplacements.
• Découvrez comment afficher les recommandations et les insights sur les emplacements.