Lorsque vous exécutez votre pipeline à l'aide de Dataflow, vous pouvez afficher la tâche correspondante et toute autre tâche au moyen de l'interface de surveillance Dataflow. Elle vous permet de voir vos tâches Dataflow et d'interagir avec.
Vous pouvez accéder à l'interface de surveillance Dataflow dans la console Google Cloud.
Vous pouvez effectuer les tâches suivantes à l'aide de l'interface de surveillance:
- Afficher la liste des tâches en cours, terminées et ayant échoué
- Afficher une représentation graphique des étapes d'une tâche et de la progression de chaque étape
- Afficher des graphiques des métriques de tâche, telles que la fraîcheur des données, l'utilisation des ressources et les requêtes d'E/S
- Surveiller le coût estimé d'une tâche
- Afficher les journaux du pipeline.
- Identifiez les étapes susceptibles de causer un retard de pipeline.
- Identifier les causes de latence dans vos sources et vos récepteurs.
- Comprendre les erreurs de pipeline
Composants de l'interface de surveillance
L'interface de surveillance contient les visualiseurs et graphiques suivants:
- Tableau de bord de surveillance des projets
- Un tableau de bord qui surveille vos tâches Dataflow au niveau du projet.
- Liste des tâches
- Liste de toutes les tâches Dataflow en cours d'exécution et de toutes celles exécutées au cours des 30 derniers jours, avec leur état, leur région, le temps écoulé et d'autres informations.
- Graphique de la tâche
- Représentation graphique d'un pipeline. Le graphique de tâches fournit également un résumé des tâches, un journal des tâches et des informations sur chaque étape du pipeline.
- Détails de l'exécution
- Affiche les étapes d'exécution d'une tâche, la fraîcheur des données pour les tâches en flux continu et la progression des nœuds de calcul pour les tâches par lot.
- Métriques de tâche
- Graphiques qui affichent des métriques sur la durée d'une tâche.
- Coût estimé
- Coût estimé de votre tâche Dataflow, en fonction des métriques d'utilisation des ressources.
- Recommandations
- Recommandations pour améliorer les performances des tâches, réduire les coûts et résoudre les erreurs.
- Autoscaling
- Ensemble de graphiques qui vous aident à comprendre le comportement d'autoscaling des tâches de streaming.
- Journaux de pipeline
- Journaux émis par votre pipeline et par le service Dataflow.
- Échantillonnage de données
- Outil permettant d'observer les données échantillonnées à chaque étape d'un pipeline.
Étape suivante
- Utiliser Cloud Monitoring pour créer des alertes et afficher les métriques Dataflow, y compris des métriques personnalisées
- Découvrez comment créer des pipelines de données prêts pour la production.
- Découvrez comment résoudre les problèmes liés à votre pipeline.