Lorsque vous exécutez votre pipeline à l'aide de Dataflow, vous pouvez afficher la tâche correspondante et toute autre tâche au moyen de l'interface de surveillance Dataflow. Elle vous permet de voir vos tâches Dataflow et d'interagir avec.
Vous pouvez accéder à l'interface de surveillance Dataflow dansGoogle Cloud console.
Voici quelques exemples de tâches que vous pouvez effectuer à l'aide de l'interface de surveillance :
- Affichez la liste des tâches en cours, terminées et ayant échoué.
- Afficher une représentation graphique des étapes d'un job et de la progression de chacune d'elles
- Affichez des graphiques de métriques de job, telles que la fraîcheur des données, l'utilisation des ressources et les requêtes d'E/S.
- Surveillez le coût estimé d'un job.
- Affichez les journaux du pipeline.
- Identifier les étapes susceptibles de causer un retard de pipeline
- Identifier les causes de la latence dans vos sources et vos récepteurs
- Comprendre les erreurs de pipeline
Composants de l'interface de surveillance
L'interface de surveillance contient les visualisateurs et graphiques suivants :
- Tableau de bord de surveillance des projets
- Tableau de bord qui surveille vos jobs Dataflow au niveau du projet.
- Liste des jobs
- La liste de tous les jobs Dataflow en cours d'exécution et de tous ceux exécutés au cours des 30 derniers jours, avec leur état, leur région, le temps écoulé et d'autres informations.
- Graphique de la tâche
- Représentation graphique d'un pipeline. Le graphique de job fournit également un résumé de job, un journal de job et des informations sur chaque étape du pipeline.
- Détails de l'exécution
- Affiche les étapes d'exécution d'un job, la fraîcheur des données pour les jobs de streaming et la progression des nœuds de calcul pour les jobs par lot.
- Métriques de tâche
- Graphiques affichant des métriques sur la durée d'un job.
- Coût estimé
- Coût estimé de votre job Dataflow, basé sur les métriques d'utilisation des ressources.
- Recommandations
- Recommandations pour améliorer les performances des jobs, réduire les coûts et résoudre les erreurs.
- Autoscaling
- Ensemble de graphiques qui vous aident à comprendre le comportement de l'autoscaling des jobs de streaming.
- Journaux de pipeline
- Journaux émis par votre pipeline et par le service Dataflow.
- Échantillonnage des données
- Outil permettant d'observer les données échantillonnées à chaque étape d'un pipeline.
Étapes suivantes
- Utilisez Cloud Monitoring pour créer des alertes et afficher les métriques Dataflow, y compris des métriques personnalisées.
- Découvrez comment créer des pipelines de données prêts pour la production.
- Découvrez comment résoudre les problèmes liés à votre pipeline.