Cette page explique comment utiliser l'onglet Détails d'exécution dans l'interface de surveillance Dataflow.
Présentation
Lorsque Dataflow exécute un job, il convertit les étapes du pipeline en étapes. Alors que chaque étape représente une transformation individuelle, une phase représente une unité de travail unique effectuée par Dataflow. Pour optimiser le pipeline, Dataflow peut fusionner plusieurs étapes en une seule.
L'onglet Détails d'exécution de l'interface de surveillance Dataflow affiche des informations sur les étapes d'un job. Vous pouvez utiliser l'onglet Détails de l'exécution pour résoudre les problèmes de performances, par exemple :
- Étapes lentes qui entraînent des goulots d'étranglement des performances
- Étapes bloquées qui ne progressent pas
- VM de nœud de calcul qui sont en retard par rapport aux autres nœuds de calcul
Afficher les détails de l'exécution
Pour afficher les détails d'exécution d'un job, procédez comme suit :
Dans la console Google Cloud , accédez à la page Dataflow > Tâches.
Sélectionnez une tâche.
Cliquez sur l'onglet Détails de l'exécution.
Sélectionnez l'une des vues suivantes :
- Progression des étapes
- Workflow par étapes
- Progression des nœuds de calcul (tâches par lot uniquement)
Les sections suivantes décrivent chacune de ces vues.
Vue de la progression des étapes
La vue Progression des étapes vous permet d'observer la progression globale du job et de comparer la progression relative entre les étapes. La mise en page de la vue Progression de l'étape diffère entre les tâches par lot et les tâches en flux continu.
Progression de l'étape pour les tâches par lot
Pour les tâches par lot, la vue Progression de l'étape affiche les étapes de la tâche dans l'ordre de leur heure de début. Pour chaque étape, les éléments suivants sont affichés :
- Barre indiquant les heures de début et de fin.
- Graphique en courbes qui indique la progression de l'étape au fil du temps, en pourcentage du travail total de l'étape.
- Temps total passé dans l'étape.
Pour filtrer les étapes affichées, cliquez sur Filtrer les étapes. Pour afficher le chemin critique, activez l'option Chemin critique. Le chemin critique est la séquence d'étapes qui contribuent à l'exécution globale de la tâche. Par exemple, il exclut les branches qui se sont terminées plus tôt que la tâche globale et les entrées qui n'ont pas retardé le traitement en aval.
Le panneau Infos sur la phase affiche des informations plus détaillées sur une phase. Pour afficher les détails d'une étape, cliquez sur la barre de progression correspondante. Le panneau Infos sur l'étape affiche les informations suivantes sur une étape :
- État
- Progression en pourcentage
- Heures de début et de fin
- Étapes du pipeline que cette étape englobe
- Étapes les plus lentes par durée d'exécution
- Informations sur les retardataires
Si le panneau n'est pas visible, cliquez sur Afficher/Masquer le panneau "Informations sur la scène".
Progression de l'étape pour les tâches de streaming
Pour les jobs de traitement en flux continu, la vue Progression des étapes comporte deux visualisations de la fraîcheur des données. La fraîcheur des données correspond à la différence entre l'horodatage d'un élément de données et le moment où l'élément est traité. Plus les valeurs sont élevées, plus le traitement des données d'entrée par le pipeline prend du temps.
La première visualisation montre la fraîcheur des données par étape sous la forme d'un graphique en courbes. Pour afficher la fraîcheur des données à un moment précis, pointez sur le graphique. Pour sélectionner la période, utilisez le sélecteur de période ou cliquez sur le graphique et faites glisser le pointeur pour sélectionner la période. Pour filtrer les étapes affichées, cliquez sur Filtrer les étapes.
Le graphique met également en évidence les anomalies dans les données :
- Lenteur potentielle : la fraîcheur des données dépasse le 95e centile pour la période sélectionnée.
- Risque de blocage potentiel : la fraîcheur des données dépasse le 99e centile pour la période sélectionnée.
La deuxième visualisation montre les étapes sous forme de série de barres. Les étapes sont organisées dans l'ordre topologique. Les étapes sans descendants sont affichées en premier, suivies de leurs descendants. La longueur des barres représente la fraîcheur des données. Pour afficher les valeurs de fraîcheur des données à un moment précis, cliquez sur le graphique. Les barres sont mises à jour pour afficher la fraîcheur des données à l'heure sélectionnée.
L'image suivante montre un job avec quatre étapes. À l'horodatage sélectionné, la fraîcheur des données varie de 9 à 13 secondes.
L'image suivante montre le même job avec un autre code temporel sélectionné. À ce stade, la fraîcheur des données pour toutes les étapes dépasse quatre minutes, ce qui indique que le pipeline est peut-être bloqué.
Le panneau Infos sur la phase affiche des informations plus détaillées sur une phase. Pour afficher les détails d'une étape, cliquez sur la barre de progression correspondante. Le panneau Infos sur l'étape affiche les informations suivantes sur une étape :
- État
- Retard du système : Délai d'attente maximal pour le traitement d'un élément de données
- Filigrane de données : heure de fin estimée de la saisie des données pour cette étape
- Informations sur les retardataires
- Étapes du pipeline que cette étape englobe
Si le panneau n'est pas visible, cliquez sur Afficher/Masquer le panneau "Informations sur la scène".
Workflow des étapes
La vue Workflow des étapes affiche les étapes du job sous la forme d'un graphique de workflow. Pour afficher les détails d'une étape, cliquez sur la case correspondante.
Pour les jobs par lot, cliquez sur Chemin d'accès critique pour n'afficher que les étapes qui contribuent directement à l'exécution globale du job.
Progression des nœuds de calcul
Pour les tâches par lot, la vue Progression du nœud de calcul affiche les nœuds de calcul pour une étape donnée. Cette vue n'est pas disponible pour les tâches de traitement en flux continu. Pour accéder à cette vue, sélectionnez Progression des nœuds de calcul, puis sélectionnez l'étape dans Filtrer les nœuds de calcul par phase. Vous pouvez également activer cette vue à partir de la vue Progression des étapes comme suit :
- Dans la vue Progression de l'étape, identifiez l'étape que vous souhaitez afficher.
- Maintenez le pointeur sur la barre correspondant à cette étape.
- Dans la fiche Étape, cliquez sur Afficher les nœuds de calcul. La vue Progression des nœuds de calcul s'affiche avec l'étape présélectionnée.
Chaque barre correspond à un élément de travail programmé pour un nœud de calcul. Vous trouverez sous chaque nœud de calcul un graphique sparkline retraçant l'utilisation du processeur sur ce nœud de calcul, ce qui vous aide à repérer plus facilement les problèmes d'utilisation.
Étapes suivantes
- En savoir plus sur la résolution des problèmes liés aux jobs lents ou bloqués
- Découvrez les différents composants de l'interface utilisateur Web de surveillance de Dataflow.