Cette page explique comment utiliser l'onglet Détails d'exécution dans l'interface de surveillance de Dataflow.
Présentation
Lorsque Dataflow exécute une tâche, il convertit les étapes du pipeline en étapes. Alors que chaque étape représente une transformation individuelle, une étape représente une unité de travail unique effectuée par Dataflow. Pour optimiser le pipeline, Dataflow peut fusionner plusieurs étapes en une seule.
L'onglet Détails d'exécution de l'interface de surveillance Dataflow affiche des informations sur les étapes d'une tâche. Vous pouvez utiliser l'onglet Détails de l'exécution pour résoudre les problèmes de performances, par exemple:
- Étapes lentes qui entraînent des goulots d'étranglement des performances
- Étapes bloquées qui ne progressent pas
- VM de nœud de calcul qui sont à la traîne par rapport aux autres nœuds de calcul
Afficher les détails de l'exécution
Pour afficher les détails d'exécution d'une tâche, procédez comme suit:
Dans la console Google Cloud, accédez à la page Dataflow > Tâches.
Sélectionnez une tâche.
Cliquez sur l'onglet Détails de l'exécution.
Sélectionnez l'une des vues suivantes :
- Progression des étapes
- Workflow de mise en scène
- Progression des nœuds de calcul (tâches par lot uniquement)
Les sections suivantes décrivent chacune de ces vues.
Vue de la progression des étapes
La vue Progression des étapes vous permet d'observer la progression globale de la tâche et de comparer la progression relative entre les étapes. La mise en page de la vue Progression de l'étape diffère entre les tâches par lot et les tâches en flux continu.
Progression de l'étape pour les tâches par lot
Pour les tâches par lot, la vue Progression de l'étape affiche les étapes de la tâche par ordre de début. Pour chaque étape, elle affiche les éléments suivants:
- Barre indiquant les heures de début et de fin
- Graphique en courbes qui indique l'avancement de l'étape au fil du temps en pourcentage de la tâche totale de l'étape.
- Durée totale passée dans l'étape.
Pour filtrer les étapes affichées, cliquez sur Filtrer les étapes. Pour afficher le chemin critique, activez l'option Chemin critique. Le chemin critique est la séquence d'étapes qui contribuent à l'exécution globale de la tâche. Par exemple, il exclut les branches qui se sont terminées plus tôt que la tâche globale et les entrées qui n'ont pas retardé le traitement en aval.
Le panneau Infos sur la phase affiche des informations plus détaillées sur une phase. Pour afficher les détails d'une étape, cliquez sur la barre de progression correspondante. Le panneau Infos sur la phase affiche les informations suivantes sur une phase:
- État
- Progression en pourcentage
- Heures de début et de fin
- Étapes du pipeline que cette phase englobe
- Étapes les plus lentes par durée d'exécution
- Informations sur les retardataires
Si le panneau n'est pas visible, cliquez sur Activer/Désactiver le panneau "Infos sur la scène".
Progression de l'étape pour les tâches en flux continu
Pour les tâches en flux continu, la vue Progression de l'étape comporte deux visualisations de la fraîcheur des données. La fraîcheur des données correspond à la différence entre l'horodatage d'un élément de données et le moment où cet élément est traité. Plus la valeur est élevée, plus le pipeline prend du temps à traiter les données d'entrée.
La première visualisation montre la fraîcheur des données par étape sous la forme d'un graphique en courbes. Pour afficher la fraîcheur des données à un instant précis, maintenez le pointeur sur le graphique. Pour sélectionner la période, utilisez le sélecteur de date et d'heure ou cliquez sur le graphique et faites glisser la souris pour sélectionner la période. Pour filtrer les étapes affichées, cliquez sur Filtrer les étapes.
Le graphique met également en évidence les anomalies dans les données:
- Lenteur potentielle: la fraîcheur des données dépasse le 95e centile pour la période sélectionnée.
- Blocage potentiel: la fraîcheur des données dépasse le 99e centile pour la période sélectionnée.
La deuxième visualisation présente les étapes sous forme de série de barres. Les étapes sont organisées dans l'ordre topologique. Les étapes sans descendants sont affichées en premier, suivies de leurs descendants. La longueur des barres représente la fraîcheur des données. Pour afficher les valeurs de fraîcheur des données à un moment spécifique, cliquez sur le graphique. Les barres sont mises à jour pour afficher la fraîcheur des données à l'heure sélectionnée.
L'image suivante montre une tâche comportant quatre étapes. Au moment de l'horodatage sélectionné, la fraîcheur des données varie de 9 secondes à 13 secondes.
L'image suivante montre la même tâche avec un code temporel différent sélectionné. À ce stade, la fraîcheur des données pour toutes les étapes dépasse quatre minutes, ce qui indique que le pipeline est peut-être bloqué.
Le panneau Infos sur la phase affiche des informations plus détaillées sur une phase. Pour afficher les détails d'une étape, cliquez sur la barre de progression correspondante. Le panneau Infos sur la phase affiche les informations suivantes sur une phase:
- État
- Retard du système : délai d'attente maximal pour le traitement d'un élément de données
- Code temporel des données : temps estimé nécessaire pour saisir les données à cette étape.
- Informations sur les retardataires
- Étapes du pipeline que cette phase englobe
Si le panneau n'est pas visible, cliquez sur Activer/Désactiver le panneau "Infos sur la scène".
Workflow des étapes
La vue Workflow des étapes affiche les étapes de la tâche sous la forme d'un graphique de workflow. Pour afficher les détails d'une étape, cochez la case correspondante.
Pour les tâches par lot, cliquez sur Chemin d'accès critique pour n'afficher que les étapes qui contribuent directement à l'exécution globale de la tâche.
Progression des nœuds de calcul
Pour les tâches par lot, la vue Progression du nœud de calcul affiche les nœuds de calcul pour une étape donnée. Cette vue n'est pas disponible pour les tâches de traitement en flux continu. Pour accéder à cette vue, sélectionnez Progression des nœuds de calcul, puis la phase dans Filtrer les nœuds de calcul par phase. Vous pouvez également activer cette vue depuis la vue Progression de l'étape comme suit:
- Dans la vue Progression de l'étape, identifiez l'étape que vous souhaitez afficher.
- Maintenez le pointeur sur la barre de cette étape.
- Dans la fiche Étape, cliquez sur Afficher les nœuds de calcul. La vue Progression des nœuds de calcul s'affiche avec l'étape présélectionnée.
Chaque barre correspond à un élément de travail programmé pour un nœud de calcul. Vous trouverez un graphique sparkline retraçant l'utilisation du processeur sur chaque nœud de calcul, ce qui vous aide à repérer plus facilement les problèmes d'utilisation.
Étape suivante
- Découvrez comment résoudre les problèmes liés aux jobs lents ou bloqués.
- Découvrez les différents composants de l'interface utilisateur Web de surveillance de Dataflow.