Pour afficher la liste de vos tâches Dataflow, accédez à la page Dataflow > Jobs (Dataflow > Tâches) dans la console Google Cloud.
Une liste des tâches Dataflow ainsi que leur état respectif apparaissent.
Une tâche peut présenter les états suivants :
- — : l'interface de surveillance n'a pas encore reçu d'information d'état de la part du service Dataflow.
- Running (en cours d'exécution) : la tâche est en cours d'exécution.
- Starting... (en cours de démarrage) : la tâche est créée, mais le système a besoin d'un certain temps pour se préparer avant de la lancer.
- En file d'attente: une tâche FlexRS est en file d'attente ou une tâche de modèle Flex est lancée (ce qui peut prendre plusieurs minutes).
- Cancelling... (en cours d'annulation) : la tâche est en cours d'annulation.
- Cancelled (annulée) : la tâche est annulée.
- Draining… (Drainage…) : la tâche est en cours de drainage.
- Drained (drainée) : la tâche est drainée.
- Updating… (Mise à jour…) : la tâche est en cours de mise à jour.
- Updated (mise à jour) : la tâche est mise à jour.
- Succeeded (Réussie) : la tâche s'est correctement terminée.
- Failed (échec) : la tâche n'a pas abouti.
Accéder aux visualiseurs de jobs
Pour accéder aux graphiques permettant de surveiller votre job, cliquez sur le nom du job dans l'interface de surveillance Dataflow. La page Job details (Informations sur la tâche) s'affiche. Elle contient les informations suivantes :
- Job graph (Graphique de la tâche) : représentation visuelle de votre pipeline
- Execution details (Détails de l'exécution) : outil permettant d'optimiser les performances de votre pipeline
- Job metrics (Métriques de tâche) : métriques sur l'exécution de votre tâche
- Coût: métriques sur le coût estimé de votre tâche
- Autoscaling: métriques liées aux événements d'autoscaling des jobs en streaming
- Volet Job info (Informations sur la tâche) : informations descriptives sur votre pipeline
- Job logs (Journaux de la tâche) : journaux générés par le service Dataflow au niveau de la tâche
- Journaux de nœud de calcul: journaux générés par le service Dataflow au niveau du nœud de calcul
- Diagnostics: tableau indiquant l'origine des erreurs sur la chronologie choisie et les recommandations possibles pour votre pipeline.
- Échantillonnage de données: outil permettant d'observer les données à chaque étape d'un pipeline
Sur la page Détails du job, vous pouvez basculer l'affichage du job avec les onglets Graphique du job, Détails de l'exécution, Métriques du job, Coût et Autoscaling.
Lister les jobs à l'aide de la Google Cloud CLI
Vous pouvez également utiliser la Google Cloud CLI pour obtenir la liste de vos tâches Dataflow.
Pour répertorier les tâches Dataflow de votre projet, utilisez la commande dataflow jobs list:
gcloud dataflow jobs list
La commande renvoie la liste de vos tâches en cours. Voici un exemple de résultat :
ID NAME TYPE CREATION_TIME STATE REGION 2015-06-03_16_39_22-4020553808241078833 wordcount-janedoe-0603233849 Batch 2015-06-03 16:39:22 Done us-central1 2015-06-03_16_38_28-4363652261786938862 wordcount-johndoe-0603233820 Batch 2015-06-03 16:38:28 Done us-central1 2015-05-21_16_24_11-17823098268333533078 bigquerytornadoes-johndoe-0521232402 Batch 2015-05-21 16:24:11 Done europe-west1 2015-05-21_13_38_06-16409850040969261121 bigquerytornadoes-johndoe-0521203801 Batch 2015-05-21 13:38:06 Done us-central1 2015-05-21_13_17_18-18349574013243942260 bigquerytornadoes-johndoe-0521201710 Batch 2015-05-21 13:17:18 Done europe-west1 2015-05-21_12_49_37-9791290545307959963 wordcount-johndoe-0521194928 Batch 2015-05-21 12:49:37 Done us-central1 2015-05-20_15_54_51-15905022415025455887 wordcount-johndoe-0520225444 Batch 2015-05-20 15:54:51 Failed us-central1 2015-05-20_15_47_02-14774624590029708464 wordcount-johndoe-0520224637 Batch 2015-05-20 15:47:02 Done us-central1
Pour afficher plus d'informations sur une tâche, utilisez la commande dataflow jobs describe:
gcloud dataflow jobs describe JOB_ID
Remplacez JOB_ID par la tâche ID. Le résultat de cette commande ressemble à ceci:
createTime: '2015-02-09T19:39:41.140Z' currentState: JOB_STATE_DONE currentStateTime: '2015-02-09T19:56:39.510Z' id: 2015-02-09_11_39_40-15635991037808002875 name: tfidf-bchambers-0209193926 projectId: google.com:clouddfe type: JOB_TYPE_BATCH
Pour formater le résultat au format JSON, exécutez la commande avec l'option --format=json :
gcloud --format=json dataflow jobs describe JOB_ID