Eine Liste Ihrer Dataflow-Jobs finden Sie in der Google Cloud Console auf der Seite Dataflow > Jobs.
Eine Liste der Dataflow-Jobs mit ihrem Status wird angezeigt.
Ein Job kann folgende Statuswerte haben:
- –: Die Monitoring-Oberfläche hat noch keinen Status vom Dataflow-Dienst erhalten.
- Aktiv: Der Job wird ausgeführt.
- Starting... (Wird gestartet): Der Job ist erstellt, das System benötigt jedoch vor dem Start noch etwas Vorbereitungszeit.
- In der Warteschlange: Entweder wird ein FlexRS-Job in die Warteschlange gestellt oder ein Flex-Vorlagenjob gestartet (was mehrere Minuten in Anspruch nehmen kann).
- Canceling... (Wird abgebrochen): Der Job wird gerade abgebrochen.
- Abgebrochen: Der Job wurde abgebrochen.
- Draining… (Draining läuft…): Der Job wird gerade per Drain beendet.
- Draining angewendet: Der Job wird per Drain beendet.
- Updating… (Wird aktualisiert…): Der Job wird gerade aktualisiert.
- Aktualisiert: Der Job wurde aktualisiert.
- Succeeded (Erfolgreich): Der Job wurde erfolgreich abgeschlossen.
- Failed (Fehlgeschlagen): Der Job konnte nicht abgeschlossen werden.
Auf Jobvisualisierer zugreifen
Klicken Sie auf der Dataflow-Monitoring-Oberfläche auf den Jobnamen, um auf Diagramme zum Überwachen des Jobs zuzugreifen. Die Seite Jobdetails wird mit folgenden Informationen angezeigt:
- Jobgrafik: visuelle Darstellung Ihrer Pipeline
- Ausführungsdetails: Tool zur Optimierung der Pipeline-Leistung
- Jobmesswerte: Messwerte zur Ausführung des Jobs
- Kosten: Messwerte zu den geschätzten Kosten Ihres Jobs
- Autoscaling: Messwerte im Zusammenhang mit Autoscaling-Ereignissen für Streamingjobs
- Bereich Jobinfo: beschreibende Informationen zu Ihrer Pipeline
- Job-Logs: vom Dataflow-Dienst auf Jobebene generierte Logs
- Worker-Logs: vom Dataflow-Dienst auf Worker-Ebene generierte Logs
- Diagnose: Tabelle, in der angezeigt wird, wo Fehler in der ausgewählten Zeitachse aufgetreten sind, sowie mögliche Empfehlungen für Ihre Pipeline
- Stichprobenerhebung: Tool, mit dem Sie die Daten bei jedem Schritt einer Pipeline beobachten können
Auf der Seite mit den Jobdetails können Sie die Jobansicht über die Tabs Jobdiagramm, Ausführungsdetails, Jobmesswerte, Kosten und Autoscaling wechseln.
Jobs mit der Google Cloud CLI auflisten
Sie können auch die Google Cloud CLI verwenden, um eine Liste Ihrer Dataflow-Jobs abzurufen.
Verwenden Sie den Befehl dataflow jobs list, um die Dataflow-Jobs in Ihrem Projekt aufzulisten:
gcloud dataflow jobs list
Der Befehl gibt eine Liste Ihrer aktuellen Jobs zurück. Hier ein Beispiel für eine Ausgabe:
ID NAME TYPE CREATION_TIME STATE REGION 2015-06-03_16_39_22-4020553808241078833 wordcount-janedoe-0603233849 Batch 2015-06-03 16:39:22 Done us-central1 2015-06-03_16_38_28-4363652261786938862 wordcount-johndoe-0603233820 Batch 2015-06-03 16:38:28 Done us-central1 2015-05-21_16_24_11-17823098268333533078 bigquerytornadoes-johndoe-0521232402 Batch 2015-05-21 16:24:11 Done europe-west1 2015-05-21_13_38_06-16409850040969261121 bigquerytornadoes-johndoe-0521203801 Batch 2015-05-21 13:38:06 Done us-central1 2015-05-21_13_17_18-18349574013243942260 bigquerytornadoes-johndoe-0521201710 Batch 2015-05-21 13:17:18 Done europe-west1 2015-05-21_12_49_37-9791290545307959963 wordcount-johndoe-0521194928 Batch 2015-05-21 12:49:37 Done us-central1 2015-05-20_15_54_51-15905022415025455887 wordcount-johndoe-0520225444 Batch 2015-05-20 15:54:51 Failed us-central1 2015-05-20_15_47_02-14774624590029708464 wordcount-johndoe-0520224637 Batch 2015-05-20 15:47:02 Done us-central1
Weitere Informationen zu einem Job erhalten Sie mit dem Befehl dataflow jobs describe:
gcloud dataflow jobs describe JOB_ID
Ersetzen Sie JOB_ID durch den Job ID. Die Ausgabe dieses Befehls sieht in etwa so aus:
createTime: '2015-02-09T19:39:41.140Z' currentState: JOB_STATE_DONE currentStateTime: '2015-02-09T19:56:39.510Z' id: 2015-02-09_11_39_40-15635991037808002875 name: tfidf-bchambers-0209193926 projectId: google.com:clouddfe type: JOB_TYPE_BATCH
Führen Sie den Befehl mit der Option --format=json aus, um das Ergebnis in JSON zu formatieren:
gcloud --format=json dataflow jobs describe JOB_ID