Dataflow-Job-Monitoring-Oberfläche verwenden

Wenn Sie Ihre Pipeline mit Dataflow ausführen, können Sie diesen und alle anderen Jobs über die Dataflow-Monitoring-Oberfläche aufrufen. Über die Monitoring-Oberfläche können Sie Ihre Dataflow-Jobs ansehen und mit ihnen interagieren.

Sie können in derGoogle Cloud consoleauf die Dataflow-Monitoring-Oberfläche zugreifen.

Über die Monitoring-Oberfläche können Sie unter anderem folgende Aufgaben ausführen:

  • Hier finden Sie eine Liste der aktiven, abgeschlossenen und fehlgeschlagenen Jobs.
  • Grafische Darstellung der Phasen eines Jobs und des Fortschritts jeder Phase ansehen
  • Diagramme mit Jobmesswerten wie Datenaktualität, Ressourcennutzung und E/A-Anfragen ansehen.
  • Geschätzte Kosten eines Jobs überwachen
  • Pipeline-Logs ansehen
  • Ermitteln, welche Schritte zu Pipelineverzögerungen führen können
  • Ursachen für Latenz in Ihren Quellen und Senken identifizieren
  • Informationen zu Pipelinefehlern

Monitoring-Schnittstellenkomponenten

Die Monitoring-Oberfläche enthält die folgenden Visualisierungen und Diagramme:

Dashboard für Projektmonitoring
Ein Dashboard, das Ihre Dataflow-Jobs auf Projektebene überwacht.
Jobliste
Eine Liste aller ausgeführten Dataflow-Jobs und aller Jobs, die innerhalb der letzten 30 Tage ausgeführt wurden, zusammen mit ihrem Status, ihrer Region, der verstrichenen Zeit und anderen Informationen.
Jobgrafik
Eine grafische Darstellung einer Pipeline. Die Jobgrafik enthält auch eine Jobübersicht, ein Joblog und Informationen zu jedem Schritt in der Pipeline.
Ausführungsdetails
Zeigt die Ausführungsphasen eines Jobs, die Datenaktualität für Streamingjobs und den Worker-Fortschritt für Batchjobs an.
Jobmesswerte
Diagramme, in denen Messwerte für die Dauer eines Jobs dargestellt werden.
Geschätzte Kosten
Die geschätzten Kosten Ihres Dataflow-Jobs basierend auf Messwerten zur Ressourcennutzung.
Empfehlungen
Empfehlungen zur Verbesserung der Jobleistung, zur Reduzierung der Kosten und zur Fehlerbehebung.
Autoscaling
Eine Reihe von Diagrammen, die Ihnen helfen, das Autoscaling-Verhalten von Streamingjobs zu verstehen.
Pipeline-Logs
Von Ihrer Pipeline und vom Dataflow-Dienst ausgegebene Logs.
Data Sampling
Ein Tool, mit dem Sie Stichprobendaten bei jedem Schritt einer Pipeline beobachten können.

Nächste Schritte