Wenn Sie Ihre Pipeline mit Dataflow ausführen, können Sie diesen und alle anderen Jobs über die Dataflow-Monitoring-Oberfläche aufrufen. Über die Monitoring-Oberfläche können Sie Ihre Dataflow-Jobs ansehen und mit ihnen interagieren.
Sie können über die Google Cloud Console auf die Monitoring-Oberfläche von Dataflow zugreifen.
Über die Monitoring-Benutzeroberfläche können Sie unter anderem Folgendes tun:
- Liste der laufenden, abgeschlossenen und fehlgeschlagenen Jobs aufrufen
- Eine grafische Darstellung der Phasen eines Jobs und des Fortschritts jeder Phase aufrufen
- Hier können Sie Diagramme mit Jobmesswerten wie Datenaktualität, Ressourcennutzung und I/O-Anfragen aufrufen.
- Die geschätzten Kosten eines Jobs im Blick behalten
- Pipeline-Logs ansehen
- Identifizieren Sie die Schritte, die zu Pipelineverzögerungen führen können.
- Ursachen für Latenz in Ihren Quellen und Senken ermitteln
- Informationen zu Pipelinefehlern
Komponenten der Monitoring-Oberfläche
Die Monitoring-Benutzeroberfläche enthält die folgenden Visualisierungen und Diagramme:
- Dashboard für die Projektüberwachung
- Ein Dashboard, mit dem Ihre Dataflow-Jobs auf Projektebene überwacht werden.
- Liste der Jobs
- Eine Liste aller ausgeführten Dataflow-Jobs und aller Jobs, die innerhalb der letzten 30 Tage ausgeführt wurden, mit Status, Region, verstrichener Zeit und anderen Informationen.
- Jobgrafik
- Eine grafische Darstellung einer Pipeline. Die Jobgrafik enthält außerdem eine Jobübersicht, ein Joblog und Informationen zu jedem Schritt in der Pipeline.
- Ausführungsdetails
- Die Ausführungsphasen eines Jobs, die Datenaktualität für Streamingjobs und den Worker-Fortschritt für Batchjobs.
- Jobmesswerte
- Diagramme, die Messwerte für die Dauer eines Jobs anzeigen.
- Geschätzte Kosten
- Die geschätzten Kosten Ihres Dataflow-Jobs basierend auf Messwerten zur Ressourcennutzung.
- Empfehlungen
- Empfehlungen zur Verbesserung der Jobleistung, zur Reduzierung der Kosten und zur Fehlerbehebung.
- Autoscaling
- Eine Reihe von Diagrammen, die Ihnen helfen, das Autoscaling-Verhalten von Streaming-Jobs zu verstehen.
- Pipeline-Protokolle
- Von Ihrer Pipeline und vom Dataflow-Dienst generierte Protokolle
- Stichprobenerhebung
- Tool, mit dem Sie Stichprobendaten in jedem Schritt einer Pipeline beobachten können.
Nächste Schritte
- Cloud Monitoring verwenden, um Benachrichtigungen zu erstellen und Dataflow-Messwerte einschließlich benutzerdefinierter Messwerte anzusehen
- Produktionsbereite Datenpipelines erstellen
- Weitere Informationen zur Fehlerbehebung bei Pipelines