Quando esegui la pipeline utilizzando Dataflow, puoi visualizzare questo job e gli altri utilizzando l'interfaccia di monitoraggio Dataflow. L'interfaccia di monitoraggio ti consente di visualizzare e interagire con i tuoi job Dataflow.
Puoi accedere all'interfaccia di monitoraggio di Dataflow nella console Google Cloud.
Le attività che puoi eseguire utilizzando l'interfaccia di monitoraggio includono quanto segue:
- Visualizza un elenco di job in esecuzione, completati e non riusciti.
- Visualizzare una rappresentazione grafica delle fasi di un job e l'avanzamento di ciascuna fase
- Visualizza i grafici delle metriche dei job, ad esempio l'aggiornamento dei dati, l'utilizzo delle risorse e le richieste I/O.
- Monitora il costo stimato di un job.
- Visualizza i log della pipeline.
- Identifica i passaggi che potrebbero causare il ritardo della pipeline.
- Identifica le cause della latenza nelle origini e nei sink.
- Comprendi gli errori della pipeline.
Componenti dell'interfaccia di monitoraggio
L'interfaccia di monitoraggio contiene i seguenti visualizzatori e grafici:
- Dashboard per il monitoraggio dei progetti
- Una dashboard che monitora i job Dataflow a livello di progetto.
- Elenco di job
- Un elenco di tutti i job Dataflow in esecuzione e di tutti i job eseguiti negli ultimi 30 giorni, insieme allo stato, alla regione, al tempo trascorso e ad altre informazioni.
- Grafico del job
- Una rappresentazione grafica di una pipeline. Il grafico dei job fornisce anche un riepilogo del job, un log del job e informazioni su ogni passaggio della pipeline.
- Dettagli esecuzione
- Mostra le fasi di esecuzione di un job, l'aggiornamento dei dati per i job in streaming e l'avanzamento dei worker per i job batch.
- Metriche dei job
- Grafici che mostrano le metriche per tutta la durata di un job.
- Costo stimato
- Il costo stimato del job Dataflow, in base alle metriche sull'utilizzo delle risorse.
- Consigli
- Suggerimenti per migliorare le prestazioni dei job, ridurre i costi e risolvere i problemi.
- Scalabilità automatica
- Un insieme di grafici che ti aiutano a comprendere il comportamento della scalabilità automatica dei job di streaming.
- Log della pipeline
- Log emessi dalla pipeline e dal servizio Dataflow.
- Campionamento dei dati
- Uno strumento che consente di osservare i dati campionati in ogni passaggio di una pipeline.
Passaggi successivi
- Utilizza Cloud Monitoring per creare avvisi e visualizzare le metriche di Dataflow, incluse quelle personalizzate
- Scopri di più sulla creazione di pipeline di dati pronte per la produzione
- Scopri come risolvere i problemi della pipeline