Quando esegui la pipeline utilizzando Dataflow, puoi visualizzare il job e tutti gli altri utilizzando l'interfaccia di monitoraggio di Dataflow. L'interfaccia di monitoraggio ti consente di visualizzare e interagire con i tuoi job Dataflow.
Puoi accedere all'interfaccia di monitoraggio di Dataflow in Google Cloud console.
Le attività che puoi eseguire utilizzando l'interfaccia di monitoraggio includono quanto segue:
- Visualizza un elenco dei job in esecuzione, completati e non riusciti.
- Visualizza una rappresentazione grafica delle fasi di un job e dell'avanzamento di ciascuna fase.
- Visualizza i grafici delle metriche dei job, come aggiornamento dei dati, utilizzo delle risorse e richieste I/O.
- Monitora il costo stimato di un job.
- Visualizza i log della pipeline.
- Identifica i passaggi che potrebbero causare ritardi nella pipeline.
- Identifica le cause della latenza nelle sorgenti e nei sink.
- Comprendere gli errori della pipeline.
Componenti dell'interfaccia di monitoraggio
L'interfaccia di monitoraggio contiene i seguenti visualizzatori e grafici:
- Dashboard per il monitoraggio dei progetti
- Una dashboard che monitora i job Dataflow a livello di progetto.
- Elenco dei lavori
- Un elenco di tutti i job Dataflow in esecuzione e di tutti i job eseguiti negli ultimi 30 giorni, insieme a stato, regione, tempo trascorso e altre informazioni.
- Grafico del job
- Una rappresentazione grafica di una pipeline. Il grafico dei job fornisce anche un riepilogo del job, un log del job e informazioni su ogni passaggio della pipeline.
- Dettagli esecuzione
- Mostra le fasi di esecuzione di un job, l'aggiornamento dei dati per i job di streaming e l'avanzamento dei worker per i job batch.
- Metriche del job
- Grafici che mostrano le metriche per la durata di un job.
- Costo stimato
- Il costo stimato del job Dataflow, in base alle metriche di utilizzo delle risorse.
- Consigli
- Suggerimenti per migliorare le prestazioni dei job, ridurre i costi e risolvere gli errori.
- Scalabilità automatica
- Un insieme di grafici che ti aiutano a comprendere il comportamento di scalabilità automatica dei job di streaming.
- Log della pipeline
- Log emessi dalla pipeline e dal servizio Dataflow.
- Campionamento dei dati
- Uno strumento che consente di osservare i dati campionati in ogni passaggio di una pipeline.
Passaggi successivi
- Utilizza Cloud Monitoring per creare avvisi e visualizzare le metriche di Dataflow, incluse quelle personalizzate
- Scopri di più sulla creazione di pipeline di dati pronte per la produzione
- Scopri come risolvere i problemi relativi alla pipeline.