Questa pagina descrive come utilizzare la scheda Dettagli esecuzione nell'interfaccia di monitoraggio di Dataflow.
Panoramica
Quando Dataflow esegue un job, converte i passaggi della pipeline in fasi. Mentre ogni passaggio rappresenta una singola trasformazione, una fase rappresenta una singola unità di lavoro eseguita da Dataflow. Per ottimizzare la pipeline, Dataflow potrebbe unire più passaggi in un'unica fase.
La scheda Dettagli esecuzione nell'interfaccia di monitoraggio di Dataflow visualizza informazioni sulle fasi di un job. Puoi utilizzare la scheda Dettagli di esecuzione per risolvere i problemi di prestazioni, ad esempio:
- Fasi lente che causano colli di bottiglia delle prestazioni
- Le fasi bloccate non avanzano
- VM dei worker in ritardo rispetto ad altri worker
Visualizza i dettagli dell'esecuzione
Per visualizzare i dettagli di esecuzione di un job:
Nella console Google Cloud, vai alla pagina Dataflow > Job.
Seleziona un job.
Fai clic sulla scheda Dettagli esecuzione.
Seleziona una delle seguenti visualizzazioni:
- Avanzamento fase
- Flusso di lavoro della fase
- Avanzamento dei worker (solo job batch)
Le sezioni seguenti descrivono ciascuna di queste visualizzazioni.
Visualizzazione avanzamento fase
La visualizzazione Avanzamento fase ti consente di osservare l'avanzamento complessivo del job e di confrontare l'avanzamento relativo tra le fasi. Il layout della visualizzazione Avanzamento fase è diverso per i job batch e per i job in streaming.
Aggiornamento della fase per i job batch
Per i job batch, la visualizzazione Avanzamento fase mostra le fasi del job in ordine di ora di inizio. Per ogni fase, vengono visualizzati i seguenti elementi:
- Una barra che mostra le ore di inizio e di fine.
- Un grafico a linee che mostra l'avanzamento della fase nel tempo come percentuale del lavoro totale della fase.
- Il tempo totale trascorso nella fase.
Per filtrare le fasi visualizzate, fai clic su Filtra fasi. Per visualizzare il percorso critico, attiva/disattiva l'opzione Percorso critico. Il percorso critico è la sequenza di fasi che contribuiscono al runtime complessivo del job. Ad esempio, esclude i rami che sono stati completati prima del job complessivo e gli input che non hanno ritardato l'elaborazione a valle.
Il riquadro Informazioni sulla fase mostra informazioni più dettagliate su una fase. Per visualizzare i dettagli di una fase, fai clic sulla barra di avanzamento corrispondente. Il riquadro Informazioni sulla fase mostra le seguenti informazioni su una fase:
- Stato
- Aggiornamento in percentuale
- Ora di inizio e di fine
- I passaggi della pipeline inclusi in questa fase
- Passaggi più lenti per tempo totale di esecuzione
- Dettagli su eventuali elementi in ritardo
Se il riquadro non è visibile, fai clic su Attiva/disattiva riquadro "Informazioni sulla fase".
Avanzamento della fase per i job di streaming
Per i job in streaming, la visualizzazione Avanzamento fase presenta due visualizzazioni dell'aggiornamento dei dati. L'aggiornamento dei dati è la differenza tra il timestamp di un elemento di dati e l'ora in cui viene elaborato. Valori più elevati indicano che la pipeline impiega più tempo per elaborare i dati di input.
La prima visualizzazione mostra l'aggiornamento dei dati per fase sotto forma di grafico a linee. Per visualizzare la frequenza di aggiornamento dei dati in un determinato istante, tieni premuto il cursore sul grafico. Per selezionare l'intervallo di tempo, utilizza il selettore della data o fai clic sul grafico e trascinalo per selezionare l'intervallo. Per filtrare le fasi visualizzate, fai clic su Filtra le fasi.
Il grafico evidenzia anche le anomalie nei dati:
- Potenziale lentezza: l'aggiornamento dei dati supera il 95° percentile per la finestra di tempo selezionata.
- Potenziale blocco: l'aggiornamento dei dati supera il 99° percentile per la finestra di tempo selezionata.
La seconda visualizzazione mostra le fasi come una serie di barre. Le fasi sono arranged in topological order. Le fasi senza discendenti vengono mostrate per prime, followed by their descendants. La lunghezza delle barre rappresenta l'aggiornamento dei dati. Per visualizzare i valori di aggiornamento dei dati in un punto specifico, fai clic sul grafico. Le barre si aggiornano per mostrare l'aggiornamento dei dati al momento selezionato.
L'immagine seguente mostra un job con quattro fasi. Al timestamp selezionato, la frequenza di aggiornamento dei dati varia da 9 a 13 secondi.
L'immagine successiva mostra lo stesso job con un timestamp diverso selezionato. A questo punto, l'aggiornamento dei dati per tutte le fasi supera i 4 minuti, indicando che la pipeline potrebbe essere bloccata.
Il riquadro Informazioni sulla fase mostra informazioni più dettagliate su una fase. Per visualizzare i dettagli di una fase, fai clic sulla barra di avanzamento corrispondente. Il riquadro Informazioni sulla fase mostra le seguenti informazioni su una fase:
- Stato
- Ritardo sistema: Il tempo massimo di attesa per l'elaborazione di un elemento di dati
- Watermark dei dati: Il tempo di completamento stimato dell'input di dati per questa fase
- Dettagli su eventuali elementi in ritardo
- I passaggi della pipeline inclusi in questa fase
Se il riquadro non è visibile, fai clic su Attiva/disattiva riquadro "Informazioni sulla fase".
Workflow fase
La visualizzazione Flusso di lavoro delle fasi mostra le fasi del job come un grafico del flusso di lavoro. Per visualizzare i dettagli di una fase, fai clic sulla relativa casella.
Per i job batch, fai clic su Percorso critico per visualizzare solo le fasi che contribuiscono direttamente al runtime complessivo del job.
Avanzamento worker
Per i job batch, la vista Avanzamento dei worker mostra i worker per una determinata fase. Questa visualizzazione non è disponibile per i job di streaming. Per accedere a questa visualizzazione, seleziona Avanzamento dei worker e seleziona la fase in Filtra worker per fase. In alternativa, puoi attivare questa visualizzazione dalla visualizzazione Avanzamento fase come segue:
- Nella visualizzazione Avanzamento fase, identifica la fase che vuoi visualizzare.
- Tieni il cursore sopra la barra della fase.
- Nella scheda Fase, fai clic su Visualizza lavoratori. La visualizzazione Avanzamento del collaboratore viene visualizzata con la fase preselezionata.
Ogni barra corrisponde a un elemento di lavoro pianificato per un worker. Un grafico sparkline che monitora l'utilizzo della CPU su un worker si trova in corrispondenza di ogni worker, facilitando l'individuazione dei problemi di sottoutilizzo.
Passaggi successivi
- Scopri di più sulla risoluzione dei problemi relativi ai job lenti o bloccati.
- Scopri i diversi componenti dell'interfaccia utente del monitoraggio basato su web di Dataflow.