Questa pagina descrive come utilizzare la scheda Dettagli esecuzione nell'interfaccia di monitoraggio di Dataflow.
Panoramica
Quando Dataflow esegue un job, converte i passaggi della pipeline in fasi. Mentre ogni passaggio rappresenta una singola trasformazione, una fase rappresenta una singola unità di lavoro eseguita da Dataflow. Per ottimizzare la pipeline, Dataflow potrebbe unire più passaggi in una sola fase.
La scheda Dettagli esecuzione nell'interfaccia di monitoraggio di Dataflow mostra informazioni sulle fasi di un job. Puoi utilizzare la scheda Dettagli di esecuzione per risolvere i problemi di prestazioni, ad esempio:
- Fasi lente che causano colli di bottiglia delle prestazioni
- Fasi bloccate che non avanzano
- VM worker che sono in ritardo rispetto ad altri worker
Visualizza i dettagli dell'esecuzione
Per visualizzare i dettagli di esecuzione di un job:
Nella console Google Cloud , vai alla pagina Dataflow > Job.
Seleziona un lavoro.
Fai clic sulla scheda Dettagli esecuzione.
Seleziona una delle seguenti visualizzazioni:
- Avanzamento fase
- Flusso di lavoro dello stato
- Avanzamento worker (solo job batch)
Le sezioni seguenti descrivono ciascuna di queste visualizzazioni.
Visualizzazione avanzamento fase
La visualizzazione Avanzamento fase ti consente di osservare l'avanzamento complessivo del job e confrontare l'avanzamento relativo tra le fasi. Il layout della visualizzazione Avanzamento fase varia tra i job batch e i job di streaming.
Avanzamento della fase per i job batch
Per i job batch, la visualizzazione Avanzamento fase mostra le fasi del job in ordine di ora di inizio. Per ogni fase vengono visualizzati i seguenti elementi:
- Una barra che mostra l'ora di inizio e l'ora di fine.
- Un grafico a linee che mostra l'avanzamento della fase nel tempo come percentuale del lavoro totale della fase.
- Il tempo totale trascorso nella fase.
Per filtrare le fasi visualizzate, fai clic su Filtra fasi. Per visualizzare il percorso critico, attiva/disattiva Percorso critico. Il percorso critico è la sequenza di fasi che contribuiscono al runtime complessivo del job. Ad esempio, esclude i rami che sono stati completati prima del job complessivo e gli input che non hanno ritardato l'elaborazione downstream.
Il riquadro Informazioni sulla fase mostra informazioni più dettagliate su una fase. Per visualizzare i dettagli di una fase, fai clic sulla relativa barra di avanzamento. Il riquadro Informazioni sulla fase mostra le seguenti informazioni su una fase:
- Stato
- Avanzamento in percentuale
- Ora di inizio e di fine
- I passaggi della pipeline inclusi in questa fase
- Passaggi più lenti per tempo totale di esecuzione
- Dettagli sugli eventuali elementi in ritardo
Se il riquadro non è visibile, fai clic su Attiva/disattiva riquadro "Informazioni sullo stage".
Avanzamento fase per i job di streaming
Per i job di streaming, la visualizzazione Avanzamento fase mostra due visualizzazioni della freschezza dei dati. L'aggiornamento dei dati è la differenza tra il timestamp di un elemento di dati e il momento in cui l'elemento viene elaborato. Valori più elevati indicano che la pipeline impiega più tempo a elaborare i dati di input.
La prima visualizzazione mostra l'aggiornamento dei dati per fase come grafico lineare. Per visualizzare l'aggiornamento dei dati in un momento specifico, tieni il puntatore sopra il grafico. Per selezionare l'intervallo di tempo, utilizza il selettore dell'ora o fai clic sul grafico e trascina per selezionare l'intervallo. Per filtrare le fasi visualizzate, fai clic su Filtra fasi.
Il grafico evidenzia anche le anomalie nei dati:
- Potenziale lentezza: l'aggiornamento dei dati supera il 95° percentile per la finestra temporale selezionata.
- Potenziale blocco: l'aggiornamento dei dati supera il 99° percentile per la finestra temporale selezionata.
La seconda visualizzazione mostra le fasi come una serie di barre. Le fasi sono disposte in ordine topologico. Le fasi senza discendenti vengono visualizzate per prime, seguite dai relativi discendenti. La lunghezza delle barre rappresenta l'aggiornamento dei dati. Per visualizzare i valori di aggiornamento dei dati in un punto specifico, fai clic sul grafico. Le barre vengono aggiornate per mostrare la freschezza dei dati all'ora selezionata.
L'immagine seguente mostra un job con quattro fasi. Al timestamp selezionato, l'aggiornamento dei dati varia da 9 a 13 secondi.
L'immagine successiva mostra lo stesso job con un timestamp diverso selezionato. A questo punto, l'aggiornamento dei dati per tutte le fasi supera i 4 minuti, il che indica che la pipeline potrebbe essere bloccata.
Il riquadro Informazioni sulla fase mostra informazioni più dettagliate su una fase. Per visualizzare i dettagli di una fase, fai clic sulla relativa barra di avanzamento. Il riquadro Informazioni sulla fase mostra le seguenti informazioni su una fase:
- Stato
- Ritardo sistema: Il tempo massimo di attesa per l'elaborazione di un elemento di dati
- Filigrana dei dati: Il tempo stimato per il completamento dell'input di dati per questa fase
- Dettagli sugli eventuali elementi in ritardo
- I passaggi della pipeline inclusi in questa fase
Se il riquadro non è visibile, fai clic su Attiva/disattiva riquadro "Informazioni sullo stage".
Workflow fase
La visualizzazione Workflow della fase mostra le fasi del job come un grafico del workflow. Per visualizzare i dettagli di una fase, fai clic sulla casella corrispondente.
Per i job batch, fai clic su Percorso critico per visualizzare solo le fasi che contribuiscono direttamente al runtime complessivo del job.
Avanzamento worker
Per i job batch, la visualizzazione Avanzamento worker mostra i worker per una determinata fase. Questa visualizzazione non è disponibile per i job di streaming. Per accedere a questa visualizzazione, seleziona Avanzamento worker e seleziona la fase in Filtra worker per fase. In alternativa, puoi attivare questa visualizzazione dalla visualizzazione Avanzamento fase come segue:
- Nella visualizzazione Avanzamento fase, identifica la fase che vuoi visualizzare.
- Tieni il puntatore sopra la barra della fase.
- Nella scheda Fase, fai clic su Visualizza lavoratori. Viene visualizzata la visualizzazione Avanzamento lavoratore con la fase preselezionata.
Ogni barra corrisponde a un elemento di lavoro pianificato per un worker. Una sparkline che monitora l'utilizzo della CPU su un worker si trova con ogni worker, il che semplifica l'individuazione dei problemi di sottoutilizzo.
Passaggi successivi
- Scopri di più sulla risoluzione dei problemi relativi ai job lenti o bloccati.
- Scopri i diversi componenti dell'interfaccia utente di monitoraggio basata sul web di Dataflow.