L'interfaccia di monitoraggio basata sul web di Dataflow include un dashboard che monitora i tuoi job Dataflow a livello di progetto. I grafici mostrano i dati di tutti i job in un progetto.
La dashboard può aiutarti con le seguenti attività:
- Rileva e identifica l'origine degli errori di quota.
- Rileva la scalabilità automatica orizzontale anomala in un job.
- Identifica i job di streaming lenti o bloccati.
La dashboard utilizza Cloud Monitoring per accedere alle metriche dei job Dataflow. Per personalizzare le informazioni visualizzate nei grafici, utilizza Metrics Explorer.
Funzionalità
La dashboard include le seguenti funzionalità:
- Scegli quali job visualizzare nella dashboard utilizzando le espressioni regolari.
- Accedi alla pagina dei dettagli del job dai singoli grafici.
- Personalizza i widget e i grafici della dashboard.
Ruoli obbligatori
Per ottenere l'autorizzazione
necessaria per visualizzare i dati del grafico,
chiedi all'amministratore di concederti il
ruolo IAM Monitoring Viewer (roles/monitoring.viewer).
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene l'autorizzazione
monitoring.timeSeries.list
necessaria per
visualizzare i dati del grafico.
Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.
Accedere alla dashboard
Per accedere alla dashboard:
- Accedi alla console Google Cloud .
- Selezionare il tuo progetto Google Cloud .
- Apri il menu di navigazione.
- In Analytics, fai clic su Dataflow.
Nel menu di navigazione di Dataflow, fai clic su Monitoring.
Metriche della dashboard
Per impostazione predefinita, nella dashboard vengono visualizzati i seguenti grafici delle serie temporali. Per ulteriori informazioni sulle metriche visualizzate, consulta Metriche dei job.
I seguenti grafici si applicano ai job batch e di streaming:
- Lavori in esecuzione. Mostra il numero di job attivi in esecuzione nel progetto. Questo grafico indica l'attività complessiva di Dataflow nel progetto nel tempo.
- Worker per job (primi 25). Mostra i conteggi attuali dei worker per i 25 job più parallelizzati. Questo grafico è utile per comprendere l'allocazione delle risorse e identificare i job con un carico di lavoro elevato. Puoi anche vedere se i job hanno un comportamento di scalabilità inatteso.
- Numero totale di vCPU. Mostra il numero totale di CPU virtuali (vCPU) in uso in tutti i job del progetto. Il numero totale di vCPU influisce sulle quote di Compute Engine.
- vCPU per job (primi 25). Mostra i 25 job che consumano più risorse vCPU. Questo grafico evidenzia i job potenzialmente costosi.
- Numero totale di vCPU. Mostra un aggregato a livello di progetto delle vCPU in uso. Questo grafico offre una visione generale delle risorse Compute Engine utilizzate dai tuoi job.
- Errori di superamento quota. Segnala tutte le istanze in cui sono state raggiunte le quote di Dataflow o le quote di Compute Engine. Questo grafico può aiutarti a trovare potenziali errori dei job o rallentamenti dello scaling.
I seguenti grafici si applicano ai job di streaming:
- Latenza di sistema media. Mostra la latenza di sistema media, che riflette il ritardo tipico riscontrato dai dati durante il passaggio attraverso le fasi di origine. Questo grafico può indicare potenziali colli di bottiglia di input. Utilizza questo grafico per identificare i job di streaming che presentano un ritardo insolito tra il momento in cui i dati vengono visualizzati in un'origine e il momento in cui vengono scritti in tutti i sink.
- Primi 25 job per ritardo di sistema. Mostra le 25 pipeline di streaming con il ritardo di sistema più elevato, ovvero il periodo di tempo più lungo in cui i dati vengono elaborati o sono in attesa di elaborazione. Questo grafico può indicare potenziali colli di bottiglia di elaborazione in tempo reale.
- I 25 job principali per ritardo della filigrana dei dati per fase (aggiornamento). Mostra i 25 job di streaming con il ritardo della filigrana più elevato. Il ritardo del watermark per una fase è la differenza tra l'ora dell'ultimo evento ricevuto dalla fase e il watermark. Questo grafico può indicare potenziali colli di bottiglia con granularità per fase. Utilizza questo grafico per trovare i job di streaming che potrebbero essere lenti o bloccati. Per saperne di più, vedi Risolvere i problemi relativi ai job lenti o bloccati.
- I 25 job principali per utilizzo SECU. Mostra i 25 job di streaming che consumano il maggior numero di unità di calcolo Streaming Engine. Utilizza questo grafico per misurare il costo e l'intensità dei tuoi job di streaming che utilizzano la fatturazione basata sulle risorse.
- I 25 job principali per latenze di elaborazione utente (per fase). Mostra i 25 job di streaming in cui il codice definito dall'utente nelle fasi di elaborazione richiede più tempo. Utilizza questo grafico per trovare potenziali colli di bottiglia delle prestazioni nella logica dell'applicazione.
- Byte di backlog massimi (primi 25). Mostra i 25 job di streaming con il volume più grande di dati non elaborati in attesa in qualsiasi fase. Questo grafico può indicare un potenziale sovraccarico di input o un'elaborazione lenta.
Per saperne di più sull'utilizzo dei grafici, consulta Esplorare i dati dei grafici.
Personalizza la dashboard
Puoi personalizzare i contenuti della dashboard e le informazioni visualizzate nei grafici. Quando modifichi la dashboard, viene creata una nuova dashboard personalizzata.
La dashboard utilizza Cloud Monitoring per accedere alle metriche dei job Dataflow. Utilizza gli strumenti di Cloud Monitoring per personalizzare i grafici.
- Apri la dashboard e fai clic su Personalizza dashboard.
- Modifica la dashboard.
- Per filtrare i job visualizzati nella dashboard, vedi Aggiungere filtri temporanei a una dashboard personalizzata e Aggiungere filtri permanenti a una dashboard personalizzata.
- Per modificare o rimuovere i widget, consulta Gestire i widget della dashboard.
- Per modificare i contenuti dei grafici, consulta Selezionare le metriche per i grafici nelle dashboard.
- Per aggiungere grafici alla dashboard, vedi Aggiungere grafici e tabelle a una dashboard personalizzata.
- Fai clic su Salva e poi su Visualizza dashboard personalizzata.
Dopo aver creato una dashboard personalizzata, per tornare alla dashboard predefinita, nel menu Dashboard, seleziona Predefinita.
Per un esempio di aggiunta di un grafico delle metriche personalizzate alla dashboard, consulta Personalizzare la dashboard di monitoraggio di Dataflow.
Risoluzione dei problemi
Questa sezione fornisce istruzioni per la risoluzione dei problemi comuni
Nessun dato disponibile
Quando apri la dashboard, uno o più grafici mostrano il seguente messaggio:
No data is available for the selected time frame.
Questo messaggio viene visualizzato quando il periodo di tempo coperto dai grafici non contiene dati. Per risolvere il problema, modifica o espandi l'intervallo di tempo.
Per modificare l'intervallo di tempo visualizzato, fai clic su Esplora dati nel grafico e poi utilizza il selettore dell'intervallo di tempo.
Impossibile ripristinare i widget eliminati
Quando rimuovi un widget dalla dashboard, crei una dashboard personalizzata. Dopo aver creato una dashboard personalizzata, per tornare alla dashboard predefinita, nel menu Dashboard, seleziona Predefinita.
Impossibile visualizzare i grafici
Per visualizzare i dati del grafico, devi disporre dell'autorizzazione monitoring.timeSeries.list. Per saperne di più, vedi Ruoli richiesti.
Passaggi successivi
- Scopri di più sulle metriche dei singoli job.
- Esplora le metriche con Cloud Monitoring.
- Risolvi i problemi relativi ai job lenti o bloccati.