Monitora l'integrità, l'utilizzo delle risorse e i job

In qualità di amministratore BigQuery, puoi monitorare l'integrità, l'utilizzo degli slot e il rendimento dei job della tua organizzazione nel tempo con i grafici sull'integrità operativa e sull'utilizzo delle risorse. BigQuery fornisce grafici configurabili per aiutarti a:

  • Monitora lo stato operativo di BigQuery. Il monitoraggio dello stato di integrità operativo in tempo reale di BigQuery è un sistema di monitoraggio centralizzato che ti consente di osservare l'utilizzo di BigQuery nell'organizzazione in più località.

  • Visualizza l'utilizzo delle risorse BigQuery. Utilizza i dati storici per eseguire l'analisi delle cause principali, pianificare la capacità e diagnosticare le variazioni di rendimento.

Prima di iniziare

  • Per visualizzare lo stato di integrità operativa, devi utilizzare le prenotazioni a cui puoi accedere con un progetto amministrativo. Questo non è un requisito per la visualizzazione dei grafici di utilizzo delle risorse.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici relativi all'integrità operativa e all'utilizzo delle risorse, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare tutti i dati nei grafici sull'integrità operativa e sull'utilizzo delle risorse. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici sull'integrità operativa e sull'utilizzo delle risorse sono necessarie le seguenti autorizzazioni:

  • Per visualizzare tutti i dati nei grafici sull'integrità operativa e sull'utilizzo delle risorse per un'organizzazione:
    • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sull'organizzazione
    • bigquery.reservationAssignments.list sul progetto di amministrazione utilizzato per creare le prenotazioni
    • bigquery.capacityCommitments.list sul progetto di amministrazione utilizzato per creare le prenotazioni
  • In qualità di utente on demand, per visualizzare tutti i dati nei grafici di utilizzo delle risorse per un'organizzazione: bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll nell'organizzazione
  • Per visualizzare i dati di riepilogo sullo stato di integrità operativo per l'archiviazione delle tabelle BigQuery: bigquery.tables.get or bigquery.tables.list nell'organizzazione
  • Per visualizzare i grafici sull'integrità operativa e sull'utilizzo delle risorse a livello di prenotazione:
    • bigquery.reservations.list sul progetto di amministrazione utilizzato per creare le prenotazioni
    • bigquery.reservationAssignments.list sul progetto di amministrazione utilizzato per creare le prenotazioni
  • Per visualizzare i grafici di utilizzo delle risorse a livello di progetto: bigquery.jobs.listAll sul progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Monitorare lo stato operativo di un'organizzazione

Il dashboard sull'integrità operativa mostra le metriche chiave per la tua organizzazione e le sue prenotazioni in tutte le località in cui hai prenotazioni. Puoi utilizzare questa dashboard per monitorare le seguenti metriche:

  • Utilizzo slot
  • Utilizzo casuale
  • Concorrenza job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

Visualizzare i grafici sull'integrità operativa

Per visualizzare informazioni sullo stato operativo della tua organizzazione, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Monitoraggio di BigQuery.

    Vai a Monitoring

  2. Seleziona il progetto di amministrazione che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nella pagina Monitoraggio, vai alla scheda Integrità operativa per visualizzare un riepilogo delle metriche chiave della tua organizzazione per tutte le sedi e le prenotazioni.

  4. (Facoltativo) Per visualizzare le metriche in tempo reale, in cui le query vengono eseguite su dati aggiornati ogni cinque minuti, fai clic sul pulsante di attivazione/disattivazione Dati in tempo reale. Per impostazione predefinita, questa impostazione è disattivata e l'obsolescenza massima dei dati è di circa un'ora.

  5. Per filtrare le metriche, configura i seguenti campi:

    • Nell'elenco Seleziona località, seleziona una regione da monitorare.
    • Nell'elenco Seleziona prenotazione, seleziona la prenotazione.
    • Nell'elenco Seleziona progetto, seleziona il progetto.
    • Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
  6. (Facoltativo) Per visualizzare ulteriori dettagli sull'integrità operativa con un grafico di utilizzo delle risorse o un explorer dei job, fai clic su Scopri di più.

BigQuery raccoglie le metriche eseguendo query sulle seguenti viste INFORMATION_SCHEMA:

Visualizzazioni

La scheda Stato operativo mostra le seguenti visualizzazioni riepilogative e dettagliate.

Visualizzazione di riepilogo

La visualizzazione di riepilogo mostra lo stato dei sottosistemi della tua organizzazione, incluse le prenotazioni e le regioni, negli ultimi 30 minuti.

Per visualizzare la visualizzazione riepilogativa:

  • Nella scheda Stato operativo, seleziona Tutte le località nell'elenco Seleziona località.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici a cronologia dettagliati di diverse metriche a livello di posizione o prenotazione.

Per visualizzare la visualizzazione dettagliata:

  • Nella scheda Stato operativo, seleziona la regione o la versione nell'elenco Seleziona località.

Puoi perfezionare i dati visualizzati nella visualizzazione dettagliata utilizzando i seguenti filtri facoltativi:

  • Nell'elenco Seleziona prenotazione, seleziona il nome della prenotazione.
  • Nell'elenco Seleziona progetto, seleziona il progetto.

Grafici

BigQuery offre le seguenti opzioni di tabelle e grafici, che ti consentono di esplorare in dettaglio le metriche di integrità operativa.

Tabella riepilogativa

Le tabelle riepilogative mostrano le seguenti metriche:

  • Utilizzo slot. L'utilizzo medio degli slot. La capacità totale degli slot equivale alla capacità di base e alla capacità massima con scalabilità automatica.
  • Utilizzo della riproduzione casuale. Il valore massimo di tutti i rapporti di utilizzo casuale medio delle prenotazioni.
  • Contemporaneità. Il numero massimo di job eseguiti contemporaneamente.
  • Byte elaborati. Il totale dei byte elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato a quello in cui è stato completato.
  • Spazio di archiviazione totale. Il numero totale di byte logici attivi all'ultimo aggiornamento.

Nella visualizzazione sono presenti due tabelle riepilogative: Riepilogo località e Riepilogo prenotazioni. Ogni riga della tabella rappresenta l'utilizzo per una località o una prenotazione.

Le tabelle mostrano le metriche relative ai 30 minuti precedenti l'ultimo aggiornamento. Se Dati in tempo reale è attivata, i dati interrogati vengono aggiornati ogni cinque minuti. Se Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora.

La cella della tabella è codificata a colori se la metrica è superiore alla soglia predefinita e se è aumentato il numero di approfondimenti sul rendimento per i job ripetuti:

  • Se il valore della metrica nei 30 minuti precedenti l'ultimo aggiornamento è superiore al valore P99 dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata da uno sfondo blu scuro.
  • Se il valore della metrica negli ultimi 30 minuti è compreso tra il 95° e il 99° percentile dell'utilizzo nello stesso giorno della settimana precedente, la cella della tabella viene contrassegnata con uno sfondo azzurro chiaro.

Tutte le soglie sono predefinite e non possono essere personalizzate. Puoi controllare una soglia facendo clic su Informazioni Informazioni.

Tabella riepilogativa amministrativa BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati del filtro amministrativo di BigQuery.

  • Posizione. Sono disponibili le regioni in cui l'organizzazione ha registrato attività negli ultimi 30 giorni. La visualizzazione riepilogativa mostra una tabella che riepiloga l'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo è disponibile solo nella visualizzazione dettagliata. Sono disponibili tutte le prenotazioni di proprietà del progetto di amministrazione. Puoi scegliere una sola prenotazione.
  • Progetto. Questo campo è disponibile solo nella visualizzazione dettagliata. Sono disponibili tutti i progetti che hanno traffico nell'organizzazione. Puoi selezionare un solo progetto.
  • Intervallo di tempo. Questo campo è disponibile solo nella visualizzazione dettagliata. Influisce sui grafici della cronologia delle metriche e sul grafico a ciambella degli errori nella visualizzazione dettagliata. La scala dei dati nei grafici della cronologia delle metriche viene modificata automaticamente in base all'intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i primi dieci job con risorse attive ordinate in ordine decrescente. Nel menu a discesa, puoi selezionare un'opzione di ordinamento in base all'utilizzo degli slot o alla durata del job. L'ID job e il numero di utilizzo delle risorse pertinenti sono visualizzati nel grafico a barre. Seleziona Scopri di più o l'ID job nel grafico delle query attive principali per visualizzare ulteriori dettagli nell'explorer dei job. Per scoprire di più sui dettagli di esecuzione e diagnosticare i problemi di prestazioni dei job BigQuery, consulta Ottenere informazioni sul rendimento delle query.

Grafico ad anello degli errori

Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita vengono visualizzati gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla la copertura. Puoi raggruppare gli errori per tipo, progetto proprietario o prenotazione. Il conteggio dei job non riusciti è rappresentato nel grafico a ciambella.

Grafico a ciambella degli errori BigQuery.

Grafici a cronologia delle metriche

I grafici mostrano una panoramica delle metriche supportate in un periodo massimo di 30 giorni. Il periodo di tempo predefinito è un'ora. Man mano che il periodo di tempo selezionato cambia, la granularità di ogni punto dati nel grafico viene scalata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o più prenotazioni non è supportata.

Grafici della cronologia delle metriche BigQuery.

I grafici della cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo slot. L'utilizzo slot medio nel periodo di tempo selezionato. Mostra l'utilizzo complessivo degli slot di tutti i job e dei job non riusciti separatamente.
  • Contemporaneità job. Il numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato. Mostra separatamente il conteggio dei job in esecuzione e di quelli in attesa e viene visualizzato come grafico a barre impilate.
  • Byte scansionati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il valore massimo di tutti i rapporti di utilizzo casuale medio delle prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nel periodo di tempo selezionato, calcolato dal momento della creazione del job a quello della fine del job.
  • Errori per tipo. Il grafico a ciambella degli errori mostra la proporzione delle diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, i grafici mostrano le linee di riferimento dei valori delle metriche P95 e P99 dell'utilizzo nello stesso giorno della settimana precedente. Il grafico Concorrenza dei job mostra la soglia per la somma dei job in attesa e in esecuzione. Questi valori di riferimento vengono utilizzati come soglie di codifica dei colori nella tabella riepilogativa.

Per saperne di più sul grafico, fai clic su Esplora altro. Viene visualizzata la scheda Utilizzo delle risorse.

Tabella degli insight

Questa tabella aggrega gli errori di quota, gli errori di accesso negato e gli approfondimenti sul rendimento raccolti durante le esecuzioni dei job nel periodo di tempo selezionato. Gli approfondimenti vengono aggregati a livello di prenotazione. Ogni riga fornisce informazioni su tipo, posizione, prenotazione, dettagli e ID di esempio dell'approfondimento. Fai clic sugli ID job per visualizzare ulteriori dettagli sui job in Esplora job. Nella visualizzazione di riepilogo, il periodo di osservazione predefinito copre gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla il periodo di tempo specifico per cui vengono visualizzati i dati di osservazione.

Tabella degli approfondimenti BigQuery.

Monitorare l'integrità operativa di un singolo progetto

Il dashboard sull'integrità operativa del progetto è la visualizzazione predefinita che viene visualizzata se non hai accesso all'intera organizzazione o se il tuo progetto non possiede alcuna prenotazione. Questa visualizzazione può aiutare gli analisti di progetto a monitorare l'integrità del sistema per i loro progetti, in modo simile al dashboard sull'integrità operativa a livello di organizzazione, ma mostra solo i dati a livello di progetto nei grafici e nei filtri.

Visualizza l'utilizzo delle risorse BigQuery

I grafici delle risorse BigQuery ti aiutano a monitorare l'utilizzo delle risorse passate per pianificare le esigenze future e risolvere i problemi di prestazioni.

Visualizzazione dell'utilizzo delle risorse, che mostra una cronologia delle metriche per un progetto di organizzazione o amministrazione e il riquadro in cui configurare il grafico

I grafici raccolgono le metriche eseguendo query sulle seguenti visualizzazioni INFORMATION_SCHEMA:

I dati possono essere aggiornati in tempo reale, con un intervallo di tempo massimo di 30 giorni.

Quando visualizzi l'utilizzo delle risorse, puoi configurare quanto segue:

  • Il grafico della cronologia degli eventi mostra una panoramica dei dati in un periodo massimo di 30 giorni. Il valore predefinito è 6 ore.

  • Il grafico principale mostra le metriche scelte, ad esempio l'utilizzo degli slot o i byte elaborati, nel tempo per la tua organizzazione o il tuo progetto di amministrazione. Una legenda per il grafico fornisce maggiori dettagli sui dati visualizzati.

  • Il riquadro Configurazione grafico ti consente di selezionare visualizzazioni predefinite delle metriche o personalizzare le tue metriche per le visualizzazioni.

Il grafico di utilizzo delle risorse contiene i seguenti elementi:

  • Nella scheda Utilizzo risorse, tieni il puntatore sopra il chip di stato nella parte superiore del grafico per visualizzare ulteriori informazioni su una metrica.
  • I chip di stato mostrano anche quanto segue:

    • Se la metrica è ancora in fase di caricamento, viene visualizzata un'icona di caricamento.
    • Se la metrica utilizza dati obsoleti, viene visualizzata un'icona a forma di orologio.
    • Se la metrica non può essere caricata a causa di filtri a livello di pagina non supportati, la metrica viene visualizzata barrata.
    • Se la metrica non viene caricata, il chip di stato viene evidenziato.

Visualizzare e configurare i grafici sull'utilizzo delle risorse

Per visualizzare e configurare i grafici di utilizzo delle risorse:

  1. Nella console Google Cloud , vai alla pagina Monitoraggio di BigQuery.

    Vai a Monitoring

  2. Seleziona il progetto. In qualità di amministratore che monitora l'utilizzo delle risorse di prenotazione, scegli il progetto di amministrazione utilizzato per acquistare slot e creare prenotazioni. In qualità di analista dei dati che monitora l'utilizzo delle risorse dei job, scegli il progetto corrispondente.

  3. Nella pagina Monitoraggio, vai alla scheda Utilizzo delle risorse per visualizzare un riepilogo dell'utilizzo delle risorse, suddiviso per località.

  4. Scegli un periodo di tempo per le metriche in questa visualizzazione, ad esempio 1 giorno. Per visualizzare le metriche in tempo reale, in cui le query vengono eseguite su dati aggiornati, fai clic sul pulsante di attivazione/disattivazione Dati in tempo reale. Questa impostazione è disattivata per impostazione predefinita per migliorare le prestazioni e l'inattività massima dei dati è di circa un'ora.

  5. Nel riquadro Configurazione grafico, configura i seguenti campi:

    • Nel campo Visualizzazione metrica, seleziona una delle visualizzazioni.
    • Nel campo Metriche, seleziona una metrica da visualizzare. Puoi aggiungere o modificare una metrica.
    • Nel campo Raggruppa per, seleziona la modalità di raggruppamento dei dati.
    • Nel campo Filtri, seleziona come filtrare i dati.
  6. Per salvare le modifiche apportate alla configurazione del grafico, fai clic su Applica.

Visualizzazione metriche

BigQuery fornisce viste preconfigurate delle metriche di utilizzo delle risorse. Le sezioni seguenti descrivono le metriche che puoi configurare in queste visualizzazioni.

Utilizzo degli slot di prenotazione

Questa visualizzazione mostra le metriche relative alla suddivisione dell'utilizzo degli slot per le prenotazioni nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:

  • I dati di utilizzo predefiniti provengono dalle risorse di prenotazione.
  • L'ambito predefinito è il progetto.
  • L'aggregazione predefinita è in base all'utilizzo medio nel periodo di tempo selezionato.
Nome metrica Descrizione
Prenotazione - Utilizzo slot Monitora l'utilizzo totale dello slot per il periodo di tempo selezionato.
Prenotazione - Utilizzo slot inattivo Monitora l'utilizzo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato. Questa metrica consente di monitorare gli slot inattivi presi in prestito da altre prenotazioni e impegni o le imprecisioni di arrotondamento nei dati sull'utilizzo. Quest'ultimo può far sì che questa metrica abbia un valore diverso da zero, anche se la condivisione degli slot inattivi è disabilitata.
L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot di cui è stato eseguito il commit e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno e gli slot con scalabilità automatica, il grafico raggruppa i rimanenti come slot inattivi.
Prenotazione - Slot utilizzati di riferimento Monitora gli slot utilizzati dalla base di riferimento della prenotazione.
Reservation - Autoscaled used slots Monitora gli slot utilizzati dagli slot con scalabilità automatica della prenotazione.
Panoramica dell'utilizzo delle versioni

Questa visualizzazione mostra le metriche sull'utilizzo e la capacità degli slot per le risorse dell'edizione nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:

  • I dati di utilizzo predefiniti provengono dalla risorsa di prenotazione e i dati di capacità provengono dalla risorsa di edizione.
  • L'ambito predefinito è il progetto.
Nome metrica Descrizione
Prenotazione - Utilizzo slot Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita avviene in base all'utilizzo degli slot P99 nel periodo di tempo selezionato.
Prenotazione - Utilizzo slot inattivo Monitora l'utilizzo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato. Questa metrica consente di monitorare gli slot inattivi presi in prestito da altre prenotazioni e impegni o le imprecisioni di arrotondamento nei dati sull'utilizzo. Quest'ultimo può far sì che questa metrica abbia un valore diverso da zero, anche se la condivisione degli slot inattivi è disabilitata.
L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot di cui è stato eseguito il commit e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno e gli slot con scalabilità automatica, il grafico raggruppa i rimanenti come slot inattivi.
L'aggregazione predefinita avviene in base all'utilizzo delle risorse P99 nel periodo di tempo selezionato.
Versione - Capacità di riferimento Monitora le dimensioni di base delle prenotazioni in questo progetto di amministrazione.
Versione - Capacità massima Monitora il numero massimo di slot disponibili nel periodo di tempo selezionato. La metrica è la somma della capacità di impegno, della capacità di base e della capacità con scalabilità automatica. L'aggregazione predefinita avviene in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Versione - Capacità assegnata Monitora il numero effettivo di slot assegnati alle risorse della tua edizione nel periodo di tempo selezionato. L'aggregazione predefinita è in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Panoramica del progetto attuale

Questa visualizzazione mostra le metriche relative alle risorse dei job nel progetto in cui esegui le query. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:

  • La risorsa predefinita è la risorsa job.
  • L'ambito predefinito è il progetto.
Nome metrica Descrizione
Utilizzo di job, progetti e slot Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita è in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Job - Project - Bytes processed Monitora i byte totali elaborati dai job completati nel periodo di tempo selezionato. L'aggregazione predefinita è la somma dei byte elaborati nel periodo di tempo selezionato.
Job - Project - Job concurrency Monitora il numero di job in esecuzione contemporaneamente nel periodo di tempo selezionato. L'aggregazione predefinita avviene in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Job - Project - Job duration Monitora il runtime dei job completati nel periodo di tempo selezionato. Le metriche di runtime misurano il tempo che intercorre tra la creazione e il completamento del job. L'aggregazione predefinita avviene in base alla durata media nel periodo di tempo selezionato.
Panoramica delle prenotazioni di proprietà

Questa visualizzazione mostra le metriche sull'attività dei job con le risorse di prenotazione nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:

  • La risorsa predefinita è la risorsa di prenotazione.
  • L'ambito predefinito è il progetto.
Nome metrica Descrizione
Prenotazione - Utilizzo slot Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita è in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Prenotazione - Byte elaborati Monitora i byte totali elaborati dai job completati nel periodo di tempo selezionato. L'aggregazione predefinita è la somma dei byte elaborati nel periodo di tempo selezionato.
Prenotazione - Concorrenza job Monitora il numero di job in esecuzione contemporaneamente nel periodo di tempo selezionato. L'aggregazione predefinita avviene in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Prenotazione - Durata job Monitora il runtime dei job completati nel periodo di tempo selezionato. Il runtime misura il tempo che intercorre tra la creazione e il completamento del job. Sono inclusi la messa in coda e i tentativi. L'aggregazione predefinita è in base alla durata media nel periodo di tempo selezionato.
Prenotazione - Utilizzo casuale Monitora il rapporto di utilizzo della riproduzione casuale nel periodo di tempo selezionato. L'aggregazione predefinita è in base all'utilizzo medio nel periodo di tempo selezionato.
Visualizzazione personalizzata

Per creare una visualizzazione metrica personalizzata, puoi aggiungere metriche da zero o iniziare con una delle visualizzazioni delle metriche predefinite (ad esempio, la visualizzazione delle metriche Panoramica delle prenotazioni) e personalizzare le metriche al suo interno.

Metriche

Quando configuri un grafico, puoi aggiungere, modificare o eliminare le metriche di utilizzo delle risorse che monitora.

Per configurare le metriche del grafico di utilizzo delle risorse:

  1. Nella console Google Cloud , visualizza i grafici di utilizzo delle risorse BigQuery.

  2. Nel riquadro Configurazione grafico, configura il campo Metriche:

    1. Fai clic su Aggiungi un elemento > Seleziona una metrica.
    2. Nella finestra di dialogo Seleziona una metrica, scegli quanto segue:

      1. Il tipo di risorsa da monitorare: Job, Prenotazione o Edizione.
      2. L'ambito da monitorare. Ad esempio, per monitorare le metriche dei job nel progetto corrente, seleziona l'ambito Progetto.
      3. Scegli una metrica da monitorare. Ad esempio, per monitorare l'utilizzo degli slot di lavoro, scegli Utilizzo slot.
    3. Fai clic su Applica.

    4. Nella finestra di dialogo Nuovo elemento, scegli l'aggregazione. Ad esempio, per monitorare l'utilizzo massimo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato, scegli Max.

    5. Salva la metrica facendo clic su Fine.

  3. (Facoltativo) Per modificare una metrica esistente, fai clic sul nome della metrica e modificala impostazioni o eliminala.

Tipi di risorse e ambiti supportati per le metriche

Le metriche di utilizzo delle risorse sono classificate in base al tipo e all'ambito della risorsa.

Tipi di risorse

Puoi monitorare i seguenti tipi di risorse:

Risorsa Descrizione
Job Metriche sui dettagli dei job BigQuery per un determinato ambito e periodo di tempo.
Prenotazione Metriche sull'utilizzo della prenotazione BigQuery per un determinato ambito e periodo di tempo. Queste metriche aggregano i dettagli dei job per prenotazione. Se hai solo un accesso parziale ai dati a livello di prenotazione, sono disponibili metriche di utilizzo della prenotazione aggregate, senza accesso ai dettagli a livello di job.
Edizione Metriche sulla capacità della versione BigQuery per un determinato ambito e periodo di tempo.

Tipi di ambito

Dopo aver selezionato una risorsa per una metrica, seleziona un ambito.

  • Per impostazione predefinita, le risorse di prenotazione e della versione hanno un ambito a livello di progetto.
  • La risorsa job può essere impostata su ambiti a livello di progetto, cartella o organizzazione. Gli ambiti più ampi richiedono autorizzazioni aggiuntive.

Raggruppa per

Per raggruppare i dati nel grafico di utilizzo delle risorse:

  1. Nella console Google Cloud , visualizza i grafici di utilizzo delle risorse BigQuery.

  2. Nel riquadro Configurazione grafico, configura il campo Raggruppa per selezionando una delle seguenti opzioni:

    • Nessuno: questa opzione offre una panoramica generale delle metriche scelte nel tempo per l'intera organizzazione.
    • Progetto: questa opzione raggruppa le metriche scelte per progetto. Se sono disponibili più di 50 progetti, vengono visualizzati solo i primi 50 con il maggior utilizzo di slot.
    • Tutte le altre opzioni di raggruppamento: queste opzioni sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione. Se un'opzione di raggruppamento non è supportata per tutte le metriche scelte, non può essere selezionata.

Quando configuri il grafico di utilizzo delle risorse, puoi applicare filtri ai dati, ad esempio visualizzare l'utilizzo delle risorse per le risorse di Enterprise Edition o per ID risorsa.

Per filtrare i dati del grafico, applica i filtri nel riquadro dei filtri. Puoi selezionare un filtro solo se è supportato per le metriche selezionate. Per visualizzare le autorizzazioni richieste, fai clic sul menu Filtro.

Visualizzare i dati sull'utilizzo delle risorse a livello di progetto

Puoi analizzare l'utilizzo delle risorse a livello di progetto utilizzando gli stessi passaggi di configurazione che utilizzeresti per visualizzare i dati a livello di organizzazione. I grafici mostrano solo i dati e le opzioni di configurazione a livello di progetto (le opzioni a livello di organizzazione sono disattivate). Questo ambito a livello di progetto mostra l'utilizzo complessivo delle risorse, indipendentemente dalla modalità di fatturazione all'interno del progetto contestuale.

Limitazioni del grafico sull'utilizzo delle risorse

  • Il grafico e la tabella al centro della pagina mostrano le metriche pertinenti al periodo di tempo e alla granularità selezionati.
  • Le metriche con la stessa unità condividono la stessa scala. Il grafico supporta fino a due scale diverse.

Passa alla vecchia UI

Per impostazione predefinita, hai accesso ai grafici delle risorse della versione quando navighi dal progetto di amministrazione delle prenotazioni. Puoi alternare i grafici delle risorse on demand e i grafici delle risorse dell'edizione dal progetto di amministrazione delle prenotazioni (anteprima).

Per visualizzare i grafici delle risorse:

  1. Vai alla pagina BigQuery.
    Vai a BigQuery
  2. Nel menu del progetto, seleziona il progetto di amministrazione che hai utilizzato per acquistare slot e creare prenotazioni.
  3. Nel menu di navigazione, fai clic su Monitoring.
  4. Nella sezione Opzioni grafico > Ambito, puoi selezionare il modello di fatturazione dall'elenco, che include tre tipi di versioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.
  5. Nella sezione Opzioni grafico > Configurazioni grafici, segui questi passaggi:
    1. Dall'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle diverse opzioni del grafico, consulta Opzioni del grafico.
    2. Dall'elenco Metriche, seleziona il tipo di metrica disponibile.
    3. Nell'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta Opzioni di raggruppamento.
    4. Nell'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
    5. Imposta il periodo di tempo per il quale vuoi visualizzare i dati nel grafico.

Configurazioni dei grafici

Puoi modificare la visualizzazione dei grafici delle risorse modificando le seguenti opzioni di configurazione dei grafici.

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:

  • Utilizzo slot. Utilizzo slot medio. Se l'opzione Raggruppa per è impostata su Generale o se i Filtri sono Nessuno o una singola prenotazione, vengono visualizzate anche le metriche relative all'utilizzo della capacità e degli slot presi in prestito.
    • Utilizzo totale. Utilizzo slot medio nel periodo di tempo selezionato.
    • Utilizzo slot in prestito. Utilizzo medio superiore alla capacità della prenotazione. Di solito si tratta di slot inattivi presi in prestito da altre prenotazioni e impegni o di arrotondamenti imprecisi nei dati sull'utilizzo. Slot inattivi aggiuntivi vengono visualizzati nel grafico di utilizzo delle risorse, anche se la condivisione degli slot inattivi è disattivata. L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot di cui è stato eseguito il commit e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno, il grafico li raggruppa come slot inattivi.
    • Capacità di impegno. La dimensione dell'impegno per l'edizione.
    • Capacità di base. Le dimensioni di base della prenotazione.
    • Capacità di scalabilità automatica. La dimensione dello slot con scalabilità automatica.
    • Capacità massima. Il numero massimo di slot a cui l'utente può accedere.
  • Contemporaneità job. Numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato.
  • Prestazioni job. Tempo di esecuzione medio dei job completati, calcolato dal momento della creazione del job a quello della fine del job.
  • Job non riusciti. Utilizzo slot medio nel periodo di tempo selezionato dai job non riusciti.
  • Byte elaborati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Utilizzo della riproduzione casuale. Rapporto di utilizzo casuale medio nel periodo di tempo selezionato (anteprima).
Componente Tabella

La tabella mostra le metriche pertinenti al periodo di tempo e alla dimensione che hai selezionato nel grafico delle risorse.

Il grafico Utilizzo slot mostra l'utilizzo slot medio per tutti i job in esecuzione nel periodo di tempo selezionato. I job che non sono stati completati nel periodo di tempo selezionato includono solo gli slot utilizzati nel periodo di tempo.

Per il grafico Rendimento del lavoro, il componente tabella mostra le seguenti metriche:

  • Numero di job. Il numero di job completati eseguiti o parzialmente eseguiti nel periodo di tempo selezionato.
  • Durata media job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.
  • Durata mediana del job. La durata mediana dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.
  • Durata job minima. La durata minima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.
  • Durata massima del job. La durata massima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente tabella mostra i seguenti dati:

  • Utilizzo slot medio. Come il grafico Utilizzo degli slot, ma solo per i job non riusciti.
  • Job totali non riusciti. Il numero di job non riusciti nel periodo di tempo selezionato.
Opzioni di raggruppamento

A seconda del tipo di grafico, puoi raggruppare i dati nella visualizzazione del grafico in base a diverse dimensioni:

  • Generale. La visualizzazione generale è una panoramica di alto livello della metrica selezionata nel tempo per l'intera organizzazione. Per l'utilizzo degli slot, la capacità e l'utilizzo vengono mostrati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.
  • Progetto. La visualizzazione del progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono visualizzati solo i primi 10 progetti con il maggior utilizzo di slot, concorrenza dei job, durata dei job o job non riusciti nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati nella categoria Altro in fondo al grafico per facilitare il confronto con la capacità complessiva.
  • Tutte le altre visualizzazioni di raggruppamento sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione.
Opzione Periodo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico della cronologia degli eventi.
  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento viene aggiornato automaticamente quando l'intervallo di tempo selezionato cambia. Più breve è il periodo di allineamento, più dettagliata è la visualizzazione. Per visualizzare meglio le risorse che cambiano spesso, ad esempio l'opzione Utilizzo slot, riduci il periodo di allineamento.

Filtrare ed effettuare ricerche

Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per determinati grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono compilati con le rispettive risorse che hanno consumato slot nel periodo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri dei progetti.

Il grafico viene aggiornato dopo l'applicazione dei filtri per mostrare i dati all'interno dei parametri selezionati.

Risolvere i problemi di contesa slot

La contesa degli slot può verificarsi quando non ci sono slot sufficienti per eseguire tutti i tuoi job, causando problemi di prestazioni. Per risolvere i problemi di contesa degli slot, consulta i seguenti passaggi e best practice.

Se hai provato queste best practice, ma continui a riscontrare problemi di prestazioni dei job, puoi richiedere assistenza.

Picchi di concorrenza dei job

Utilizza la visualizzazione dettagliata per verificare l'aumento improvviso delle esecuzioni dei job in cui si verificano picchi simultanei di utilizzo degli slot. Ciò può indicare che ci sono troppi job in competizione per slot limitati dal limite di prenotazione.

  • Best practice: valuta la possibilità di ottimizzare le query che richiedono molte risorse o la capacità degli slot della prenotazione. Per saperne di più sull'ottimizzazione delle prestazioni delle query, consulta Ottimizzazione del calcolo delle query.

Utilizzo elevato degli slot

Utilizza la visualizzazione dettagliata per verificare l'aumento della durata dei job, soprattutto se ci sono job che superano la capacità massima della prenotazione. Un utilizzo degli slot costantemente elevato può indicare una contesa continua degli slot.

  • Best practice: controlla le query utilizzando il filtro di contesa degli slot dell'explorer dei job per identificare quelle che consumano più slot e ottimizzarle.

Durate job lunghe

Se i job richiedono molto più tempo per essere completati, controlla la visualizzazione dettagliata. Picchi elevati di contemporaneità dei job e di utilizzo degli slot possono indicare una contesa degli slot.

  • Best practice: isola i job critici mettendo temporaneamente in pausa quelli meno importanti o riducendo la velocità complessiva di invio dei job.

Messaggi di contesa slot

La tabella delle statistiche può mostrare messaggi come There were NUMBER jobs detected with slot_contention in the reservation. che indicano problemi di contesa degli slot. Controlla l'esploratore di job per esaminare i dettagli sui job specifici segnalati in questi messaggi.

  • Best practice: ottimizza le query identificate o modifica l'allocazione degli slot della prenotazione.

Passaggi successivi