Pianifica le preparazioni dei dati

Questo documento descrive come pianificare le pipeline di preparazione dei dati ed eseguire esecuzioni manuali.

Le preparazioni dei dati sono basate su Dataform. Ogni pianificazione della preparazione dei dati viene eseguita utilizzando le credenziali utente del tuo Account Google o un service account Dataform che selezioni quando configuri la pianificazione o il test.

Le modifiche apportate ai passaggi di preparazione dei dati non vengono salvate automaticamente. Devi salvare e implementare le modifiche prima che possano essere eseguite con una pianificazione. Le pianificazioni eseguono sempre l'ultima versione di cui è stato eseguito il deployment della preparazione dei dati ed escludono eventuali modifiche di cui non è stato eseguito il deployment che potresti sviluppare.

Prima di iniziare

Prima di iniziare, crea una preparazione dei dati.

Ruoli obbligatori

Per autorizzare una preparazione dei dati con un account di servizio quando esegui manualmente la preparazione dei dati in fase di sviluppo o pianifichi la preparazione dei dati, devi concedere i ruoli al account di servizio che prevedi di utilizzare per eseguire le esecuzioni di preparazione dei dati. Per saperne di più, consulta Concedere l'accesso al service account Dataform.

Sviluppare una preparazione dei dati

Man mano che sviluppi una preparazione dei dati, puoi eseguire manualmente i passaggi e ispezionare l'output prima di implementare le modifiche nell'ambiente di produzione. Puoi testare la versione corrente che stai sviluppando sui tuoi dati, mentre BigQuery continua a eseguire l'ultima versione di cui è stato eseguito il deployment, in base a una pianificazione. Prima di poter eseguire l'esecuzione, devi configurare la destinazione e correggere eventuali errori di convalida.

Eseguire manualmente una preparazione dei dati in fase di sviluppo

Per testare i passaggi di preparazione dei dati e convalidare i risultati nella tabella di destinazione, esegui manualmente la preparazione dei dati dall'editor di preparazione dei dati:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e la cartella Preparazioni dei dati. Fai clic sul nome della preparazione dei dati da eseguire.

3. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Altro > Configura l'esperienza Esegui ora.

4. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali utente del tuo Account Google o unaccount di serviziot.

   • Per utilizzare le credenziali utente del tuo Account Google (Anteprima), seleziona Esegui con le mie credenziali utente. Questa è l'opzione predefinita.
   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato, quindi seleziona un service account. Se il account di servizio ha bisogno di autorizzazioni aggiuntive, concedigli i ruoli richiesti facendo clic su Concedi tutte.

5. Fai clic su Salva.

6. Correggi gli eventuali errori di convalida visualizzati.

7. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui.

8. Nella finestra di dialogo Esegui ora, fai clic su Conferma per confermare che questa esecuzione manuale scrive i dati in una tabella di destinazione, che potresti utilizzare anche per le esecuzioni pianificate.

   Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google (Anteprima).

   L'esecuzione esegue quindi i passaggi e carica l'output nella destinazione.

9. (Facoltativo) Al termine dell'esecuzione, puoi visualizzare i dettagli relativi all'esecuzione nel riquadro Esecuzioni.

Eseguire il deployment di una preparazione dei dati

Per pianificare le esecuzioni per una versione della preparazione dei dati, devi prima eseguirne il deployment. Le pianificazioni eseguono la versione di cui è stato eseguito il deployment più recente.

Per eseguire il deployment di una preparazione dei dati:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e la cartella Preparazioni dei dati. Fai clic sul nome della preparazione dei dati scelta.

   Si apre l'editor di preparazione dei dati.

3. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui il deployment.

Crea una pianificazione

Per creare una pianificazione che esegua i passaggi di preparazione dei dati di cui è stato eseguito il deployment e carichi i dati preparati nella tabella di destinazione, devi prima pianificare un'esecuzione della preparazione dei dati. Per pianificare l'esecuzione, devi configurare la destinazione e correggere eventuali errori di convalida.

Per creare una pianificazione della preparazione dei dati:

Autorizzare l'Account Google

Per autenticare la risorsa con le credenziali utente del tuo Account Google, devi concedere manualmente l'autorizzazione alle pipeline BigQuery per ottenere il token di accesso per il tuo Account Google e accedere ai dati di origine per tuo conto. Puoi concedere l'approvazione manuale con l'interfaccia della finestra di dialogo OAuth.

Devi concedere l'autorizzazione alle pipeline BigQuery una sola volta.

Per revocare l'autorizzazione che hai concesso:

1. Vai alla pagina del tuo Account Google.
2. Fai clic su BigQuery Pipelines.
3. Fai clic su Rimuovi accesso.

La modifica del proprietario della pianificazione della preparazione dei dati tramite l'aggiornamento delle credenziali richiede anche l'approvazione manuale se il nuovo proprietario dell'Account Google non ha mai creato una pianificazione.

Eseguire manualmente una preparazione dei dati pianificata

Quando esegui manualmente una preparazione dei dati in una pianificazione selezionata, BigQuery esegue la preparazione dei dati una sola volta, indipendentemente dalla pianificazione.

Per eseguire manualmente una preparazione dei dati pianificata:

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Esegui.

Visualizza pianificazioni

Puoi visualizzare le pianificazioni della preparazione dei dati nell'editor di preparazione dei dati o nella pagina Pianificazione.

Modificare una programmazione

Puoi modificare una pianificazione dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Elimina una pianificazione

Per eliminare definitivamente una pianificazione per una preparazione dei dati selezionata:

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Nella riga contenente la pianificazione, fai clic su more_vert Azioni > Elimina.

Passaggi successivi

• Scopri come creare preparazioni dei dati.
• Scopri di più sulla gestione delle preparazioni dei dati.