Configura le compilazioni

Questo documento mostra come eseguire le seguenti operazioni in Dataform:

Prima di iniziare

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona o crea un repository.

  3. Seleziona o crea un workspace di sviluppo.

  4. (Facoltativo) Per eseguire l'override del progetto Google Cloud predefinito nella configurazione della release,concedi al account di servizio Dataform l'accesso al progetto che prevedi di utilizzare.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per completare le attività descritte in questo documento, chiedi all'amministratore di concederti il ruolo IAM Dataform Admin (roles/dataform.admin) nei repository. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per poter aggiornare la versione di rilascio di una configurazione di rilascio per un repository Dataform quando è abilitata la modalità act-as rigorosa, devi disporre dell'autorizzazione iam.serviceAccounts.actAs per ogni account di servizio nelle configurazioni del workflow che utilizzano questa configurazione di rilascio. Questa autorizzazione è disponibile nel ruolo Utente account di servizio (roles/iam.serviceAccountUser).

Introduzione al ciclo di vita del flusso di lavoro in Dataform

Questa sezione descrive il ciclo di vita del workflow in Dataform e i modi per configurare la compilazione e l'esecuzione in Dataform.

Il ciclo di vita del flusso di lavoro Dataform è costituito dalle seguenti fasi:

Sviluppo
Sviluppi un workflow in un workspace Dataform.
Compilazione

Dataform compila il codice del workflow nel tuo workspace in SQL in tempo reale, creando un risultato della compilazione del workspace che puoi eseguire in BigQuery. Dataform utilizza le impostazioni che definisci nel file delle impostazioni del workflow per creare il risultato della compilazione.

La compilazione di Dataform è ermetica per garantire la coerenza della compilazione, il che significa che lo stesso codice viene compilato nello stesso risultato di compilazione SQL ogni volta. Dataform compila il codice in un ambiente sandbox senza accesso a internet. Durante la compilazione non sono disponibili azioni aggiuntive, come la chiamata di API esterne.

Esecuzione

In una invocazione del workflow, Dataform esegue il risultato della compilazione del workspace in BigQuery.

Per adattare il ciclo di vita del flusso di lavoro Dataform alle tue esigenze, puoi configurare il risultato della compilazione in modo che influenzi dove e come Dataform esegue il tuo flusso di lavoro. Dopodiché, puoi attivare o pianificare manualmente le esecuzioni per influire sul momento in cui Dataform esegue l'intero flusso di lavoro o i relativi elementi selezionati.

Metodi per configurare la compilazione di Dataform

Per impostazione predefinita, Dataform utilizza le impostazioni nel file delle impostazioni del flusso di lavoro per creare i risultati della compilazione. Puoi sostituire le impostazioni predefinite con gli override di compilazione per creare risultati di compilazione personalizzati. Puoi quindi attivare manualmente l'esecuzione di un risultato di compilazione personalizzato o pianificare le esecuzioni.

Dataform offre le seguenti opzioni per configurare i risultati della compilazione:

Override di compilazione del workspace
Puoi configurare gli override di compilazione che si applicano a tutti gli spazi di lavoro in un repository. Puoi utilizzare gli override di compilazione del workspace per creare ambienti di sviluppo isolati.
Configurazioni della release
Puoi creare configurazioni della release per configurare i modelli per la creazione dei risultati di compilazione di un repository Dataform. Puoi quindi creare una configurazione del workflow per pianificare le esecuzioni dei risultati della compilazione creati in una configurazione della release selezionata.
Override della compilazione dell'API Dataform
Puoi trasmettere le richieste dell'API Dataform nel terminale per creare ed eseguire un singolo risultato di compilazione con override di compilazione.

Configura gli override di compilazione dell'area di lavoro

Con gli override di compilazione del workspace, puoi creare override di compilazione per tutti i workspace in un repository Dataform. Puoi creare una configurazione di override della compilazione dell'area di lavoro per ogni repository.

Quando attivi manualmente un'esecuzione in un workspace in un repository con override di compilazione del workspace, Dataform applica questi override al risultato della compilazione del workspace.

Puoi configurare i seguenti override di compilazione del workspace:

  • ProgettoGoogle Cloud in cui Dataform esegue i contenuti del workspace
  • Prefisso tabella
  • Suffisso schema

Puoi utilizzare gli override di compilazione del workspace per creare ambienti di sviluppo isolati isolando i risultati della compilazione del workspace in BigQuery con gli override di compilazione dinamica. Gli override di compilazione del prefisso della tabella dinamica e del suffisso dello schema contengono la variabile ${workspaceName}. Quando attivi un'esecuzione in un workspace, Dataform sostituisce la variabile ${workspaceName} con il nome del workspace corrente, creando override di compilazione univoci per il workspace.

Tieni presente che non puoi pianificare le esecuzioni dei risultati di compilazione creati con gli override di compilazione del workspace.

Crea configurazioni della release

Con le configurazioni della release, puoi configurare modelli di impostazioni per creare risultati di compilazione dei repository.

In una configurazione della release, puoi configurare gli override di compilazione delle impostazioni del workflow, delle variabili di compilazione e della frequenza di creazione dei risultati di compilazione dell'intero repository.

In una configurazione della release, puoi configurare i seguenti override di compilazione:

Puoi creare più configurazioni di rilascio in un repository Dataform, una per ogni fase del ciclo di vita di sviluppo, creando risultati di compilazione del repository isolati.

Puoi quindi creare configurazioni del flusso di lavoro per pianificare le esecuzioni dei risultati della compilazione creati in una configurazione della release selezionata.

Puoi anche attivare manualmente l'esecuzione di un risultato di compilazione in una configurazione di rilascio selezionata.

Configura un singolo risultato di compilazione con gli override di compilazione dell'API Dataform

Passando le richieste dell'API Dataform nel terminale, puoi configurare gli override di compilazione per un singolo risultato di compilazione.

Nella richiesta compilationResults.create puoi creare un singolo risultato di compilazione di uno spazio di lavoro Dataform o di un commit Git specificato.

Nell'oggetto CodeCompilationConfig della richiesta compilationResults.create, puoi configurare gli override di compilazione per la richiesta di compilazione.

Puoi configurare i seguenti override di compilazione dell'API Dataform:

Tieni presente che gli override di compilazione dell'API Dataform si applicano a un singolo risultato di compilazione e a una singola esecuzione. Non puoi utilizzarli per pianificare le esecuzioni di Dataform.

Puoi eseguire un risultato di compilazione nella richiesta workflowInvocations.create.

Metodi per configurare l'esecuzione di Dataform

Dataform offre le seguenti opzioni per configurare l'esecuzione:

Esecuzione manuale in uno spazio di lavoro
Puoi attivare manualmente l'esecuzione immediata di un workflow in un workspace Dataform, al di fuori di qualsiasi pianificazione. Puoi eseguire le azioni selezionate nel flusso di lavoro.
Configurazioni dei workflow
Puoi pianificare le esecuzioni dei risultati della compilazione creati in una configurazione di rilascio selezionata. Puoi selezionare le azioni del flusso di lavoro da eseguire e impostare la frequenza e il fuso orario delle esecuzioni.

Attivare l'esecuzione immediata in uno spazio di lavoro

In un workspace Dataform, puoi attivare manualmente l'esecuzione istantanea di un workflow nel tuo workspace, al di fuori di qualsiasi pianificazione.

Puoi eseguire manualmente i seguenti elementi del flusso di lavoro nel tuo spazio di lavoro:

Se il repository contiene override di compilazione del workspace, puoi visualizzare gli override di compilazione che Dataform applicherà al risultato della compilazione del workspace.

Creare configurazioni del workflow

Con le configurazioni del workflow, puoi pianificare le esecuzioni dei risultati della compilazione da una configurazione delle release selezionata. Puoi creare più configurazioni del flusso di lavoro in un repository Dataform.

In una configurazione del flusso di lavoro, puoi configurare le seguenti impostazioni di esecuzione:

  • È stata applicata la configurazione della release di compilazione.
  • Selezione delle azioni del workflow da eseguire.
  • Pianificazione ed esecuzione del fuso orario.

Puoi selezionare le seguenti azioni del flusso di lavoro da eseguire:

  • Tutte le azioni
  • Azioni selezionate
  • Azioni con i tag selezionati

Poi, durante un'esecuzione pianificata della configurazione del workflow, Dataform esegue il deployment della selezione di azioni dal risultato della compilazione applicata a BigQuery.

Le configurazioni delle release e dei workflow Dataform ti consentono di configurare la compilazione e pianificare le esecuzioni in Dataform, senza dover fare affidamento su servizi aggiuntivi.

Scadenza delle risorse del ciclo di vita

Dataform archivia i risultati della compilazione e le chiamate del flusso di lavoro per un periodo di tempo specifico.

Scadenza delle chiamate del flusso di lavoro

Le invocazioni del flusso di lavoro scadono dopo 90 giorni o quando le elimini manualmente.

In una configurazione del workflow, puoi visualizzare un elenco delle invocazioni del workflow più recenti create dalla configurazione. Quando una chiamata del workflow creata da una configurazione del workflow scade, Dataform la rimuove dall'elenco delle chiamate recenti.

Scadenza dei risultati della compilazione

La scadenza dei risultati della compilazione dipende dal fatto che siano stati creati in un workspace di sviluppo, in una configurazione della release o tramite un'invocazione del workflow.

Quando sviluppi un workflow in un workspace Dataform, Dataform compila il codice in un risultato di compilazione in tempo reale per fornire la convalida delle query. I risultati della compilazione creati in questo modo scadono dopo 24 ore.

In una configurazione della release, l'ultimo risultato di compilazione diventa il risultato di compilazione live. Un nuovo risultato di compilazione sostituisce quello attuale. Dataform conserva il risultato della compilazione in tempo reale finché non viene sostituito da un nuovo risultato di compilazione. Un risultato di compilazione sostituito scade entro 24 ore.

Dataform rimuove i risultati di compilazione scaduti dall'elenco dei risultati di compilazione precedenti nella pagina Dettagli di una configurazione di release.

Dataform conserva i risultati della compilazione creati dalle chiamate del flusso di lavoro per l'intera durata della chiamata del flusso di lavoro, fino a 24 ore dopo la scadenza o l'eliminazione della chiamata del flusso di lavoro.

Crea override di compilazione del workspace

Le sezioni seguenti mostrano come creare override di compilazione del workspace per isolare tabelle e viste create dai workspace Dataform in BigQuery. Puoi utilizzare gli override di compilazione del workspace per creare ambienti di sviluppo Dataform isolati.

Quando sviluppi il codice del flusso di lavoro in un workspace Dataform, Dataform compila il codice nel workspace in tempo reale per creare un risultato di compilazione del workspace. Dataform utilizza le impostazioni definite nel file delle impostazioni del flusso di lavoro per creare il risultato della compilazione dello spazio di lavoro. Poi, quando attivi l'esecuzione in un workspace, Dataform esegue il risultato della compilazione del workspace in BigQuery.

Per eseguire l'override delle impostazioni predefinite configurate nelle impostazioni del workflow per tutti i workspace nel repository, puoi creare override della compilazione del workspace.

Con gli override di compilazione del workspace, puoi eseguire l'override delle seguenti impostazioni per tutti i workspace nel repository:

Progetto
Il Google Cloud progetto in cui Dataform esegue il risultato della compilazione dello spazio di lavoro, impostato in workflow_settings.yaml come defaultProject o in dataform.json come defaultDatabase.
Prefisso tabella
Il prefisso personalizzato aggiunto a tutti i nomi delle tabelle in tutti i workspace del repository.
Suffisso schema
Il suffisso personalizzato aggiunto allo schema delle tabelle. Imposta come defaultDataset in workflow_settings.yaml, defaultSchema in dataform.json o nel parametro schema nel blocco config di una tabella.

Per creare ambienti di sviluppo isolati, puoi isolare i workspace con override di compilazione unici. Puoi modificare dinamicamente gli override di compilazione del prefisso della tabella e del suffisso dello schema con la variabile ${workspaceName}.

Quando attivi manualmente l'esecuzione in un workspace, la variabile ${workspaceName} inserisce il nome del workspace negli override di compilazione del workspace.

Quando imposti ${workspaceName} come prefisso della tabella, Dataform aggiunge il nome del workspace ai nomi di tutte le tabelle nel workspace. Dopo l'esecuzione, in BigQuery puoi identificare lo spazio di lavoro da cui proviene una tabella.

Quando imposti ${workspaceName} come suffisso dello schema, Dataform aggiunge il nome del workspace a defaultSchema, creando uno schema personalizzato dedicato al workspace. Dopo l'esecuzione, in BigQuery puoi individuare tutte le tabelle eseguite da uno spazio di lavoro specifico nello schema dedicato.

Esempio di override di compilazione dinamici del workspace

Il seguente esempio mostra gli override di compilazione dinamica del workspace applicati a un repository che contiene workspace denominati in base agli sviluppatori che lavorano al repository: Sasha e Kai.

L'obiettivo degli override di compilazione del workspace in questo esempio è creare ambienti di sviluppo isolati per Sasha e Kai.

In workflow_settings.yaml sono impostate le seguenti impostazioni predefinite:

  • defaultProject: analytics
  • defaultDataset: dataform

I seguenti override della compilazione del workspace creano un prefisso della tabella e un suffisso dello schema dinamici per ogni workspace nel repository:

  • ID progetto Google Cloud: analytics_dev
  • Prefisso tabella: ${workspaceName}
  • Suffisso schema: ${workspaceName}

Quando Sasha attiva manualmente l'esecuzione nel workspace Sasha, Dataform esegue i suoi contenuti con le seguenti impostazioni:

  • Google Cloud project: analytics_dev
  • Schema: dataform_sasha
  • Nomi delle tabelle: sasha_name, ad esempio, sasha_orders

Quando Kai attiva manualmente l'esecuzione nel workspace Kai, Dataform esegue i suoi contenuti con le seguenti impostazioni:

  • Google Cloud project: analytics_dev
  • Schema: dataform_kai
  • Nomi delle tabelle: kai_name, ad esempio, kai_orders

Crea override di compilazione del workspace

Per creare override di compilazione del workspace Dataform:

  1. Nel repository, vai a Impostazioni.
  2. Fai clic su Modifica.
  3. Nel riquadro Override di compilazione dell'area di lavoro, nel campo ID progetto Google Cloud, inserisci l'ID del progetto.
  4. Nel campo Prefisso tabella, inserisci un prefisso per tutti i nomi delle tabelle.
    1. (Facoltativo) Per creare un prefisso della tabella dinamico univoco per ogni workspace, inserisci ${workspaceName} come prefisso della tabella.
  5. Nel campo Suffisso schema, inserisci un suffisso da aggiungere allo schema della tabella o della visualizzazione create.
    1. (Facoltativo) Per creare un suffisso dello schema dinamico univoco per ogni workspace, inserisci ${workspaceName} come suffisso della tabella.
  6. Fai clic su Salva.

Dataform applica override di compilazione del workspace a tutti gli workspace nel repository.

Modifica gli override di compilazione del workspace

Per modificare gli override di compilazione del workspace Dataform:

  1. Nel repository, vai a Impostazioni.
  2. Fai clic su Modifica.
  3. Modifica gli override di compilazione del workspace e poi fai clic su Salva.

Elimina gli override di compilazione del workspace

Per eliminare gli override di compilazione del workspace Dataform:

  1. Nel repository, vai a Impostazioni.
  2. Fai clic su Modifica.
  3. Nel riquadro Override di compilazione dell'area di lavoro, fai clic su Cancella tutto e poi su Salva.

Configura gli override di compilazione con l'API Dataform

Questa sezione mostra come creare ed eseguire un risultato di compilazione con override di compilazione utilizzando l'API Dataform.

Informazioni sugli override di compilazione dell'API Dataform

Per eseguire il flusso di lavoro, Dataform compila il codice in SQL per creare un risultato di compilazione. Poi, durante un'invocazione del workflow, Dataform esegue il risultato della compilazione in BigQuery.

Per impostazione predefinita, Dataform utilizza le impostazioni nel file delle impostazioni del flusso di lavoro per creare il risultato della compilazione. Per isolare l'esecuzione dei dati in diverse fasi del ciclo di vita dello sviluppo, puoi eseguire l'override delle impostazioni predefinite con gli override di compilazione.

Passando le richieste API Dataform nel terminale, puoi creare ed eseguire un singolo risultato di compilazione con override di compilazione. Puoi creare un risultato di compilazione di un workspace o di un committish Git selezionato.

Per creare un risultato di compilazione con gli override di compilazione, devi inviare una richiesta all'API Dataform compilationResults.create. Nella richiesta, devi specificare un'origine, che deve essere uno spazio di lavoro o un commitish Git, perché Dataform la compili nel risultato della compilazione. Nell'oggetto CodeCompilationConfig della richiesta compilationResults.create, puoi configurare gli override di compilazione.

Puoi quindi eseguire il risultato della compilazione creato in una richiesta workflowInvocations.create dell'API Dataform.

Puoi configurare i seguenti override di compilazione utilizzando l'API Dataform:

Google Cloud project
Il progetto in cui Dataform esegue il risultato della compilazione, impostato nel file workflow_settings.yaml come proprietà defaultProject o nel file dataform.json come proprietà defaultDatabase.
Prefisso tabella
Il prefisso personalizzato aggiunto a tutti i nomi delle tabelle nel risultato della compilazione.
Suffisso schema
Il suffisso personalizzato aggiunto allo schema delle tabelle definite nella proprietà defaultDataset del file workflow_settings.yaml, nella proprietà defaultSchema del file dataform.json o nel parametro schema del blocco config di una tabella.
Valore di una variabile di compilazione
Il valore di una variabile di compilazione da utilizzare nel risultato della compilazione. Puoi utilizzare le variabili di compilazione per eseguire le tabelle in modo condizionale.

In alternativa agli override di compilazione dell'API Dataform, che puoi utilizzare solo per un risultato di compilazione, puoi configurare gli override di compilazione del workspace nella console. Google Cloud

Per scoprire altri modi per configurare gli override di compilazione in Dataform, consulta Introduzione al ciclo di vita del flusso di lavoro in Dataform.

Impostare un'origine dei risultati della compilation

Per generare la richiesta compilationResults.create dell'API Dataform, devi specificare un'origine per il risultato della compilazione.

Puoi impostare uno spazio di lavoro Dataform o un ramo Git, un tag Git o una SHA di commit Git come origine nella richiesta compilationResults.create.

Impostare un workspace come origine dei risultati di compilazione

  • Nella richiesta compilationResults.create, compila la proprietà workspace con il percorso di uno spazio di lavoro Dataform selezionato nel seguente formato:

    {
"workspace": "projects/PROJECT_NAME/locations/LOCATION/repositories/REPOSITORY_NAME/workspaces/WORKSPACE_NAME"
}

    Sostituisci quanto segue:

    • PROJECT_NAME: il nome del tuo Google Cloud progetto.
    • LOCATION: la posizione del repository Dataform, impostata nelle impostazioni del flusso di lavoro.
    • REPOSITORY_NAME: il nome del repository Dataform.
    • WORKSPACE_NAME: il nome del tuo spazio di lavoro Dataform.

Il seguente esempio di codice mostra la proprietà workspace nella richiesta compilationResults.create impostata su uno spazio di lavoro chiamato "sales-test":

{
"workspace": "projects/analytics/locations/europe-west4/repositories/sales/workspaces/sales-test"
}

Impostare un commitish Git come origine dei risultati della compilazione

  • Nella richiesta compilationResults.create, compila la proprietà gitCommitish con il ramo Git, il tag o la SHA del commit selezionati nel seguente formato:

    {
  "gitCommitish": "GIT_COMMITISH"
}

    Sostituisci GIT_COMMITISH con il ramo Git, il tag Git o una SHA di commit Git selezionati per il risultato della compilazione.

Il seguente esempio di codice mostra la proprietà gitCommitish nella richiesta compilationResults.create impostata su "staging":

{
  "gitCommitish": "staging"
}

Ignorare il progetto predefinito

Per creare tabelle di staging o di produzione in un Google Cloud progetto separato dal progetto utilizzato per lo sviluppo, puoi passare un ID progetto diverso nell'oggetto CodeCompilationConfig nella richiesta compilationResults.create dell'API Dataform.

Il passaggio di un ID progetto predefinito separato nella richiesta compilationResults.create esegue l'override dell'ID progetto predefinito configurato nel file delle impostazioni del workflow, ma non esegue l'override degli ID progetto configurati nelle singole tabelle.

  • Per ignorare l'ID progetto predefinito, imposta la proprietà defaultDatabase sull'ID progetto selezionato nell'oggetto CodeCompilationConfig nel seguente formato:

    {
  "codeCompilationConfig": {
    "defaultDatabase": "PROJECT_NAME"
  }
}

    Sostituisci PROJECT_NAME con l'ID progetto che vuoi impostare per il risultato della compilazione.

Aggiungere un prefisso tabella

Per identificare rapidamente le tabelle dal risultato della compilazione, puoi aggiungere un prefisso a tutti i nomi delle tabelle nel risultato della compilazione passando il prefisso della tabella nell'oggetto CodeCompilationConfig nella richiesta compilationResults.create dell'API Dataform.

  • Per aggiungere un prefisso alla tabella, imposta la proprietà tablePrefix nell'oggetto CodeCompilationConfig nel seguente formato:

    {
  "codeCompilationConfig": {
    "tablePrefix": "PREFIX",
  }
}

    Sostituisci PREFIX con il prefisso che vuoi aggiungere, ad esempio staging.

    Ad esempio, se il nome della tabella è table_name, Dataform crea tabelle con il nome staging_table_name.

Aggiungere un suffisso allo schema

Per separare i dati di sviluppo, staging e produzione, puoi aggiungere un suffisso agli schemi in un risultato di compilazione passando il suffisso dello schema nell'oggetto CodeCompilationConfig nell'API Dataform compilationResults.create richiesta.

  • Per aggiungere un suffisso allo schema, imposta la proprietà schemaSuffix nell'oggetto CodeCompilationConfig nel seguente formato:

    {
  "codeCompilationConfig": {
    "schemaSuffix": "SUFFIX",
  }
}

    Sostituisci SUFFIX con il suffisso che vuoi aggiungere, ad esempio _staging.

    Ad esempio, se la proprietà defaultDataset nel file workflow_settings.yaml è impostata su dataform, Dataform crea tabelle nello schema dataform_staging.

Esegui i file selezionati in modo condizionale con le variabili di compilazione

Per eseguire una tabella selezionata solo in un'impostazione di esecuzione specifica, puoi creare una variabile di compilazione per l'impostazione di esecuzione e poi passare il relativo valore nell'oggetto CodeCompilationConfig nell'API Dataform compilationResults.create richiesta.

Per eseguire una tabella in modo condizionale in un'impostazione di esecuzione specifica utilizzando l'API Dataform:

  1. Crea una variabile di compilazione e aggiungila alle tabelle selezionate.

  2. Imposta la coppia chiave-valore YOUR_VARIABLE e VALUE nel blocco codeCompilationConfig di una richiesta di compilazione dell'API Dataform nel seguente formato:

    {
  "codeCompilationConfig": {
    "vars": {
      "YOUR_VARIABLE": "VALUE"
    }
  }
}

  3. Sostituisci YOUR_VARIABLE con il nome della variabile, ad esempio executionSetting.

  4. Sostituisci VALUE con il valore della variabile per questo risultato di compilazione che soddisfa la condizione when impostata nelle tabelle selezionate.

Il seguente esempio di codice mostra la variabile executionSetting passata a una richiesta di compilazione dell'API Dataform:

{
  "gitCommitish": "staging",
  "codeCompilationConfig": {
    "vars": {
      "executionSetting": "staging"
    }
  }
}

Esegui un risultato della compilazione con override di compilazione

Il seguente esempio di codice mostra un ID risultato di compilazione passato in una richiesta workflowInvocations.create:

{
  "compilationResult": "projects/my-project-name/locations/europe-west4/repositories/my-repository-name/compilationResults/7646b4ed-ac8e-447f-93cf-63c43249ff11"
}

Crea una configurazione di release

Le sezioni seguenti mostrano come creare una configurazione di rilascio in Dataform per configurare i modelli delle impostazioni di compilazione, che puoi eseguire in base a una pianificazione. Puoi utilizzare le configurazioni di release per configurare gli ambienti di esecuzione, ad esempio gestione temporanea e produzione.

Per eseguire i workflow in BigQuery, Dataform compila il codice del workflow SQL in un risultato di compilazione. Questo processo avviene automaticamente quando sviluppi un workflow in un workspace Dataform.

Le configurazioni di rilascio ti consentono di personalizzare i risultati della compilazione. Puoi utilizzarle per creare ambienti di esecuzione, ad esempio la gestione temporanea.

Impostazioni di configurazione della release

In una configurazione della release, puoi configurare gli override di compilazione delle impostazioni del workflow, impostare le variabili di compilazione e impostare la frequenza di creazione dei risultati di compilazione.

Una configurazione della release Dataform contiene le seguenti impostazioni di compilazione:

Impostazioni di rilascio
L'ID della release, il commitish Git per i risultati di compilazione e la frequenza di creazione dei risultati di compilazione. La frequenza è un'impostazione facoltativa. Se impostata, la frequenza minima è 1 ora.
Override delle compilazioni
Override di Google Cloud progetto, prefisso della tabella, suffisso dello schema e variabili di compilazione definiti nelle impostazioni del flusso di lavoro.

Come funziona una configurazione della release

Dataform crea risultati di compilazione da una configurazione della release alla frequenza specificata o quando attivi la compilazione. La frequenza è un'impostazione facoltativa e non è obbligatoria per creare una configurazione della release. Se impostata, la frequenza minima è 1 ora. Puoi attivare manualmente la compilazione nella pagina Dettagli configurazione release o attivare la compilazione con il metodo API Dataform releaseConfigs.

Durante la compilazione, Dataform esegue il pull del codice dal commitish Git specificato del repository. Dataform compila il codice con gli override di compilazione applicati (se presenti) e crea il risultato della compilazione. L'ultimo risultato di compilazione creato per la configurazione di rilascio è il risultato di compilazione live.

Puoi pianificare le esecuzioni dei risultati della compilazione dalle configurazioni delle release nelle configurazioni del workflow. Puoi anche eseguire una configurazione di uscita selezionata al di fuori di qualsiasi pianificazione. Durante l'esecuzione di una configurazione del workflow, Dataform esegue il risultato della compilazione live dalla configurazione della release selezionata.

Crea una configurazione di release

Per creare una configurazione di rilascio di Dataform:

  1. Nel repository, vai a Releases & Scheduling (Uscite e programmazione).
  2. Nella sezione Configurazioni della release, fai clic su Crea.

  3. Nel riquadro Crea configurazione della release, configura le impostazioni della release.

    1. Nel campo ID release, inserisci un ID univoco per la configurazione della release.

      Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Nel campo Commitish Git, inserisci il branch Git o la SHA del commit Git per la release.

      In un repository Dataform non connesso a un repository remoto, il valore è sempre main.

    3. (Facoltativo) Nel campo Frequenza, seleziona la frequenza di creazione dei risultati della compilazione.

      Se impostata, la frequenza minima è 1 ora.

      Per disattivare le uscite automatiche, lascia vuoto il campo Frequenza.

  4. (Facoltativo) Nella sezione Override della compilazione, configura le impostazioni di compilazione.

    1. Nel campo ID progetto Google Cloud, inserisci l'ID del progettoGoogle Cloud in cui vuoi archiviare il risultato della compilazione.
    2. Nel campo Suffisso schema, inserisci un suffisso da aggiungere allo schema configurato nelle impostazioni del flusso di lavoro.
    3. Nel campo Prefisso tabella, inserisci un prefisso per tutti i nomi delle tabelle.

  5. (Facoltativo) Nella sezione Variabili di compilazione, imposta le variabili di compilazione.

    1. Fai clic su Aggiungi variabile.
    2. Nel campo Chiave, inserisci la variabile di compilazione.
    3. Nel campo Valore, inserisci il valore della variabile di compilazione.
    4. Per aggiungere un'altra variabile di compilazione, fai clic su Aggiungi variabile.

  6. Fai clic su Crea.

Se esegui l'override del progetto predefinito, assicurati che il tuo account di servizio Dataform abbia accesso al progetto impostato nella configurazione di rilascio.

Ad esempio, la seguente configurazione della release crea un risultato di compilazione production dal ramo main ogni ora, senza override di compilazione:

  • ID release: production
  • Git commitish: main
  • Frequenza: oraria
  • Nessun override di compilazione

Visualizzare i dettagli di una configurazione di release

Puoi visualizzare i seguenti dettagli di una configurazione della release:

  • Impostazioni di release
    • Commitish Git
    • Timestamp dell'ultimo risultato della compilazione
    • Pianificazione cron
    • Override delle compilazioni
    • Variabili di compilazione
  • Risultato della compilazione in tempo reale
    • Timestamp creazione
    • Commitish Git
    • SHA del commit
  • Risultati delle compilazioni precedenti

Per visualizzare i dettagli di una configurazione della release:

  1. Nel repository, vai a Releases & Scheduling (Uscite e programmazione).
  2. Seleziona una configurazione della release.
  3. Nella pagina Dettagli di configurazione della release, esamina i dettagli della configurazione della release.

La tabella Risultati della compilazione pianificata mostra i risultati di compilazione precedenti creati automaticamente dalla configurazione della release.

La tabella Risultati di compilazione manuale/API mostra i risultati di compilazione creati manualmente o tramite chiamate all'API Dataform tra gli ultimi 1000 risultati di compilazione nel repository.

Attivare manualmente la compilazione

Per creare manualmente un risultato della compilazione da una configurazione di rilascio selezionata, segui questi passaggi:

  1. Nel repository, vai a Releases & Scheduling (Uscite e programmazione).
  2. Seleziona una configurazione della release.
  3. Nella pagina Dettagli configurazione release, fai clic su Nuova compilazione.

Se utilizzi la UI, un risultato appena compilato viene pubblicato automaticamente per la configurazione della release. Se utilizzi l'API, devi creare un nuovo risultato di compilazione dalla configurazione della release e poi aggiornare la configurazione della release per impostare il campo releaseCompilationResult con questo nuovo valore.

I risultati della compilazione manuale vengono visualizzati nella tabella Risultati di compilazione manuale/API nella pagina Dettagli configurazione release.

Attivare l'esecuzione di una configurazione di release

Per attivare l'esecuzione del risultato della compilazione live in una configurazione di rilascio selezionata in BigQuery:

  1. Nel repository, vai a Releases & Scheduling (Uscite e programmazione).
  2. Nella sezione Configurazioni della release, fai clic su Avvia esecuzione.
  3. Nel riquadro Esegui flusso di lavoro manuale, seleziona una configurazione della release nell'elenco Configurazione della release.
  4. Seleziona le azioni del workflow da eseguire:
    1. Per eseguire l'intero flusso di lavoro, fai clic su Tutte le azioni.
    2. Per eseguire le azioni selezionate nel flusso di lavoro, fai clic su Selezione delle azioni e poi seleziona le azioni.
    3. Per eseguire azioni con i tag selezionati, fai clic su Selezione di tag e poi seleziona i tag.
  5. (Facoltativo) Per eseguire le azioni o i tag selezionati e le relative dipendenze, seleziona l'opzione Includi dipendenze.
  6. (Facoltativo) Per eseguire le azioni o i tag selezionati e i relativi elementi dipendenti, seleziona l'opzione Includi elementi dipendenti.

  7. (Facoltativo) Per ricreare tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo.

    Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ricostruirle da zero.

  8. Fai clic su Avvia esecuzione.

Modificare una configurazione della release

Per modificare una configurazione della release:

  1. Nel repository, vai a Releases & Scheduling (Uscite e programmazione).
  2. Accanto alla configurazione della release che vuoi modificare, fai clic sul menu Altro e poi su Modifica.
  3. Nel riquadro Modifica configurazione della release, modifica le impostazioni della configurazione della release e poi fai clic su Salva.

Eliminare una configurazione di release

Per eliminare una configurazione della release:

  1. Nel repository, vai a Releases & Scheduling (Uscite e programmazione).
  2. Accanto alla configurazione della release che vuoi eliminare, fai clic sul menu Altro e poi su Elimina.
  3. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Passaggi successivi