Questo documento ti aiuta a:
- Comprendere il concetto di workspace in Dataform e le relative funzionalità.
- Crea un workspace di sviluppo Dataform.
- Inizializza un workspace di sviluppo Dataform vuoto.
- Elimina un'area di lavoro di sviluppo Dataform.
Panoramica dei workspace di sviluppo
In Dataform, interagisci con il codice del flusso di lavoro in un workspace di sviluppo, che è una copia modificabile di un repository. In un workspace, crei, modifichi o elimini i contenuti del repository senza influire sugli altri utenti che lavorano sullo stesso repository, quindi esegui il commit e il push delle modifiche nel repository.
Puoi sviluppare il flusso di lavoro con Dataform Core o JavaScript. Dataform compila il codice in query SQL in tempo reale.
In un workspace di sviluppo, puoi eseguire le seguenti attività:
- Configura le impostazioni Dataform.
- Crea tabelle di tutti i tipi supportati.
- Tabelle dei documenti.
- Tabelle di partizione.
- Aggiungi etichette BigQuery e tag di policy alle tabelle.
- Esegui l'override delle impostazioni della tabella.
- Configura azioni aggiuntive.
- Dichiara le origini dati per il tuo flusso di lavoro.
- Aggiungi operazioni SQL personalizzate e tag al tuo flusso di lavoro.
- Attiva l'esecuzione del flusso di lavoro o delle azioni selezionate.
- Monitora i log di esecuzione.
Componenti di un workspace di sviluppo
Un workspace di sviluppo Dataform è costituito dalle schede descritte nelle sezioni seguenti.
Scheda Codice
Puoi utilizzare l'ambiente di sviluppo nella scheda Codice per esplorare i file, sviluppare query, controllare le versioni delle modifiche e attivare l'esecuzione su BigQuery. La scheda contiene i seguenti componenti che ti consentono di sviluppare workflow:
- Riquadro File: mostra la struttura dei file dell'area di lavoro e salva automaticamente le modifiche alla struttura dei file. I file selezionati si aprono nelle schede del riquadro di sviluppo. Nel campo Digita per cercare, puoi cercare file o directory nel tuo spazio di lavoro in base al percorso.
- Riquadro Controllo della versione: mostra lo stato del controllo della versione del tuo spazio di lavoro e le opzioni di controllo della versione.
- Riquadro Sviluppo: mostra i file aperti nelle schede. Salva automaticamente le modifiche ai file modificati.
- Pulsante Esegui: esegue un'anteprima della query SQL compilata.
- Pulsante Formatta: formatta il codice Dataform core o JavaScript.
- Stato Compilazione: mostra lo stato di compilazione del codice nel tuo spazio di lavoro.
- Riquadro Metadati: mostra i metadati del file modificato.
- Riquadro Query compilate: compila le query nel file modificato in SQL. Se la compilazione della query non va a buon fine, nel riquadro vengono visualizzati gli errori di compilazione. Se la compilazione della query ha esito positivo, il riquadro mostra le query compilate e le convalida tramite prove generali rispetto a BigQuery. Se la convalida della query non riesce, il riquadro mostra gli errori di convalida. Se la convalida della query ha esito positivo, il riquadro mostra quanti byte utilizzerebbe l'esecuzione delle query in BigQuery.
- Menu Avvia esecuzione: mostra le opzioni per attivare l'esecuzione dell'intero flusso di lavoro nel tuo workspace o dei suoi elementi selezionati.
Scheda del grafico compilato
Nella scheda Grafico compilato, puoi vedere il flusso di lavoro compilato definito nel tuo workspace come un grafo diretto aciclico (DAG) interattivo. Il grafico mostra tutte le azioni nel flusso di lavoro e le relazioni tra loro. Se nel workflow sono presenti errori di compilazione, nella scheda viene visualizzato un messaggio di errore anziché il grafico.
Puoi aumentare e diminuire lo zoom e utilizzare la navigazione con trascinamento nel grafico.
Puoi filtrare il grafico in base alle seguenti proprietà:
- Nome
- Tag
- Tipo
- Asserzione
- Dichiarazione
- Tabella incrementale
- Visualizzazione materializzata
- Operazioni
- Tabella
- Sconosciuto
- Visualizza
Puoi selezionare più filtri contemporaneamente. Dataform li applica
con la condizione OR.
Puoi fare clic su un'azione nel grafico per visualizzarne i dettagli nei seguenti riquadri:
- Riquadro Metadati: mostra il nome completo, il tipo, le dipendenze e i dipendenti dell'azione selezionata.
- Riquadro Query: mostra la query SQL compilata dell'azione selezionata.
Scheda Esecuzioni
Questa scheda mostra i log di tutte le esecuzioni attivate nello spazio di lavoro. Puoi anche visualizzare le azioni e i relativi dettagli per un'esecuzione selezionata. Per ulteriori informazioni, vedi Monitorare i log di esecuzione.
Controllo delle versioni in uno spazio di lavoro
In un workspace, interagisci con il repository tramite il controllo della versione basato su Git. Le modifiche apportate ai file nel workspace iniziano come modifiche locali non sottoposte a commit che puoi eseguire e poi trasferire al repository in modo che diventino disponibili per tutti gli utenti del repository.
Se il repository è connesso a un provider Git remoto, esegui il push delle modifiche dal workspace al ramo di sviluppo principale. Selezioni il ramo principale quando connetti il repository al fornitore Git remoto. In un repository Dataform non connesso, esegui il push delle modifiche al ramo predefinito.
Puoi anche estrarre le modifiche dal repository Dataform o dal repository remoto e unirle alle modifiche locali nello spazio di lavoro di sviluppo. Per saperne di più sul controllo delle versioni in Dataform, consulta Controllare le versioni del codice.
Prima di iniziare
Se non l'hai ancora fatto, crea un repository Dataform.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per creare, inizializzare ed eliminare un workspace di sviluppo, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) nei workspace.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Crea un workspace di sviluppo Dataform
Quando crei un workspace di sviluppo in un nuovo repository per la prima volta, Dataform ti chiede di inizializzarlo con un insieme di file di configurazione necessari per il funzionamento di Dataform.
Un workspace di sviluppo inizializzato contiene le seguenti directory e i seguenti file:
definitions/: una directory per le definizioni delle risorse, in Dataform Core o JavaScript.includes/: una directory vuota per script e variabili che puoi riutilizzare nel repository.workflow_settings.yaml: il file di configurazione Dataform predefinito contenente l'ID progetto Google Cloud e lo schema BigQuery in cui pubblicare gli asset. Puoi ignorare le impostazioni predefinite per personalizzarle in base alle tue esigenze, ma la personalizzazione non è un requisito per iniziare a utilizzare Dataform.package.json: il file di configurazione delle dipendenze Dataform predefinito con l'ultima versione di@dataform/core. Puoi utilizzare questo file per importare pacchetti.definitions/sample.sqlx: un file SQLX di esempio per aiutarti a iniziare.
Per creare un nuovo workspace di sviluppo Dataform:
Nella console Google Cloud , vai alla pagina Dataform.
Seleziona il repository in cui vuoi creare il nuovo spazio di lavoro di sviluppo.
Nella pagina del repository, fai clic su Crea area di lavoro di sviluppo.
Nella finestra Crea area di lavoro di sviluppo:
Nel campo ID workspace, inserisci un ID univoco per il workspace di sviluppo.
Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.
Fai clic su Crea.
Inizializza il workspace in un repository Dataform
Per inizializzare un workspace di sviluppo Dataform:
Nella console Google Cloud , vai alla pagina Dataform.
Seleziona il repository in cui vuoi inizializzare lo spazio di lavoro vuoto.
Nella scheda Aree di lavoro di sviluppo, fai clic sul nome dell'area di lavoro vuota da inizializzare.
Nella pagina dell'area di lavoro di sviluppo, fai clic su Inizializza area di lavoro.
Elimina un workspace Dataform
Non sono previsti costi per la creazione di spazi di lavoro di sviluppo di Dataform. Tuttavia, se vuoi eliminare uno spazio di lavoro di sviluppo:
Nella console Google Cloud , vai alla pagina Dataform.
Seleziona il repository che contiene lo spazio di lavoro da eliminare.
Per evitare di eliminare le modifiche non eseguite, esegui il commit e il push delle modifiche nel repository Git.
Nella scheda Aree di lavoro di sviluppo, seleziona l'area di lavoro di sviluppo che vuoi eliminare, quindi fai clic su Elimina workspace selezionati.
Puoi eliminare più spazi di lavoro contemporaneamente.
Per confermare, fai clic su Elimina.
Passaggi successivi
- Per scoprire come controllare la versione del codice Dataform, consulta Controllare la versione del codice.
- Per scoprire come creare una tabella, vedi Creare una tabella.
- Per scoprire come eseguire un'anteprima per testare una query SQL, consulta Visualizzare l'anteprima delle query SQL.