Crea un repository

Questo documento ti aiuta a comprendere il concetto di repository in Dataform e come crearne uno nuovo.

Informazioni sui repository Dataform

Ogni repository Dataform contiene una raccolta di file SQLX e JavaScript che compongono il workflow, nonché pacchetti e file di configurazione Dataform. Interagisci con i contenuti del tuo repository in un workspace di sviluppo.

Dataform mostra i repository nella pagina Dataform in ordine alfabetico degli ID repository. Puoi ordinarli e filtrarli.

  • Per visualizzare i repository, nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

Ogni repository Dataform è connesso a un account di servizio. Puoi selezionare un account di servizio quando crei un repository o modificare il service account in un secondo momento.

Per impostazione predefinita, Dataform utilizza un account di servizio derivato dal numero del progetto nel seguente formato:

service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform utilizza Git per registrare le modifiche e gestire le versioni dei file. Ogni repository Dataform corrisponde a un repository Git. Dopo aver creato un repository Dataform, puoi connetterlo a un repository GitHub, GitLab o Bitbucket remoto.

In un repository Dataform, Dataform archivia il codice del repository. In un repository connesso, il repository di terze parti memorizza il codice del repository. Dataform interagisce con il repository di terze parti per consentirti di modificare ed eseguire i relativi contenuti in un workspace di sviluppo Dataform.

Una pagina del repository Dataform è costituita dai seguenti componenti:

Scheda Workspace di sviluppo
Mostra i workspace di sviluppo creati nel repository.
Scheda Configurazioni della release
Consente di esaminare, creare, modificare ed eliminare le release.
Scheda dei log di esecuzione del workflow
Visualizza i log di esecuzione del flusso di lavoro Dataform.
Scheda Configurazioni dei workflow
Consente di esaminare, creare, modificare ed eliminare le configurazioni del flusso di lavoro.
Scheda Impostazioni
Mostra il nome e la posizione del repository. Per un repository connesso a un repository Git di terze parti, mostra l'origine del repository di terze parti, il nome del ramo predefinito e il token segreto. Mostra i pulsanti per connettere il repository a un repository Git di terze parti e per modificare la connessione Git.
Pulsante Crea workspace di sviluppo
Ti consente di creare un workspace di sviluppo.

Dopo aver creato e inizializzato un'area di lavoro di sviluppo, puoi modificare il file delle impostazioni del flusso di lavoro per configurare le seguenti impostazioni Dataform del repository:

  • Il database predefinito (Google Cloud ID progetto).
  • Lo schema predefinito (ID set di dati BigQuery).
  • La località BigQuery predefinita.
  • Lo schema predefinito (ID set di dati BigQuery) per le asserzioni.
  • Il magazzino, che deve essere impostato su bigquery.
  • Variabili definite dall'utente che vengono rese disponibili al codice del progetto durante la compilazione.

Per ulteriori informazioni sulle impostazioni del repository Dataform, consulta IProjectConfig nella guida di riferimento di Dataform Core.

Impostazioni repository

Quando crei un repository Dataform, devi impostare le seguenti impostazioni del repository:

ID repository
Un ID univoco del repository. Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.
Regione

Regione Dataform per l'archiviazione del repository e dei relativi contenuti.

Questa regione di archiviazione può essere diversa dalla regione di elaborazione in cui Dataform elabora il codice e archivia l'output delle esecuzioni. Per impostazione predefinita, la regione di elaborazione è impostata sulla regione predefinita del set di dati BigQuery. Puoi modificare la regione di elaborazione nel file delle impostazioni del workflow dopo aver creato il repository. Per saperne di più, vedi Configurare le impostazioni del flusso di lavoro Dataform.

Service account

Service account associato al repository. Puoi selezionare il account di servizio Dataform predefinito, un account di servizio associato al tuo progettoGoogle Cloud o inserire manualmente un account di servizio diverso. Per impostazione predefinita, Dataform utilizza unaccount di serviziot derivato dal numero del progetto nel seguente formato:

service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform utilizza il account di servizio predefinito per tutte le operazioni del repository. Puoi utilizzare un account di servizio diverso per eseguire i workflow nel tuo repository, ma il account di servizio predefinito viene comunque utilizzato per tutte le altre operazioni del repository.

Modalità di emulazione rigorosa (anteprima)

Attiva un controllo di sicurezza aggiuntivo che richiede l'autorizzazione iam.serviceAccounts.actAs per il account di servizio. Per ulteriori informazioni, consulta Utilizzare la modalità actAs rigorosa.

Crittografia

Metodo di crittografia per il repository. Puoi utilizzare la crittografia predefinita, una chiave di crittografia Cloud KMS gestita dal cliente unica o una chiave CMEK predefinita di Dataform. Per saperne di più sull'utilizzo delle chiavi di crittografia gestite dal cliente (CMEK) in Dataform, consulta Utilizzare le chiavi di crittografia gestite dal cliente.

Dopo aver creato un repository, puoi connetterlo a GitHub o GitLab.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.
  8. Per utilizzare la crittografia CMEK per il repository, attiva la crittografia CMEK dei repository Dataform.

    9. Ruoli obbligatori

    Per ottenere le autorizzazioni necessarie per creare ed eliminare un repository, chiedi all'amministratore di concederti il ruolo IAM Dataform Admin (roles/dataform.admin) sui repository. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

    Per utilizzare un account di servizio diverso da quello predefinito di Dataform, concedi l'accesso al service account personalizzato.

    Per informazioni dettagliate sui ruoli richiesti per eseguire i flussi di lavoro in BigQuery, consulta Ruoli richiesti per i service account Dataform.

    Dopo aver creato un repository Dataform, Dataform ti concede automaticamente il ruolo di amministratore Dataform per quel repository.

    Crea un repository

    Per creare un repository Dataform:

    1. Nella console Google Cloud , vai alla pagina Dataform.

      Vai a Dataform

    2. Fai clic su Crea repository.

    3. Nella pagina Crea repository, nel campo ID repository, inserisci un ID univoco.

      Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

    4. Nell'elenco a discesa Regione, seleziona una regione Dataform per archiviare il repository e i relativi contenuti. Seleziona la regione Dataform più vicina alla tua posizione.

      Per un elenco delle regioni Dataform disponibili, consulta Località. La regione del repository non deve corrispondere alla località dei set di dati BigQuery.

      Nel file workflow_settings.yaml puoi impostare la regione di elaborazione in cui Dataform elabora il codice e archivia l'output delle esecuzioni. La regione di elaborazione deve corrispondere alla località dei set di dati BigQuery, ma non alla regione del repository. Per ulteriori informazioni, vedi Configurare le impostazioni del flusso di lavoro Dataform.

    5. Nel menu Service account, seleziona un account di servizio per il repository.

      Nel menu, puoi selezionare il service account Dataform predefinito o qualsiasi account di servizio associato al tuo progetto Google Cloud a cui hai accesso. Tieni presente che i service account personalizzati vengono utilizzati solo per l'esecuzione del workflow. Tutte le altre operazioni sul repository vengono comunque eseguite dalaccount di serviziot Dataform predefinito.

      1. (Facoltativo) Per selezionare un account di servizio non visualizzato nel menu, fai clic su Inserisci manualmente e inserisci un IDaccount di serviziot.

    6. (Facoltativo) Seleziona Applica il controllo dell'autorizzazione "actAs" per attivare ulteriori controlli di sicurezza su determinate azioni dell'utente sul repository. Per informazioni dettagliate su questi controlli, vedi Utilizzare la modalità di emulazione rigorosa.

    7. Configura il meccanismo di crittografia selezionato per il repository:

      Chiave CMEK predefinita

      Dataform visualizza la casella di controllo Utilizza la chiave KMS predefinita e la seleziona per impostazione predefinita.

      • Per criptare il repository con la chiave CMEK predefinita di Dataform, lascia selezionata la casella di controllo Utilizza la chiave KMS predefinita.

      Chiave CMEK univoca

      Per criptare il repository con una chiave CMEK univoca:

      1. Se la casella di controllo Utilizza la chiave KMS predefinita è selezionata per impostazione predefinita, deselezionala.
      2. Nella sezione Crittografia, seleziona l'opzione Chiavi di crittografia gestite dal cliente (CMEK).
      3. Nel menu a discesa Seleziona una chiave gestita dal cliente, seleziona una chiave CMEK univoca.

      Crittografia dei dati inattivi

      • Per utilizzare la crittografia predefinita, nella sezione Crittografia, seleziona l'opzione Google-managed encryption key.

    8. Fai clic su Crea e poi su Fine.

    Modifica il account di servizio

    Puoi associare un account di servizio personalizzato a un repository Dataform per l'esecuzione del flusso di lavoro. Tutte le altre operazioni del repository vengono comunque eseguite dalaccount di serviziot Dataform predefinito.

    Per modificare l'account di servizio per un repository Dataform:

    1. Nella console Google Cloud , vai alla pagina Dataform.

      Vai a Dataform

    2. Seleziona un repository, quindi fai clic su Impostazioni.

    3. Accanto al campo Account di servizio, fai clic su Modifica account di servizio.

    4. Nel menu a discesa Service account, seleziona un account di servizio per il repository.

      Nel menu a discesa, puoi selezionare il account di servizio Dataform predefinito o qualsiasi account di servizio associato al tuo progetto Google Cloud a cui hai accesso.

      1. (Facoltativo) Per selezionare un account di servizio non visualizzato nel menu a discesa, fai clic su Inserisci manualmente e inserisci un IDaccount di serviziot.

    5. Fai clic su Salva.

    Eliminare un repository

    Per eliminare un repository e tutti i relativi contenuti:

    1. Nella console Google Cloud , vai alla pagina Dataform.

      Vai a Dataform

    2. Accanto al repository che vuoi eliminare, fai clic sul menu Altro e poi seleziona Elimina.

    3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

    4. Fai clic su Elimina.

    Passaggi successivi