Dichiarare un'origine dati

Questo documento mostra come dichiarare le origini dati BigQuery con Dataform Core.

Puoi dichiarare qualsiasi tipo di tabella BigQuery come origine dati in Dataform. La dichiarazione di origini dati BigQuery esterne a Dataform ti consente di trattarle come oggetti Dataform.

La dichiarazione delle origini dati è facoltativa, ma può essere utile quando vuoi eseguire le seguenti operazioni:

  • Fai riferimento o risolvi le origini dichiarate nello stesso modo di qualsiasi altra tabella in Dataform.
  • Visualizza le origini dichiarate nel grafico di Dataform visualizzato.
  • Utilizza Dataform per gestire le descrizioni a livello di tabella e di colonna delle tabelle create esternamente.
  • Attiva le invocazioni del flusso di lavoro che includono tutti i dipendenti di un'origine dati esterna.

Puoi dichiarare le origini dati utilizzando file JavaScript o SQLX. In un file JavaScript puoi dichiarare più origini dati per file. In un file SQLX puoi dichiarare un'origine dati per file.

Prima di iniziare

Prima di dichiarare un'origine dati, crea e inizializza uno spazio di lavoro di sviluppo nel tuo repository.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per dichiarare un'origine dati, chiedi all'amministratore di concederti il ruolo IAM Dataform Editor (roles/dataform.editor) in Workspaces. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un file JavaScript per più dichiarazioni di origini dati

Memorizza i file JavaScript per le dichiarazioni delle origini dati nella directory definitions/. Per creare un nuovo file JavaScript nella directory definitions/:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository.

  3. Seleziona uno spazio di lavoro di sviluppo.

  4. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  5. Fai clic su Crea file.

  6. Nel riquadro Crea nuovo file:

    1. Nel campo Aggiungi un percorso del file, dopo definitions/, inserisci il nome del file seguito da .js. Ad esempio, definitions/declarations.js.

      I nomi dei file possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea file.

Aggiungere una dichiarazione a un file JavaScript

Puoi dichiarare più origini dati per file JavaScript. Per aggiungere una nuova dichiarazione:

  1. Nel riquadro File dello spazio di lavoro di sviluppo, fai clic sul file JavaScript per le dichiarazioni delle origini dati.

  2. Nel file, aggiungi il seguente snippet di codice per ogni origine dati:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    Sostituisci quanto segue:

    • DATABASE_PROJECT_ID: l'ID del progetto che contiene l'origine dati.
    • BIGQUERY_SCHEMA: il set di dati BigQuery in cui esiste l'origine dati.
    • RELATION_NAME: il nome della tabella o della vista che vuoi utilizzare come origine dati. In un secondo momento, puoi utilizzare questo nome per fare riferimento all'origine dati in Dataform.

Crea un file SQLX per la dichiarazione dell'origine dati

Memorizza i file SQLX per le dichiarazioni delle origini dati nella directory definitions/. Per creare un nuovo file SQLX nella directory definitions/:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository.

  3. Seleziona uno spazio di lavoro di sviluppo.

  4. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  5. Fai clic su Crea file.

  6. Nel riquadro Crea nuovo file:

    1. Nel campo Aggiungi un percorso del file, dopo definitions/, inserisci il nome del file seguito da .sqlx. Ad esempio, definitions/dataset-declaration.sqlx.

      I nomi dei file possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea file.

Dichiarare un'origine dati

Puoi dichiarare un'origine dati per file di dichiarazione SQLX. Per dichiarare un'origine dati nel blocco di configurazione di un file SQLX:

  1. Nell'area di lavoro di sviluppo, nel riquadro File, fai clic sul file SQLX per la dichiarazione dell'origine dati.

  2. Nel file, inserisci il seguente snippet di codice:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Sostituisci quanto segue:

    • DATABASE: l'ID del progetto che contiene l'origine dati.
    • SCHEMA: il set di dati BigQuery in cui esiste l'origine dati.
    • NAME: il nome della tabella o della vista che vuoi utilizzare come origine dati. In un secondo momento, puoi utilizzare questo nome per fare riferimento all'origine dati in Dataform.

  3. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra una dichiarazione di esempio della tabella shakespeare nel set di dati samples del progetto bigquery-public-data come origine dati:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Passaggi successivi