Gestisci pipeline

Questo documento descrive come gestire le pipeline BigQuery, incluso come pianificare ed eliminare le pipeline.

Questo documento descrive anche come visualizzare e gestire i metadati della pipeline in Dataplex Universal Catalog.

Le pipeline sono basate su Dataform.

Prima di iniziare

  1. Crea una pipeline BigQuery.
  2. Per gestire i metadati della pipeline in Dataplex Universal Catalog, assicurati che l'API Dataplex sia abilitata nel tuo progetto Google Cloud .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le pipeline, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per gestire i metadati della pipeline in Dataplex Universal Catalog, assicurati di disporre dei ruoli Dataplex Universal Catalog richiesti.

Per saperne di più su Dataform IAM, consulta Controllare l'accesso con IAM.

Visualizza tutte le pipeline

Per visualizzare un elenco di tutte le pipeline nel tuo progetto:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, fai clic su espandi Pipeline.

Visualizzare le esecuzioni manuali precedenti

Per visualizzare le esecuzioni manuali precedenti di una pipeline selezionata:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Pipeline, quindi seleziona una pipeline.

  3. Fai clic su Esecuzioni.

  4. (Facoltativo) Per aggiornare l'elenco delle esecuzioni passate, fai clic su Aggiorna.

Configura gli avvisi per le esecuzioni delle pipeline non riuscite

Ogni pipeline ha un ID repository Dataform corrispondente. Ogni esecuzione della pipeline BigQuery viene registrata in Cloud Logging utilizzando l'ID repository Dataform corrispondente. Puoi utilizzare Cloud Monitoring per osservare le tendenze nei log di Cloud Logging per le esecuzioni delle pipeline BigQuery e per inviarti una notifica quando si verificano le condizioni che descrivi.

Per ricevere avvisi quando l'esecuzione di una pipeline BigQuery non va a buon fine, puoi creare un criterio di avviso basato sui log per l'ID repository Dataform corrispondente. Per istruzioni, vedi Configurare gli avvisi per le chiamate del flusso di lavoro non riuscite.

Per trovare l'ID repository Dataform della pipeline:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Pipeline, quindi seleziona una pipeline.

  3. Fai clic su Impostazioni.

    L'ID repository Dataform della pipeline viene visualizzato nella parte inferiore della scheda Impostazioni.

Elimina una pipeline

Per eliminare definitivamente una pipeline:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Pipeline. Trova la pipeline che vuoi eliminare.

  3. Fai clic su Visualizza azioni accanto alla pipeline, quindi fai clic su Elimina.

  4. Fai clic su Elimina.

Gestisci i metadati in Dataplex Universal Catalog

Dataplex Universal Catalog consente di archiviare e gestire i metadati per le pipeline. Le pipeline sono disponibili in Dataplex Universal Catalog per impostazione predefinita, senza configurazione aggiuntiva.

Puoi utilizzare Dataplex Universal Catalog per gestire le pipeline in tutte le posizioni delle pipeline. La gestione delle pipeline in Dataplex Universal Catalog è soggetta a quote e limiti di Dataplex Universal Catalog e ai prezzi di Dataplex Universal Catalog.

Il Catalogo universale Dataplex recupera automaticamente i seguenti metadati dalle pipeline:

  • Nome dell'asset di dati
  • Asset di dati padre
  • Posizione dell'asset di dati
  • Tipo di asset di dati
  • Progetto Google Cloud corrispondente

Dataplex Universal Catalog registra le pipeline come voci con i seguenti valori delle voci:

Gruppo di voci di sistema
Il gruppo di voci di sistema per le pipeline è @dataform. Per visualizzare i dettagli delle voci della pipeline in Dataplex Universal Catalog, devi visualizzare il gruppo di voci di sistema dataform. Per istruzioni su come visualizzare un elenco di tutte le voci in un gruppo di voci, consulta Visualizzare i dettagli di un gruppo di voci nella documentazione di Dataplex Universal Catalog.
Tipo di voce di sistema
Il tipo di voce di sistema per le pipeline è dataform-code-asset. Per visualizzare i dettagli delle pipeline, devi visualizzare il tipo di voce di sistema dataform-code-asset, filtrare i risultati con un filtro basato sugli aspetti e impostare il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Poi, seleziona una voce della pipeline selezionata. Per istruzioni su come visualizzare i dettagli di un tipo di voce selezionato, consulta Visualizzare i dettagli di un tipo di voce nella documentazione di Dataplex Universal Catalog. Per istruzioni su come visualizzare i dettagli di una voce selezionata, consulta Visualizzare i dettagli di una voce nella documentazione di Dataplex Universal Catalog.
Tipo di aspetto del sistema
Il tipo di aspetto del sistema per le pipeline è dataform-code-asset. Per fornire un contesto aggiuntivo alle pipeline in Dataplex Universal Catalog annotando le voci della pipeline di dati con aspetti, visualizza il tipo di aspetto dataform-code-asset, filtra i risultati con un filtro basato sugli aspetti e imposta il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Per istruzioni su come annotare le voci con gli aspetti, consulta Gestire gli aspetti e arricchire i metadati nella documentazione di Dataplex Universal Catalog.
Tipo
Il tipo per i canvas di dati è WORKFLOW. Questo tipo ti consente di filtrare le pipeline nel tipo di voce di sistema dataform-code-asset e nel tipo di aspetto dataform-code-asset utilizzando la query aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW in un filtro basato sugli aspetti.

Per istruzioni su come cercare asset in Dataplex Universal Catalog, consulta Cercare asset di dati in Dataplex Universal Catalog nella documentazione di Dataplex Universal Catalog.

Passaggi successivi