Gerenciar pipelines

Neste documento, descrevemos como gerenciar pipelines do BigQuery, incluindo como programar e excluir pipelines.

Este documento também descreve como visualizar e gerenciar metadados de pipeline no Dataplex Universal Catalog.

Os pipelines são gerados pelo Dataform.

Antes de começar

  1. Crie um pipeline do BigQuery.
  2. Para gerenciar metadados de pipeline no Dataplex Universal Catalog, verifique se a API Dataplex está ativada no seu projeto Google Cloud .

Funções exigidas

Para conseguir as permissões necessárias para gerenciar pipelines, peça ao administrador para conceder a você os papéis do IAM a seguir:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para gerenciar metadados de pipeline no Dataplex Universal Catalog, verifique se você tem os papéis necessários do Dataplex Universal Catalog.

Para mais informações sobre o IAM do Dataform, consulte Controlar o acesso com o IAM.

Ver todos os pipelines

Para conferir uma lista de todos os pipelines no seu projeto, faça o seguinte:

  1. No console Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, clique em e expanda Pipelines.

Conferir execuções manuais anteriores

Para conferir as execuções manuais anteriores de um pipeline selecionado, siga estas etapas:

  1. No console Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, expanda o projeto e a pasta Pipelines e selecione um pipeline.

  3. Clique em Execuções.

  4. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Configurar alertas para execuções de pipeline com falha

Cada pipeline tem um ID de repositório do Dataform correspondente. Cada execução do pipeline do BigQuery é registrada no Cloud Logging usando o ID do repositório do Dataform correspondente. Você pode usar o Cloud Monitoring para observar tendências nos registros do Cloud Logging para execuções de pipeline do BigQuery e receber notificações quando as condições descritas ocorrerem.

Para receber alertas quando uma execução de pipeline do BigQuery falhar, crie uma política de alertas baseada em registros para o ID de repositório do Dataform correspondente. Para instruções, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

Para encontrar o ID do repositório do Dataform do seu pipeline, faça o seguinte:

  1. No console Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, expanda o projeto e a pasta Pipelines e selecione um pipeline.

  3. Clique em Configurações.

    O ID do repositório do Dataform do seu pipeline é exibido na parte de baixo da guia Configurações.

Excluir um pipeline

Para excluir um pipeline de forma permanente, siga estas etapas:

  1. No console Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, expanda seu projeto e a pasta Pipelines. Encontre o pipeline que você quer excluir.

  3. Clique em Ver ações ao lado do pipeline e clique em Excluir.

  4. Clique em Excluir.

Gerenciar metadados no Dataplex Universal Catalog

Com o Dataplex Universal Catalog, é possível armazenar e gerenciar metadados de pipelines. Os pipelines estão disponíveis no Dataplex Universal Catalog por padrão, sem configuração extra.

Use o Dataplex Universal Catalog para gerenciar pipelines em todos os locais de pipeline. O gerenciamento de pipelines no Dataplex Universal Catalog está sujeito às cotas e limites do Dataplex Universal Catalog e aos preços do Dataplex Universal Catalog.

O Dataplex Universal Catalog recupera automaticamente os seguintes metadados dos pipelines:

  • Nome do recurso de dados
  • Recurso de dados principal
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto Google Cloud correspondente

O Dataplex Universal Catalog registra pipelines como entradas com os seguintes valores:

Grupo de entradas do sistema
O grupo de entradas do sistema para pipelines é @dataform. Para conferir os detalhes das entradas de pipeline no Dataplex Universal Catalog, acesse o grupo de entradas do sistema dataform. Para instruções sobre como ver uma lista de todas as entradas em um grupo de entrada, consulte Ver detalhes de um grupo de entrada na documentação do Dataplex Universal Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para pipelines é dataform-code-asset. Para ver detalhes dos pipelines, é necessário acessar o tipo de entrada do sistema dataform-code-asset, filtrar os resultados com um filtro baseado em aspectos e definir o campo type no aspecto dataform-code-asset como WORKFLOW. Em seguida, selecione uma entrada do pipeline escolhido. Para instruções sobre como ver detalhes de um tipo de entrada selecionado, consulte Ver detalhes de um tipo de entrada na documentação do Dataplex Universal Catalog. Para instruções sobre como ver os detalhes de uma entrada selecionada, consulte Ver detalhes de uma entrada na documentação do Dataplex Universal Catalog.
Tipo de aspecto do sistema
O tipo de aspecto do sistema para pipelines é dataform-code-asset. Para fornecer mais contexto aos pipelines no Dataplex Universal Catalog anotando entradas de pipeline de dados com aspectos, veja o tipo de aspecto dataform-code-asset, filtre os resultados com um filtro baseado em aspecto e defina o campo type no aspecto dataform-code-asset como WORKFLOW. Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Dataplex Universal Catalog.
Tipo
O tipo de telas de dados é WORKFLOW. Esse tipo permite filtrar pipelines no tipo de entrada do sistema dataform-code-asset e no tipo de aspecto dataform-code-asset usando a consulta aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW em um filtro baseado em aspectos.

Para instruções sobre como pesquisar recursos no Dataplex Universal Catalog, consulte Pesquisar recursos de dados no Dataplex Universal Catalog na documentação do Dataplex Universal Catalog.

A seguir