Usar a linhagem de dados no Dataflow

A linhagem de dados é um recurso do Dataflow que permite rastrear como os dados se movimentam nos sistemas: origem, destino e quais transformações são aplicadas a eles.

Cada pipeline executado usando o Dataflow tem vários recursos de dados associados. A linhagem de um recurso de dados inclui a origem, o que acontece com ele e para onde ele se move ao longo do tempo. Com a linhagem de dados, é possível rastrear o movimento de ponta a ponta dos seus ativos de dados, da origem ao destino final.

Quando você ativa a linhagem de dados para seus jobs do Dataflow, o Dataflow captura eventos de linhagem e os publica na API Data Lineage do Dataplex Universal Catalog.

Para acessar informações de linhagem pelo Dataplex Universal Catalog, consulte Usar a linhagem de dados com sistemas Google Cloud .

Antes de começar

Configure o projeto:

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Dataplex Universal Catalog, BigQuery, and Data lineage APIs.

    Enable the APIs

  4. Make sure that billing is enabled for your Google Cloud project.

  5. Enable the Dataplex Universal Catalog, BigQuery, and Data lineage APIs.

    Enable the APIs

    6.

    No Dataflow, também é necessário ativar a linhagem no nível do job. Consulte Ativar a linhagem de dados no Dataflow neste documento.

    Funções exigidas

    Para receber as permissões necessárias para visualizar gráficos de visualização de linhagem, peça ao seu administrador para conceder a você os seguintes papéis do IAM:

    Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

    Para mais informações sobre papéis de linhagem de dados, consulte Papéis predefinidos para linhagem de dados.

    Suporte e limitações

    A linhagem de dados no Dataflow tem as seguintes limitações:

    • A linhagem de dados é compatível com as versões 2.63.0 e mais recentes do SDK do Apache Beam.
    • É necessário ativar a linhagem de dados em cada job.
    • A captura de dados não é instantânea. Pode levar alguns minutos para que os dados de linhagem do job do Dataflow apareçam no Dataplex Universal Catalog.

    • As seguintes fontes e destinos são compatíveis:

      • Apache Kafka
      • BigQuery
      • Bigtable
      • Cloud Storage
      • JDBC (Java Database Connectivity)
      • Pub/Sub
      • Spanner

      Os modelos do Dataflow que usam essas origens e destinos também capturam e publicam automaticamente eventos de linhagem.

    Ativar a linhagem de dados no Dataflow

    Você precisa ativar a linhagem no nível do job. Para ativar a linhagem de dados, use a opção do serviço Dataflow enable_lineage da seguinte maneira:

    Java

    --dataflowServiceOptions=enable_lineage=true

    Python

    --dataflow_service_options=enable_lineage=true

    Go

    --dataflow_service_options=enable_lineage=true

    gcloud

    Use o comando gcloud dataflow jobs run com a opção additional-experiments. Se você estiver usando modelos Flex, use o comando gcloud dataflow flex-template run.

    --additional-experiments=enable_lineage=true

    Também é possível especificar um ou ambos os parâmetros a seguir com a opção de serviço:

    • process_id: um identificador exclusivo que o Dataplex Universal Catalog usa para agrupar execuções de jobs. Se não for especificado, o nome do job será usado.
    • process_name: um nome legível para o processo de linhagem de dados. Se não for especificado, o nome do job com o prefixo "Dataflow " será usado.

    Especifique estas opções da seguinte maneira:

    Java

    --dataflowServiceOptions=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

    Python

    --dataflow_service_options=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

    Go

    --dataflow_service_options=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

    gcloud 

    --additional-experiments=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

    Visualizar a linhagem no catálogo universal do Dataplex

    A linhagem de dados fornece informações sobre as relações entre os recursos do projeto e os processos que os criaram. É possível conferir informações de linhagem de dados no console do Google Cloud em forma de gráfico ou tabela única. Também é possível recuperar informações de linhagem de dados da API Data Lineage no formato de dados JSON.

    Para mais informações, consulte Usar a linhagem de dados com sistemas Google Cloud .

    Desativar a linhagem de dados no Dataflow

    Se a linhagem de dados estiver ativada para um job específico e você quiser desativá-la, cancele o job atual e execute uma nova versão sem a opção de serviço enable_lineage.

    Faturamento

    O uso da linhagem de dados no Dataflow não afeta sua fatura do Dataflow, mas pode gerar cobranças adicionais na fatura do catálogo universal do Dataplex. Para mais informações, consulte Considerações sobre a linhagem de dados e Preços do Dataplex Universal Catalog.

    A seguir