Visualizar a linhagem no Dataplex

Nesta página, descrevemos como visualizar a linhagem de dados gerada pelo seu pipelines do Cloud Data Fusion com outros movimentos de dados no Google Cloud, para fins de descoberta e governança. Você pode confira os gráficos de linhagem das fontes de dados com suporte na página do Dataplex no console ou usar a API Data Lineage para recuperar registros completos de linhagem de dados.

Antes de começar

Para ativar a visualização de gráficos de linhagem do Cloud Data Fusion na página do Dataplex no console, faça o seguinte:

1. Crie um pipeline de dados que use apenas os plug-ins compatíveis.

2. Ative a API Data Lineage no projeto que contém seu instância do Cloud Data Fusion.

3. Conceder o papel de Produtor de eventos de linhagem de dados (roles/datalineage.producer) para a conta serviço gerenciado pelo Cloud Data Fusion, a plataforma Serviço da API Fusion de operações. O processo varia se a instância for executada em uma versão anterior do O Cloud Data Fusion e o RBAC estão ativados.

   6.10+ ou nenhum controle de acesso baseado em função (RBAC)

   Se a instância do Cloud Data Fusion usar a versão 6.10.0 ou mais recente, ou sua instância usar uma versão anterior e o RBAC não estiver ativado, siga estas etapas:

   1. No console do Google Cloud, abra a página IAM.

      Acessar IAM

   2. Marque a caixa de seleção Incluir concessões de papel fornecidas pelo Google.

   3. Selecione a conta de serviço do agente de serviço da API Cloud Data Fusion e clicar edit Editar.

   4. Clique em Adicionar outro papel e selecione a função Produtor de eventos de linhagem de dados.

   5. Clique em Salvar.

   <6.10 com RBAC

   Se a instância do Cloud Data Fusion usa uma versão anterior a 6.10.0 e o controle de acesso baseado em função (RBAC) estiver ativado, a conta de serviço não aparecerá lista de principais na página do IAM. Você deve inserir o o nome da conta de serviço manualmente.

   Para conceder o papel necessário, siga estas etapas:

   1. No console do Google Cloud, abra a página IAM.

      Acessar IAM

   2. Clique em Conceder acesso.

   3. No campo Novos principais, insira a API Cloud Data Fusion Conta de serviço do agente de serviço. Use o seguinte formato: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Substitua TENANT_PROJECT_ID pelo ID de locatário da sua instância. Para acessar o ID do projeto de locatário, acesse página Instâncias e clique no nome da instância detalhes.

      Acesse "Instâncias"

   4. Selecione o papel Produtor de eventos de linhagem de dados.

   5. Clique em Salvar.

Ativar a linhagem de dados do Dataplex no Cloud Data Fusion

Para novas instâncias no Cloud Data Fusion, os dados do Dataplex é desativada por padrão. Se você criou a instância antes de 27 de janeiro, de 2024 com a versão 6.8.0 ou mais recente, ela vai ser ativada por padrão depois que etapas em Antes de começar.

Ativar a linhagem de dados do Dataplex ao criar uma instância

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Ativar ou desativar a linhagem de dados do Dataplex em uma instância atual

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Conferir gráficos de linhagem de dados

Para visualizar gráficos de linhagem de entidades em todos os serviços do Google Cloud, faça o seguinte:

1. Acesse sua instância no Cloud Data Fusion e execute um pipeline de dados que usa plug-ins compatíveis.

2. Conferir os gráficos de linhagem na página do Dataplex no console e encontre o recurso com as informações de linhagem que você quer conferir.

Limitações

A visualização da linhagem no Dataplex tem as seguintes limitações:

• A linhagem no Dataplex só é detectável se houver Entidade do BigQuery conectada aos plug-ins compatíveis. Para mais informações sobre quando os gráficos de linhagem de dados estão disponíveis, consulte Sobre a linhagem de dados.

• A API Data Lineage não oferece suporte a chaves de criptografia gerenciadas pelo cliente (CMEK).

• O Cloud Data Fusion não oferece suporte a esse recurso em me-central1 ou europe-west12 locais.

• Analise o considerações sobre a linhagem de dados.

A seguir

• Saiba mais sobre a linhagem de dados.