Usar a linhagem de dados com os sistemas do Google Cloud

A linhagem de dados mostra as relações entre as recursos e os processos que os criaram. Você pode consultar informações de linhagem de dados na forma de uma visualização de gráfico ou no console do Google Cloud ou recupere-a no a API Data Lineage na forma de dados JSON.

A linhagem é capturada entre projetos. Quando você visualiza a linhagem que é gerada de vários projetos, é possível visualizar as informações de linhagem agregadas em qualquer dos projetos relevantes.

Papéis e permissões

Para acessar informações de linhagem, peça ao administrador para conceder a você funções de leitor conforme descrito nas Papéis de linhagem de dados predefinidos. Você precisa ter acesso no projeto em que visualiza a linhagem e no projetos em que a linhagem é registrada.

O Data Catalog rastreia informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de nenhuma função de administrador ou editor para capturar a linhagem do seu recursos de dados.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível superior de pasta ou organização (consulte Conceder ou revogar um único papel).

Ativar a linhagem de dados

Ative a linhagem de dados para começar a rastrear automaticamente a linhagem informações para sistemas com suporte. Ative a API Data Lineage no projeto em que visualiza linhagem e os projetos em que a linhagem é registrada. Para mais informações, consulte Tipos de projeto.

  1. Para capturar informações de linhagem, faça o seguinte:

    1. No console do Google Cloud, no Seletor de projetos selecione o projeto em que a linhagem será registrada.

      Acessar o Seletor de projetos

    2. Ativar a API Data Lineage.

      Ativar a API Data Lineage

    3. Repita as etapas anteriores para cada projeto em que você quer de registro da linhagem.
  2. No projeto em que você visualiza a linhagem, ative a API Data Lineage. e a API Data Catalog.

    Ativar as APIs

Conferir a linhagem na interface do Dataplex

É possível conferir informações de linhagem de dados na interface do Dataplex na forma de um gráfico ou uma lista.

Os gráficos de linhagem representam informações coletadas pela API Data Lineage para um entrada específica.

Um exemplo de gráfico mostra dados de duas tabelas sendo transformadas e depois mescladas.
Figura 1. Exemplo de um gráfico de visualização de linhagem na interface do Dataplex.
.

A visualização em lista de linhagem (Prévia) é exibida. informações de linhagem detalhadas para entidades em uma única que inclui informações de linhagem para entidades com muitas conexões.

Para conferir a linhagem, siga estas instruções:

  1. Abra a página de pesquisa do Dataplex e encontre o recurso você quer conferir as informações de linhagem.

    Abrir a página de pesquisa do Dataplex

    Para mais informações, consulte Como pesquisar recursos de dados.

  2. Na página de detalhes da entrada, selecione a guia Linhagem.

  3. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

  4. Para visualizar informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

  5. Para ver a linhagem na visualização em lista em vez da visualização em gráfico, clique em Lista.

Conferir a linhagem na interface do BigQuery

É possível visualizar informações de linhagem de dados na interface do BigQuery na forma de um gráfico ou uma lista (Visualização).

Para conferir a linhagem, siga estas instruções:

  1. No Console do Google Cloud, acesse a página BigQuery.

    Abrir a página do BigQuery

  2. Abra a tabela que contém a linhagem de dados que você quer conferir.

  3. Clique na guia Linhagem.

  4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

  5. Para visualizar informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

  6. Para ver a linhagem na visualização em lista em vez da visualização em gráfico, clique em Lista.

Conferir a linhagem na interface da Vertex AI

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir informações de linhagem de dados no a interface da Vertex AI na forma de um gráfico ou uma lista (Prévia).

Conferir a linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir a linhagem de um conjunto de dados, siga estas instruções:

  1. No console do Google Cloud, acesse a página Conjuntos de dados.

    Abrir a página "Conjuntos de dados"

  2. Clique no conjunto de dados que contém a linhagem de dados que você quer conferir.

  3. Clique na guia Linhagem.

  4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

  5. Para visualizar informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

  6. Para ver a linhagem na visualização em lista em vez da visualização em gráfico, clique em Lista.

.

Conferir a linhagem de um modelo na Vertex AI

Para conferir a linhagem de um modelo, siga estas instruções:

  1. No Console do Google Cloud, acesse a página Registro do modelo..

    Abrir a página Model Registry

  2. Clique no modelo com a linhagem de dados que você quer conferir.

  3. Clique na guia Linhagem.

  4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

  5. Para visualizar informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

  6. Para ver a linhagem na visualização em lista em vez da visualização em gráfico, clique em Lista.

.

A seguir