Nesta página, mostramos como resolver problemas com a linhagem de dados do Data Catalog.
Tipos de projeto
Como os recursos de dados podem residir em projetos diferentes, veja um resumo dos possíveis projetos e seus nomes de recursos.
Projeto de armazenamento do BigQuery
Esse projeto armazena seus recursos de dados do BigQuery.
Ele pode ser encontrado nos detalhes do recurso como parte de Table ID
, antes do primeiro ponto.
Projeto do Compute
Esse projeto armazena os metadados da linhagem de dados. Para o BigQuery, é aqui que você executa um job. Se você executar um job na interface, poderá encontrar o nome do projeto de computação no seletor de projetos:
Ao enviar solicitações para a API BigQuery, especifique o projeto de computação no URL, por exemplo:
POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
"configuration": {
"query": {
"useLegacySql": false,
"query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
}
},
"jobReference": {
"projectId": "docs-compute",
"jobId": "docs-compute-job-id",
"location": "us",
}
}
Projeto ativo
Este é o projeto em que você está visualizando a linhagem de dados. O console do Google Cloud mostra o projeto ativo no seletor de projetos. Se você estiver usando a API, o projeto ativo é aquele em que você está fazendo chamadas de API.
A linhagem de dados do BigQuery não aparece
O problema a seguir ocorre após a execução de um job do BigQuery. Nesse caso, o problema pode ser causado por três cenários:
- A API Data Lineage está desativada no projeto ativo ou no projeto de computação.
- Você não tem o Visualizador de linhagem de dados (
roles/datalineage.viewer
) no projeto ativo ou no projeto computação. - A linhagem de dados ainda não chegou. Dependendo do volume e da complexidade dos dados processados, a exibição da linhagem de dados pode levar de 30 minutos a 24 horas.
Se a mensagem "A busca da linhagem falhou devido à ausência de permissões" aparecer na parte de baixo da página, você não tem permissões no projeto ativo. Caso contrário, você não terá as permissões necessárias no projeto de computação.
Para resolver esse problema, primeiro verifique se a API Data Lineage está ativada para o projeto de computação. Depois de ativar a API, você precisa executar um job para conferir a linhagem de dados. Dependendo do volume e da complexidade dos dados processados, a exibição da linhagem de dados pode levar de 30 minutos a 24 horas.
Em seguida, verifique se a API Data Lineage está ativada para o projeto ativo. Depois de ativar a API, se você tiver as permissões necessárias (confira abaixo), a linhagem vai aparecer.
Quando a API Data Lineage foi ativada, conceda
o Leitor da linhagem de dados (roles/datalineage.viewer
)
no projeto ativo
e no compute.
Os metadados do processo do BigQuery não são exibidos
Descrição do problema
O problema a seguir ocorre quando você abre o painel de detalhes da tabela, que não
mostra todos os detalhes, como a instrução SQL ou a propriedade Process type
.
Isso acontece mesmo que a linhagem de dados seja mostrada corretamente.
Isso pode acontecer quando você não tem permissão para ver metadados na projeto de computação.
Exemplo:
- Tabela de origem do BigQuery:
docs-source.dataset.source-001
- Tabela de destino do BigQuery:
docs-target.dataset.target-001
- Linhagem de dados entre
docs-source.dataset.source-001
edocs-target.dataset.target-001
no projeto de computaçãodocs-compute
- Você tem o Leitor de linhagem de dados.
para active
e computação
docs-compute
em projetos.
Clique nos detalhes do processo do BigQuery para exibir a seguinte mensagem:
You don't have permission to view BigQuery process metadata in project X.
No console do Google Cloud:
Para resolver o problema, conceda a permissão bigquery.jobs.get
ao usuário
Por exemplo, incluído no Leitor de recursos do BigQuery
) no projeto de computação.
Os detalhes da tabela do BigQuery não são exibidos
O problema a seguir ocorre quando você abre o painel de detalhes da tabela, que mostra apenas a propriedade "Nome totalmente qualificado". Isso acontece mesmo que a linhagem de dados seja mostrada corretamente. Isso pode acontecer quando você não tem todas as permissões necessárias no arquivo projetos de armazenamento.
Exemplo:
- Tabela do BigQuery
docs-source.dataset.source-001
, - Tabela do BigQuery
docs-target.dataset.target-001
, - linhagem de dados entre
docs-source.dataset.source-001
edocs-target.dataset.target-001
com projeto do Computedocs-compute
, - Usuário com Leitor de linhagem de dados
para o papel ativo
e computação
docs-compute
em projetos.
Nesse caso, ao clicar nos detalhes do nó do BigQuery, aparece uma mensagem
Entry with this fully qualified name is not available in the Data Catalog
:
Para resolver o problema, conceda ao usuário as permissões bigquery.tables.get
Por exemplo, incluído no Leitor de dados do BigQuery
papel) no projeto de armazenamento.