Descobrir e catalogar dados do Cloud Storage

Este documento explica como usar a descoberta automática do Catálogo Universal do Dataplex, um recurso do BigQuery que permite verificar dados em buckets do Cloud Storage para extrair e catalogar metadados. Como parte da verificação de descoberta, a descoberta automática cria tabelas externas ou do BigLake para dados estruturados e tabelas de objetos para dados não estruturados. Esses dados centralizados facilitam insights, segurança e governança de dados com tecnologia de IA.

Para usar a descoberta automática de dados do Cloud Storage, crie e execute uma verificação de descoberta.

Visão geral da verificação de descoberta

Uma verificação de descoberta faz o seguinte:

• Verifica os dados no bucket ou caminho do Cloud Storage.
• Agrupa dados estruturados e semiestruturados em tabelas.
• Coleta metadados, como nome da tabela, esquema e definição de partição.
• Cria e atualiza tabelas do BigLake, externas ou de objetos no BigQuery usando o esquema e a definição de partição.

Para dados não estruturados, como imagens e vídeos, a verificação de descoberta detecta e registra grupos de arquivos que compartilham o mesmo tipo de mídia das tabelas de objetos do BigLake. Por exemplo, se gs://images/group1 contiver imagens GIF e gs://images/group2 contiver imagens JPEG, a verificação de descoberta vai detectar e registrar dois conjuntos de arquivos.

Para dados estruturados, como Avro, a verificação de descoberta registra grupos de arquivos como tabelas externas do BigLake e detecta arquivos apenas se eles estiverem localizados em pastas que contêm o mesmo formato de dados e esquema compatível.

A verificação de descoberta é compatível com os seguintes formatos de dados estruturados e semiestruturados:

• Parquet
• Avro
• ORC
• JSON (apenas o formato delimitado por nova linha)
• CSV (mas não arquivos CSV com linhas de comentários)

A verificação de descoberta é compatível com os seguintes formatos de compactação para dados estruturados e semiestruturados:

• Compactação interna para os seguintes formatos:

  Compactação	Exemplo de extensão de arquivo	Formato aceito
  gzip	.gz.parquet	Parquet
  lz4	.lz4.parquet	Parquet
  Snappy	.snappy.parquet	Parquet, ORC, Avro
  lzo	.lzo.parquet	Parquet, ORC

• Compactação externa para arquivos JSON e CSV:

  • gzip
  • bzip2

Para saber o limite de tabelas que uma verificação de descoberta pode processar, consulte Cotas e limites.

As tabelas descobertas são registradas no BigQuery como tabelas externas do BigLake, tabelas de objetos do BigLake ou tabelas externas. Isso disponibiliza os dados para análise no BigQuery. O armazenamento em cache de metadados para tabelas do BigLake e de objetos também está ativado. Todas as tabelas do BigLake são ingeridas automaticamente no Dataplex Universal Catalog para pesquisa e descoberta.

Antes de começar

Enable the Dataplex API.

Enable the API

Papéis necessários para a conta de serviço do Dataplex Universal Catalog

Antes de começar, atribua as permissões do IAM à conta de serviço do Dataplex Universal Catalog no seu projeto.

  service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com
  

Substitua PROJECT_NUMBER pelo projeto em que a API Dataplex está ativada.

Para garantir que a conta de serviço do Dataplex tenha as permissões necessárias para criar e executar uma verificação de descoberta, peça ao administrador para conceder a ela os seguintes papéis do IAM:

• Agente de serviço do Dataplex Discovery (roles/dataplex.discoveryServiceAgent) no bucket de armazenamento
• Agente de serviço de publicação do Dataplex Discovery (roles/dataplex.discoveryPublishingServiceAgent) no projeto do usuário
• Criar tabelas do BigLake: Agente de serviço de publicação do BigLake do Dataplex Discovery (roles/dataplex.discoveryBigLakePublishingServiceAgent) na conexão do BigQuery

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar e executar uma verificação de descoberta. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

O administrador também pode conceder essas permissões à conta de serviço do Dataplex com papéis personalizados ou outros papéis predefinidos.

Papéis obrigatórios para a conta de serviço de conexão do BigQuery

Para garantir que a conta de serviço de conexão do BigQuery tenha as permissões necessárias para criar uma verificação de descoberta, peça ao administrador para conceder a ela o papel do IAM de Agente de serviço de descoberta do Dataplex (roles/dataplex.discoveryServiceAgent) no bucket do Cloud Storage.

Esse papel predefinido contém as permissões necessárias para criar uma verificação de descoberta. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

O administrador também pode conceder essas permissões à conta de serviço do BigQuery Connection com papéis personalizados ou outros papéis predefinidos.

Funções necessárias para usuários finais

Para receber as permissões necessárias para criar e gerenciar verificações de descoberta de dados, peça ao administrador para conceder a você os seguintes papéis do IAM no bucket do Cloud Storage:

• Acesso total aos recursos do DataScan: Administrador do DataScan Dataplex (roles/dataplex.dataScanAdmin): seu projeto
• Acesso de gravação aos recursos do DataScan: Editor do DataScan Dataplex (roles/dataplex.dataScanEditor): seu projeto
• Acesso de leitura aos recursos do DataScan, exceto os resultados: Leitor do DataScan Dataplex (roles/dataplex.dataScanViewer): seu projeto
• Acesso de leitura aos recursos do DataScan, incluindo os resultados: Leitor de dados do DataScan Dataplex (roles/dataplex.dataScanDataViewer): seu projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar e gerenciar verificações de descoberta de dados. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma verificação de descoberta

Para descobrir dados, crie e execute uma verificação de descoberta. É possível definir uma programação para a verificação ou executá-la sob demanda.

Quando a verificação de descoberta é executada, ela cria um novo conjunto de dados no BigQuery que corresponde ao bucket do Cloud Storage verificado. O nome do conjunto de dados do BigQuery é o mesmo do bucket do Cloud Storage. Os caracteres inválidos no nome do bucket são substituídos por um sublinhado. Se o nome do conjunto de dados não estiver disponível, um sufixo será anexado (por exemplo, _discovered_001). O conjunto de dados contém as tabelas externas do BigLake ou não BigLake que foram criadas pela verificação de descoberta para análise posterior.

gcloud dataplex datascans create data-discovery --location=LOCATION
--data-source-resource=BUCKET_PATH

Consultar tabelas publicadas do BigLake

Depois de executar a verificação de descoberta, as tabelas do BigLake são publicadas em um novo conjunto de dados no BigQuery. As tabelas ficam disponíveis para análise no BigQuery usando SQL ou no Dataproc usando Apache Spark ou HiveQL.

Gerenciar tabelas publicadas do BigLake

As tabelas publicadas do BigLake são criadas e gerenciadas no BigQuery pela verificação de descoberta. Por padrão, a verificação de descoberta processa a descoberta de novos dados, as inferências e a evolução de esquema sempre que as verificações programadas ou sob demanda são executadas. Para indicar que os metadados são gerenciados pela verificação, ela publica tabelas com o rótulo metadata-managed-mode definido como discovery-managed.

Se você quiser gerenciar o esquema e outros metadados, como opções de CSV ou JSON, defina o rótulo metadata-managed-mode como user_managed. Assim, o esquema permanece inalterado quando a próxima verificação de descoberta é executada. Essa abordagem pode ser útil em cenários em que o esquema inferido pela verificação de descoberta está incorreto ou é diferente do esperado para uma determinada tabela. Quando o rótulo metadata-managed-mode é definido como user_managed, o custo pode ser reduzido.

Para atualizar o rótulo, edite o valor da chave de rótulo metadata-managed-mode para user_managed em vez de discovery-managed. Nesse caso, a verificação de descoberta não atualiza o esquema da tabela enquanto o rótulo user_managed estiver anexado a ela.

Atualizar tabelas publicadas do BigLake

Para tabelas do BigLake publicadas usando os jobs de verificação de descoberta com a configuração padrão, o esquema e outros metadados são atualizados automaticamente a cada execução do job de verificação de descoberta na frequência programada.

Para atualizar uma tabela do BigLake publicada, siga estas etapas:

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. Atualize uma ou mais propriedades da tabela.

3. No painel Explorer, expanda o projeto e o conjunto de dados e selecione a tabela.

4. Na guia Detalhes, na seção Marcadores, verifique se o marcador metadata-managed-mode está definido como user_managed. Se ele estiver definido com um valor diferente, siga estas etapas:

   1. Clique em edit Editar detalhes.

   2. Ao lado da chave metadata-managed-mode, no campo valor, insira user_managed.

Excluir tabelas publicadas do BigLake

Para excluir uma tabela publicada do BigLake, siga estas etapas:

1. Exclua os arquivos de dados da tabela no bucket do Cloud Storage.

2. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

3. No painel Explorer, expanda o projeto e o conjunto de dados e selecione a tabela.

4. No painel Detalhes, na seção Marcadores, verifique se o marcador metadata-managed-mode não está definido como user_managed. Se estiver definido como user_managed, siga estas etapas:

   1. Clique em Editar detalhes edit.

   2. Ao lado da chave metadata-managed-mode, no campo valor, insira discovery-managed.

5. Clique em Executar. A verificação de descoberta é executada sob demanda.

Depois que a verificação de descoberta é executada, a tabela do BigLake é excluída no BigQuery e não fica disponível para listagem ou consulta pelo Spark.

Executar uma verificação de descoberta sob demanda

Para executar uma verificação de descoberta sob demanda, selecione uma das seguintes opções.

gcloud dataplex datascans run DATASCAN \
  --location=LOCATION

Listar verificações de descoberta

Para listar suas verificações de descoberta, selecione uma das seguintes opções.

gcloud dataplex datascans list --location=LOCATION --project=PROJECT_ID

Ver uma verificação de descoberta

Para conferir uma verificação de descoberta, selecione uma das seguintes opções:

gcloud dataplex datascans jobs describe JOB \
    --location=LOCATION \
    --datascan=DATASCAN \
    --view=FULL

Conferir resultados históricos da verificação de descoberta

Para conferir os resultados históricos da verificação de descoberta, selecione uma das seguintes opções:

gcloud dataplex datascans jobs list \
    --location=LOCATION \
    --datascan=DATASCAN

Atualizar uma verificação de descoberta

Para mudar a programação de uma verificação de descoberta, por exemplo, de sob demanda para recorrente, atualize a verificação.

gcloud dataplex datascans update data-discovery SCAN_ID --location=LOCATION --description=DESCRIPTION

Excluir uma verificação de descoberta

Para excluir uma verificação de descoberta, selecione uma das seguintes opções:

gcloud dataplex datascans delete SCAN_ID --location=LOCATION --async