Criar e usar verificações de perfil de dados

Console

1. No console do Google Cloud, acesse a página Perfil.

   Acessar o perfil do Dataplex

2. Clique em Criar verificação do perfil de dados.

3. Digite um Nome de exibição.

4. Para mudar o ID de verificação gerado automaticamente, forneça o seu próprio. Consulte Convenção de nomenclatura de recursos.

5. Opcional: digite uma Descrição.

6. No campo Tabela, clique em Procurar.

7. Escolha uma tabela e clique em Selecionar.

8. No campo Escopo, escolha Incremental ou Dados inteiros.

   • Se você escolher Dados incrementais, no campo Coluna de carimbo de data/hora, faça o seguinte: selecione uma coluna do tipo DATE ou TIMESTAMP em seu do tabela do BigQuery que aumenta monotonicamente e pode ser usados para identificar novos registros. Para tabelas particionadas em uma coluna do tipo DATE ou TIMESTAMP, recomendamos usar a coluna de partição como a campo de carimbo de data/hora.

9. Para aplicar a amostragem à verificação do perfil de dados, selecione uma porcentagem de amostragem na lista Tamanho da amostragem.

   • Escolha um valor de porcentagem entre 0,0% e 100%, com no máximo 3 dígitos decimais.
   • Para conjuntos de dados maiores, escolha uma porcentagem de amostragem menor. Por exemplo: para uma tabela de ~1 PB, se você inserir um valor entre 0,1% e 1,0%, O Dataplex faz amostras entre 1 e 10 TB de dados.
   • Você precisa ter pelo menos 100 registros nos dados amostrados para retornar um resultado.
   • Para verificações de dados incrementais, o Dataplex aplica a amostragem pelo último incremento.

10. Para filtrar por linha, clique em Filtros e selecione Filtrar linhas.

    • Insira uma expressão SQL válida que possa ser usada em uma cláusula WHERE em Sintaxe SQL padrão do BigQuery. Por exemplo: col1 >= 0.

    • O filtro pode ser uma combinação de condições SQL em vários colunas. Por exemplo, col1 >= 0 AND col2 < 10.

11. Opcional: clique em Filtros. Marque a caixa de seleção Filtrar colunas.

    a. No campo Incluir colunas, clique em Procurar.

    • Especifique as colunas a serem incluídas na verificação de perfil. Selecione o colunas de sua preferência marcando as caixas e clicando em Selecionar.

    b. No campo Excluir colunas, clique em Procurar.

    • Especifique as colunas a serem excluídas da verificação de perfil. Selecione as colunas de sua preferência marcando as caixas e clicando em Selecionar.

12. Opcional: publique os resultados da verificação de perfil de dados nas páginas do BigQuery e do Data Catalog no console do Google Cloud para a tabela de origem. Clique no botão Publicar resultados na interface do catálogo do BigQuery e do Dataplex caixa de seleção.

    Os resultados da verificação mais recente podem ser acessados na guia Perfil de dados do Páginas do BigQuery e do Data Catalog para a origem tabela. Para permitir que os usuários acessem os resultados da verificação publicados, consulte Compartilhar os resultados publicados.

    A opção de publicação pode não estar disponível nos seguintes casos:

    • Você não tem as permissões necessárias na tabela.
    • Outra verificação de qualidade de dados está definida para publicar resultados.

    Para mais informações sobre as permissões necessárias para visualizar o resultados publicados, consulte Permissões.

13. Opcional: exporte os resultados da verificação para uma tabela padrão do BigQuery. Clique em Procurar para selecionar um BigQuery para armazenar os resultados da verificação do perfil de dados.

    Se a tabela especificada não existir, o Dataplex a criará para para você. Se você estiver usando uma tabela existente, verifique se ela é compatível com o esquema de tabela descrito mais adiante nesta seção.

14. Opcional: adicione rótulos. Rótulos são pares de key:value que permitem agrupar objetos relacionados entre si ou com outros recursos do Google Cloud.

15. Em Opções de programação, escolha uma das seguintes opções:

    • Repetir: execute o job de verificação de perfil de dados em uma programação: diária, semanal, mensal ou personalizada. Especifique com que frequência a verificação deve ser executada e em que horário. Se você escolher "Personalizado", use cron para especificar cronograma.

    • Sob demanda: crie a verificação do perfil de dados e execute-a a qualquer momento. usando a ação "Executar agora".

16. Clique em Criar.

gcloud

Para criar uma verificação do perfil de dados, execute o seguinte comando:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY
| --data-source-resource=DATA_SOURCE_RESOURCE

Substitua as seguintes variáveis:

• DATASCAN: o nome da verificação do perfil de dados.
• LOCATION: a região do Google Cloud em que a criação será da verificação do perfil de dados.
• DATA_SOURCE_ENTITY: o Dataplex entidade que contém os dados para a verificação do perfil de dados. Por exemplo, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
• DATA_SOURCE_RESOURCE: o nome do recurso que contém os dados para a verificação do perfil de dados. Por exemplo, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

Para argumentos opcionais, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para criar uma verificação de perfil de dados.

Console

1. No console do Google Cloud, acesse a página Perfil.

   Acessar o perfil do Dataplex

2. Clique em Criar várias verificações de perfil.

3. Digite um prefixo do ID. O Dataplex gera automaticamente IDs de verificação usando o prefixo e os sufixos exclusivos fornecidos.

4. Insira uma Descrição para todas as verificações do perfil de dados.

5. No campo Conjunto de dados, clique em Procurar. Selecione um conjunto de dados para escolher tabelas se originou. Clique em Selecionar.

6. Se o conjunto de dados for multirregional, selecione uma região para criar as verificações de perfil de dados.

7. Selecione Opções de configuração comuns:

   1. No campo Escopo, escolha Incremental ou Dados inteiros.

   2. Para aplicar amostragem às verificações do perfil de dados, na seção Tamanho da amostragem selecione uma porcentagem de amostragem.

      Escolha um valor percentual entre 0% e 100% com até três casas decimais dígitos.

   3. Para exibir os resultados de todas as verificações, selecione Publicação. É possível ver os resultados na guia Perfil dos detalhes da tabela do BigQuery ou do Data Catalog. Verifique se você tem as permissões bigquery.tables.update nas tabelas de origem.

   4. Em Opções de programação, escolha uma das seguintes opções:

      1. Repetir: execute os jobs de verificação de perfil de dados em uma programação. Especificar a frequência de execução da verificação (diária, semanal, mensal ou personalizada) e em que horário. Se você escolher personalizado, use o cron. para especificar a programação.

      2. Sob demanda: crie seus jobs de verificação de perfil de dados e os execute em a qualquer momento clicando em Executar.

8. Na opção Escolher tabelas, clique em Procurar. Escolha uma ou mais tabelas para digitalização. Clique em Selecionar.

9. Selecione Configurações adicionais:

   1. Para salvar os resultados das verificações do seu perfil de dados em um tabela do BigQuery de sua preferência, escolha uma tabela Exportar os resultados da verificação para a tabela do BigQuery O Dataplex copia e salva automaticamente os resultados nessa tabela para cada job de verificação.

      1. Clique em Procurar para selecionar um conjunto de dados.

      2. Insira uma tabela do BigQuery na qual salvar os resultados. Ela pode ser uma tabela existente, usada por outras verificações de perfil de dados do Dataplex para salvar resultados. Se não houver uma tabela com essa o nome especificado, o Dataplex cria a tabela.

   2. Adicione rótulos para fazer anotações na verificação do perfil de dados.

10. Clique em Executar verificação para criar e executar todas as verificações. Essa opção está disponível apenas para verificações sob demanda.

11. Clique em Criar para gerar todas as verificações.

gcloud

Incompatível.

REST

Incompatível.

Console

1. No console do Google Cloud, acesse o Dataplex Perfil. Acessar o perfil
2. Clique na verificação do perfil de dados para executar.
3. Clique em Executar agora.

gcloud

Para fazer uma verificação do perfil de dados, execute o seguinte comando:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Substitua as seguintes variáveis:

• DATASCAN: o nome da verificação do perfil de dados.
• LOCATION: a região do Google Cloud em que o a verificação do perfil de dados foi criada.

Para argumentos opcionais, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para executar a verificação do perfil de dados.

Console

Todas as verificações de perfil de dados que você criar aparecem na página Perfil.

Para ver os resultados detalhados de uma verificação, clique no nome dela.

• A seção Visão geral mostra as execuções de verificação, o tempo de cada execução, o número de registros de tabela verificados e o status do job.

• A seção Configuração da verificação de perfil contém detalhes sobre a verificação.

gcloud

Para ver os resultados de um job de verificação do perfil de dados, execute o seguinte comando:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Substitua as seguintes variáveis:

• JOB: o ID do job de verificação do perfil de dados.
• LOCATION: a região do Google Cloud em que o a verificação do perfil de dados foi criada.
• DATASCAN: o nome da verificação do perfil de dados a qual vaga pertence.
• --view=FULL: para ver o resultado do job de verificação, especifique FULL.

Para argumentos opcionais, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para ver os resultados de uma verificação de perfil de dados.

Console

A guia Resultados mais recentes do job, quando há pelo menos um resultado execução concluída, fornece informações sobre o job mais recente. Ele lista os dados as colunas da tabela e as estatísticas sobre as colunas encontradas na verificação.

gcloud

Para conferir a verificação de perfil de dados mais recente, execute o seguinte comando:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Substitua as seguintes variáveis:

• DATASCAN: o nome da verificação do perfil de dados a ser visualizada o trabalho mais recente.
• LOCATION: a região do Google Cloud em que os dados a verificação de perfil foi criada.
• --view=FULL: para ver o resultado do job de verificação, especifique FULL.

Para argumentos opcionais, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para visualizar o job de verificação mais recente.

Console

A guia Histórico de jobs mostra informações sobre jobs anteriores. Ela lista todos os jobs, o número de registros verificados em cada job, o status, o tempo de execução e muito mais.

Para visualizar as informações detalhadas de um job, clique em qualquer um dos jobs em ID do job.

gcloud

Para conferir todos os jobs de uma verificação de perfil de dados, execute o seguinte comando:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Substitua as seguintes variáveis:

• LOCATION: a região do Google Cloud em que a verificação de perfil de dados foi criada.
• DATASCAN: o nome da verificação do perfil de dados para conferir todos os trabalhos.

Para argumentos opcionais, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para ver todos os jobs de verificação.

Console

1. No console do Google Cloud, acesse a página Perfil.

   Acessar o perfil do Dataplex

2. Na linha com a verificação que você quer editar, clique em more_vert > Editar.

3. Edite os valores.

4. Clique em Salvar.

gcloud

Para atualizar uma verificação de perfil de dados, execute o seguinte comando:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Substitua as seguintes variáveis:

• DATASCAN: o nome da verificação do perfil de dados a ser atualizado.
• LOCATION: a região do Google Cloud em que os dados a verificação de perfil foi criada.
• DESCRIPTION: a nova descrição dos dados. verificação de perfil.

Para campos de especificação a serem atualizados, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para editar uma verificação de perfil de dados.

Console

1. No console do Google Cloud, acesse a página Perfil. Acesse Perfil do Dataplex.

2. Clique na verificação que você quer excluir.

3. Clique em Excluir.

gcloud

Para excluir uma verificação de perfil de dados, execute o seguinte comando:

gcloud dataplex datascans delete \
DATASCAN --location=LOCATION \
--async

Substitua as seguintes variáveis:

• DATASCAN: o nome da verificação do perfil de dados para excluir.
• LOCATION: a região do Google Cloud em que os dados a verificação de perfil foi criada.

Para argumentos opcionais, consulte a referência da CLI gcloud.

REST

Use o APIs Explorer para excluir a verificação do perfil de dados.