Visão geral da qualidade de dados automática

Este documento descreve a qualidade de dados automática do Dataplex, que permite definir e medir a qualidade dos seus dados. É possível automatizar a verificação de dados, validar dados em relação a regras definidas e registrar alertas se os dados não atenderem aos requisitos de qualidade. É possível gerenciar as regras de qualidade implantações como código, melhorando a integridade dos pipelines de produção de dados.

Para começar, use as recomendações de regras de criação de perfil de dados do Dataplex ou crie regras personalizadas no console do Google Cloud. O Dataplex fornece monitoramento, solução de problemas Alertas do Cloud Logging integrados ao Dataplex automaticamente a qualidade dos dados.

Modelo conceitual

Uma verificação de dados é um job do Dataplex que amostra dados do BigQuery e do Cloud Storage e infere vários tipos de metadados. Para medir a qualidade de uma tabela usando a qualidade de dados automática, você cria um objeto DataScan do tipo data quality. A verificação é executada em apenas uma tabela do BigQuery. A verificação usa recursos em um projeto do projeto de locatário, de modo que você não precisa precisa configurar uma infraestrutura própria.

Para criar e usar uma verificação de qualidade de dados, siga estas etapas:

1. Definir regras de qualidade de dados
2. Configurar a execução da regra
3. Analisar os resultados da verificação de qualidade de dados
4. Configurar o monitoramento e os alertas
5. Resolver falhas de qualidade de dados

Definição da regra

As regras de qualidade de dados associadas a uma verificação de qualidade de dados definem as expectativas de dados. É possível criar regras de qualidade de dados das seguintes maneiras:

• Usar recomendações da criação de perfil de dados do Dataplex
• Usar as regras predefinidas
• Criar regras SQL personalizadas

Regras predefinidas

O Dataplex oferece suporte a duas categorias de regras predefinidas: agregar.

No nível da linha

Para regras de categoria no nível da linha, a expectativa é aplicada em cada linha de dados. Cada linha passa ou falha na condição de forma independente. Por exemplo, column_A_value < 1

As verificações no nível da linha exigem que você especifique um limite de aprovação. Quando a porcentagem de linhas que atendem à regra cai abaixo do valor de limite, a regra falha.

Agregar

Para regras de agregação, a expectativa é são aplicados a um único valor agregado em todos os dados. Por exemplo, Avg(someCol) >= 10. Para ser bem-sucedida, a verificação precisa ser avaliada como true booleano. As regras agregadas não fornecem uma contagem de aprovação ou reprovação independente para cada linha.

Para as duas categorias de regras, é possível definir os seguintes parâmetros:

• A coluna à qual a regra se aplica.
• Uma dimensão de um conjunto de dimensões predefinidas.

A tabela a seguir lista os tipos de regra agregada e no nível da linha compatíveis:

Tipos de regras SQL personalizadas com suporte

As regras SQL oferecem flexibilidade para expandir a validação com lógica personalizada. Essas regras são dos seguintes tipos.

Para conferir exemplos de regras, consulte exemplos de regras de qualidade de dados automática.

Para saber quais funções SQL são compatíveis, consulte a Referência do GoogleSQL.

Dimensões

Com as dimensões, você pode agregar os resultados de várias regras de qualidade de dados para monitoramento e alertas. É necessário associar cada regra de qualidade de dados a um dimensão. O Dataplex é compatível com as seguintes dimensões:

• Atualização
• Volume
• Integridade
• Validade
• Consistência
• Precisão
• Exclusividade

Entrada digitada nas regras

Todos os parâmetros de valor são transmitidos como valores de string para a API. O Dataplex requer entradas para seguir Formato especificado do BigQuery.

Os parâmetros do tipo binário podem ser transmitidos como uma string codificada em base64.

Parâmetro de referência de dados

Ao criar uma regra SQL personalizada, você pode consultar uma tabela de fonte de dados e todas dos filtros de pré-condição usando o parâmetro de referência de dados ${data()} no a regra, em vez de mencionar explicitamente a tabela de origem e seus filtros. O Dataplex interpreta o parâmetro como uma referência à origem tabela e seus filtros. Exemplos de filtros de pré-condição incluem filtros de linha, porcentagens de amostragem e filtros incrementais.

Por exemplo, digamos que você tenha uma tabela de fonte de dados chamada my_project_id.dim_dataset.dim_currency: Você quer executar um conjunto de dados que só verifica novos dados diários. Um filtro de linha que filtra por entradas de hoje, transaction_timestamp >= current_date(), foi aplicada à tabela.

Uma regra SQL personalizada para encontrar linhas com discount_pct para hoje tem este formato:

discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())

Se você usar o parâmetro de referência de dados, poderá simplificar a regra. Substitua a menção da tabela e dos filtros de pré-condição por ${data()}:

discount_pct IN (SELECT discount_pct FROM ${data()})

O Dataplex interpreta o parâmetro ${data()} como uma referência à tabela da fonte de dados com as entradas de hoje, my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date(). Neste exemplo, o parâmetro de referência de dados se refere apenas dados.

O parâmetro ${data()} diferencia maiúsculas de minúsculas.

Quando você usa um alias em uma subconsulta para se referir a colunas na tabela de origem, use o parâmetro de referência de dados para se referir à tabela de origem ou omita a referência de tabela. Não se refira às colunas na tabela de origem usando uma referência direta de tabela na cláusula WHERE.

Recomendação:

• Use o parâmetro de referência de dados para se referir à tabela de origem:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = ${data()}.timestamp
  )
  

• Omita a referência da tabela:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = timestamp
  )
  

Não recomendado:

• Não use uma referência direta a tabelas para se referir às colunas na tabela de origem:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp
  )
  

Execução de regras

É possível programar as verificações de qualidade de dados para serem executadas em intervalos específicos ou para executar uma verificação sob demanda. Para gerenciar as verificações de qualidade de dados, você pode usar a API ou a console do Google Cloud.

Quando você executa uma verificação de qualidade de dados, o Dataplex cria um job. Como parte da especificação de uma verificação de qualidade de dados, é possível definir o escopo ser uma das seguintes opções:

Tabela completa

Cada job valida a tabela inteira.

Incremental

Cada job valida dados incrementais. Para determinar incrementos, forneça uma coluna Date / Timestamp na tabela que possa ser usada como marcador. Normalmente, essa é a coluna em que a tabela está particionada.

Filtrar dados

O Dataplex pode filtrar os dados a serem verificados quanto à qualidade deles usando uma filtro de linha. A criação de um filtro de linha permite se concentrar em dados de um período ou segmento específico, como uma determinada região. O uso de filtros pode reduzir o tempo e o custo de execução, por exemplo, filtrando dados com um carimbo de data/hora antes de uma certa data.

Dados de amostra

O Dataplex permite especificar uma porcentagem de registros dos seus dados para fazer uma verificação de qualidade de dados. Criar verificações de qualidade de dados em uma amostra menor de dados pode reduzir o tempo de execução e o custo relativo à consulta de todo o conjunto de dados.

Resultados da verificação de qualidade de dados

Os resultados das verificações de qualidade de dados estão disponíveis no Dataplex. Também é possível revisar e analisar os resultados da verificação usando os seguintes métodos:

• Exportar resultados para o BigQuery

  Você pode exportar os resultados da verificação para uma tabela do BigQuery análise. Para personalizar os relatórios, conecte o BigQuery dados de tabelas para um painel do Looker. Você pode criar um relatório agregado usando a mesma tabela de resultados em várias verificações.

• Publicar resultados no console do Google Cloud

  É possível publicar os resultados da verificação de qualidade de dados no as páginas do BigQuery e do Data Catalog na console do Google Cloud. Os resultados mais recentes da verificação estão disponíveis na Guia Qualidade de dados da tabela de origem.

• Analisar as pontuações de qualidade dos dados

  Cada resultado de verificação fornece pontuações de qualidade de dados que indicam a porcentagem de que foram aprovadas. As pontuações são informadas no nível geral da vaga, a coluna nível (se a regra for avaliada em relação a uma coluna) e o nível da dimensão. Usar os índices de qualidade de dados para normalizar a qualidade dos dados em tabelas ou colunas, monitorar tendências e identificar dados que não atendem aos requisitos de qualidade.

Para mais informações, consulte Conferir os resultados da verificação de qualidade de dados.

Monitoramento e alertas

É possível monitorar e receber alertas sobre verificações de qualidade de dados usando as seguintes opções: métodos:

• Definir alertas no Cloud Logging

  É possível monitorar os jobs de qualidade de dados usando os registros data_scan e data_quality_scan_rule_result no Explorador de registros.

  Para cada job de qualidade de dados, o registro data_scan com o campo data_scan_type definido como DATA_QUALITY contém as seguintes informações:

  • Fonte de dados usada para a verificação de dados.
  • Detalhes da execução do job, como horário de criação, início, término e estado.
  • Resultado do job de qualidade de dados: aprovado ou reprovado.
  • A dimensão foi aprovada ou reprovada.

  Cada job concluído contém um registro data_quality_scan_rule_result com as seguintes informações detalhadas sobre cada regra nesse job:

  • Informações de configuração, como nome, tipo, avaliação e dimensão da regra.
  • Informações do resultado, como aprovação ou falha, contagem total de linhas, linha de passagem contagem, contagem de linhas nulas e contagem de linhas avaliadas.

  As informações nos registros estão disponíveis na API e console do Google Cloud. Você pode usar essas informações para configurar alertas. Para mais informações, consulte Defina alertas no Logging.

• Enviar notificações por e-mail

  Você pode enviar notificações por e-mail para alertar as pessoas sobre o status e os resultados de um job de qualidade de dados. As notificações estão disponíveis para os seguintes cenários:

  • O índice de qualidade dos dados é menor do que um valor desejado especificado
  • Falha no job
  • O trabalho foi concluído

  Você configura as notificações ao criar uma verificação de qualidade de dados.

Resolver falhas de qualidade de dados

Quando uma regra falha, o Dataplex produz uma consulta para recuperar registros. Execute esta consulta para conferir os registros que não correspondem à sua regra. Para mais informações, consulte Solucionar uma falha na qualidade de dados.

Limitações

• Os resultados da verificação de qualidade de dados não são publicados no Data Catalog como .
• As recomendações de regras não são compatíveis com a CLI gcloud.
• A escolha das dimensões é fixada em uma das sete predefinidas.
• O número de regras por verificação de qualidade de dados é limitado a mil.
• As notificações por e-mail são compatíveis apenas com a CLI e a API gcloud.
• As pontuações de qualidade de dados informadas no nível da coluna são compatíveis apenas na API.

Preços

• O Dataplex usa a SKU de processamento premium para cobrar por a qualidade dos dados. Para mais informações, consulte Preços do Dataplex.

• A publicação de resultados automáticos de qualidade de dados no catálogo ainda não está disponível. Quando ele ficar disponível, o preço será o mesmo do armazenamento de metadados do catálogo. Para mais detalhes, consulte os preços.

• O processamento premium do Dataplex para qualidade de dados automática é cobrado de acordo segundo, com o mínimo de um minuto.

• Não há cobranças por verificações de qualidade de dados com falha.

• A cobrança depende do número de linhas, de colunas, da quantidade os dados verificados, a configuração da regra de qualidade de dados, as configurações de particionamento e clustering na tabela e a frequência gscan

• Há várias opções para reduzir o custo das verificações automáticas de qualidade de dados:

  • Amostragem
  • Verificações incrementais

• Para separar as cobranças de qualidade de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_QUALITY.

• Para filtrar cobranças agregadas, use os seguintes rótulos:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

A seguir

• Saiba como usar a qualidade de dados automática.
• Saiba mais sobre a criação de perfil de dados.
• Saiba como usar a criação de perfil de dados.