Usar a qualidade de dados automática

Nesta página, descrevemos como criar uma verificação de qualidade de dados do Dataplex Universal Catalog.

Para saber mais sobre as verificações de qualidade de dados, consulte Sobre a qualidade de dados automática.

Antes de começar

1. Enable the Dataplex API.

   Enable the API

2. Opcional: se você quiser que o Catálogo Universal do Dataplex gere recomendações de regras de qualidade de dados com base nos resultados de uma verificação de perfil de dados, crie e execute a verificação.

Funções exigidas

• Para executar uma verificação de qualidade de dados em uma tabela do BigQuery, você precisa de permissão para ler a tabela e para criar um job do BigQuery no projeto usado para verificar a tabela.

• Se a tabela do BigQuery e a verificação de qualidade de dados estiverem em projetos diferentes, conceda à conta de serviço do Catálogo Universal do Dataplex do projeto que contém a verificação de qualidade de dados a permissão de leitura na tabela correspondente do BigQuery.

• Se as regras de qualidade de dados se referirem a outras tabelas, a conta de serviço do projeto de verificação precisará ter permissões de leitura nas mesmas tabelas.

• Para receber as permissões necessárias para exportar os resultados da verificação para uma tabela do BigQuery, peça ao administrador para conceder à conta de serviço do catálogo universal do Dataplex o papel do IAM de Editor de dados do BigQuery (roles/bigquery.dataEditor) no conjunto de dados e na tabela de resultados. Isso concede as seguintes permissões:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Se os dados do BigQuery estiverem organizados em um data lake do Dataplex Universal Catalog, conceda à conta de serviço do Dataplex Universal Catalog os papéis do IAM de Leitor de metadados do Dataplex (roles/dataplex.metadataReader) e Leitor do Dataplex (roles/dataplex.viewer). Como alternativa, você precisa de todas as seguintes permissões:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Se você estiver verificando uma tabela externa do BigQuery no Cloud Storage, conceda à conta de serviço do Universal Catalog do Dataplex o papel de Leitor de objetos do Storage (roles/storage.objectViewer) para o bucket. Como alternativa, atribua à conta de serviço do Dataplex Universal Catalog as seguintes permissões:

  • storage.buckets.get
  • storage.objects.get

• Se você quiser publicar os resultados da verificação de qualidade de dados como metadados do catálogo universal do Dataplex, precisará receber o papel do IAM de Editor de dados do BigQuery (roles/bigquery.dataEditor) para a tabela e a permissão dataplex.entryGroups.useDataQualityScorecardAspect no grupo de entradas @bigquery no mesmo local da tabela. Como alternativa, você precisa receber a função de editor do Dataplex Catalog (roles/dataplex.catalogEditor) para o grupo de entrada @bigquery no mesmo local da tabela.

  Como alternativa, você precisa de todas as seguintes permissões:

  • bigquery.tables.get: na mesa
  • bigquery.tables.update: na mesa
  • bigquery.tables.updateData: na mesa
  • bigquery.tables.delete: na mesa
  • dataplex.entryGroups.useDataQualityScorecardAspect no grupo de entradas @bigquery

  Ou você precisa de todas as seguintes permissões:

  • dataplex.entries.update no grupo de entradas @bigquery
  • dataplex.entryGroups.useDataQualityScorecardAspect no grupo de entradas @bigquery

• Se você precisar acessar colunas protegidas por políticas de acesso no nível da coluna do BigQuery, atribua permissões da conta de serviço do Dataplex Universal Catalog a essas colunas. O usuário que cria ou atualiza uma verificação de dados também precisa de permissões para as colunas.

• Se uma tabela tiver políticas de acesso no nível da linha do BigQuery ativadas, você só poderá verificar as linhas visíveis para a conta de serviço do Universal Catalog do Dataplex. Observação: os privilégios de acesso do usuário individual não são avaliados para políticas no nível da linha.

Funções necessárias para verificação de dados

Para usar a qualidade de dados automática, peça ao administrador para conceder a você um dos seguintes papéis do IAM:

• Acesso total aos recursos DataScan: administrador do DataScan Dataplex (roles/dataplex.dataScanAdmin)
• Para criar recursos DataScan: criador de DataScan do Dataplex (roles/dataplex.dataScanCreator) no projeto
• Acesso de gravação aos recursos DataScan: editor do DataScan Dataplex (roles/dataplex.dataScanEditor)
• Acesso de leitura aos recursos DataScan, exceto regras e resultados: Leitor do DataScan Dataplex (roles/dataplex.dataScanViewer)
• Acesso de leitura aos recursos DataScan, incluindo regras e resultados: Leitor de dados do DataScan Dataplex (roles/dataplex.dataScanDataViewer)

A tabela a seguir lista as permissões DataScan:

Definir regras de qualidade de dados

É possível definir regras de qualidade de dados usando regras integradas ou verificações SQL personalizadas. Se você estiver usando a Google Cloud CLI, poderá definir essas regras em um arquivo JSON ou YAML.

Os exemplos nas seções a seguir mostram como definir várias regras de qualidade de dados. As regras validam uma tabela de amostra que contém dados sobre transações de clientes. Suponha que a tabela tenha o seguinte esquema:

Definir regras de qualidade de dados usando tipos de regra integrados

As regras de exemplo a seguir são baseadas em tipos de regras integrados. É possível criar regras com base em tipos de regras integrados usando o console Google Cloud ou a API. O Dataplex Universal Catalog pode recomendar algumas dessas regras.

Definir regras de qualidade de dados usando regras SQL personalizadas

Para criar regras SQL personalizadas, use a seguinte estrutura:

• Ao criar uma regra que avalia uma linha por vez, crie uma expressão que gere o número de linhas bem-sucedidas quando o Dataplex Universal Catalog avaliar a consulta SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE. O Dataplex Universal Catalog verifica o número de linhas bem-sucedidas em relação ao limite.

• Ao criar uma regra que avalia as linhas ou usa uma condição de tabela, crie uma expressão que retorne sucesso ou falha quando o Dataplex Universal Catalog avaliar a consulta SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE.

• Ao criar uma regra que avalia o estado inválido de um conjunto de dados, forneça uma instrução que retorne linhas inválidas. Se alguma linha for retornada, a regra vai falhar. Omita o ponto e vírgula final da instrução SQL.

• É possível se referir a uma tabela de fonte de dados e a todos os filtros de pré-condição dela usando o parâmetro de referência de dados ${data()} em uma regra, em vez de mencionar explicitamente a tabela de origem e os filtros dela. Exemplos de filtros de pré-condição incluem filtros de linha, porcentagens de amostragem e filtros incrementais. O parâmetro ${data()} diferencia maiúsculas de minúsculas.

As regras de exemplo a seguir são baseadas em regras SQL personalizadas.

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

Definir regras de qualidade de dados usando a CLI gcloud

O exemplo de arquivo YAML a seguir usa algumas das mesmas regras dos exemplos de regras usando tipos integrados e dos exemplos de regras SQL personalizadas. Esse arquivo YAML também contém outras especificações para a verificação de qualidade de dados, como filtros e porcentagem de amostragem. Ao usar a CLI gcloud para criar ou atualizar uma verificação de qualidade de dados, é possível usar um arquivo YAML como este como entrada para o argumento --data-quality-spec-file.

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY
samplingPercent: 50
rowFilter: discount_pct > 100
postScanActions:
  bigqueryExport:
    resultsTable: projects/my_project_id/datasets/dim_dataset/tables/dim_currency
  notificationReport:
    recipients:
      emails:
      - '222larabrown@gmail.com'
      - 'cloudysanfrancisco@gmail.com'
    scoreThresholdTrigger:
      scoreThreshold: 50
    jobFailureTrigger: {}
    jobEndTrigger: {}
catalogPublishingEnabled: true

Criar uma verificação de qualidade de dados

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

Exportar esquema da tabela

Para exportar os resultados da verificação de qualidade de dados para uma tabela do BigQuery existente, verifique se ela é compatível com o seguinte esquema de tabela:

Ao configurar o BigQueryExport para um job de verificação da qualidade de dados, siga estas diretrizes:

• Para o campo resultsTable, use o formato: //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}.
• Use uma tabela padrão do BigQuery.
• Se não houver uma tabela após criar ou atualizar a verificação, o Dataplex Universal Catalog vai criar uma para você.
• Por padrão, a tabela é particionada diariamente na coluna job_start_time.
• Se você quiser que a tabela seja particionada em outras configurações ou se não quiser a partição, recrie a tabela com o esquema e as configurações necessárias e forneça a tabela pré-criada como a tabela de resultados.
• Verifique se a tabela de resultados está no mesmo local que a tabela de origem.
• Se a VPC-SC estiver configurada no projeto, a tabela de resultados precisará estar no mesmo perímetro da VPC-SC que a tabela de origem.
• Se a tabela for modificada durante a fase de execução da verificação, o job em execução atual será exportado para a tabela de resultados anterior, e a mudança na tabela entrará em vigor a partir do próximo job de verificação.
• Não modifique o esquema da tabela. Se você precisar de colunas personalizadas, crie uma visualização na tabela.
• Para reduzir custos, defina uma expiração na partição com base no seu caso de uso. Para mais informações, consulte como definir a validade da partição.

Executar uma verificação de qualidade de dados

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

Ver os resultados da verificação de qualidade de dados

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Ver resultados publicados

Se os resultados da verificação de qualidade de dados forem publicados como metadados do Catálogo Universal do Dataplex, você poderá conferir os resultados mais recentes nas páginas do BigQuery e do Catálogo Universal do Dataplex no consoleGoogle Cloud , na guia Qualidade de dados da tabela de origem.

1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

   Acesse Pesquisar

2. Pesquise e selecione a tabela.

3. Clique na guia Qualidade dos dados.

   Os resultados publicados mais recentes são mostrados.

Ver o histórico de resultados das verificações

O Dataplex Universal Catalog salva o histórico de verificação de qualidade de dados dos últimos 300 jobs ou do último ano, o que ocorrer primeiro.

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

Conceder acesso aos resultados da verificação de qualidade de dados

Para permitir que os usuários da sua organização vejam os resultados da verificação, faça o seguinte:

1. No console Google Cloud , acesse a página Criação de perfil e qualidade de dados do Universal Catalog do Dataplex.

   Acessar "Qualidade e perfilamento de dados"

2. Clique na verificação de qualidade de dados cujos resultados você quer compartilhar.

3. Clique na guia Permissões.

4. Faça o seguinte:

   • Para conceder acesso a um principal, clique em person_add Conceder acesso. Conceda o papel Leitor de dados do DataScan Dataplex ao principal associado.
   • Para remover o acesso de um principal, selecione o principal de quem você quer remover o papel Leitor de dados do DataScan do Dataplex. Clique em person_remove Remover acesso e confirme quando solicitado.

Definir alertas no Cloud Logging

Para definir alertas de falhas na qualidade dos dados usando os registros do Cloud Logging, siga estas etapas:

Consultas de exemplo para definir alertas no nível do job ou da dimensão

• Uma consulta de exemplo para definir alertas sobre falhas gerais de qualidade de dados em uma verificação de qualidade de dados:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• Uma consulta de exemplo para definir alertas sobre falhas de qualidade de dados em uma dimensão (por exemplo, unicidade) de uma determinada verificação de qualidade de dados:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• Uma consulta de exemplo para definir alertas sobre falhas na qualidade dos dados de uma tabela.

  • Defina alertas sobre falhas de qualidade de dados em uma tabela do BigQuery que não está organizada em um lake do Dataplex Universal Catalog:

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • Defina alertas sobre falhas na qualidade dos dados de uma tabela do BigQuery organizada em um lake do Dataplex Universal Catalog:

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

Exemplos de consultas para definir alertas por regra

• Uma consulta de exemplo para definir alertas em todas as regras de qualidade de dados com falha usando o nome da regra personalizada especificada para uma verificação de qualidade de dados:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• Uma consulta de exemplo para definir alertas em todas as regras de qualidade de dados com falha de um tipo de avaliação específico para uma verificação de qualidade de dados:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• Uma consulta de exemplo para definir alertas em todas as regras de qualidade de dados com falha para uma coluna na tabela usada em uma verificação de qualidade de dados:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

Resolver problemas de falha na qualidade de dados

Para cada job com regras no nível da linha que falham, o Dataplex Universal Catalog fornece uma consulta para receber os registros com falha. Execute esta consulta para conferir os registros que não corresponderam à sua regra.

Gerenciar verificações de qualidade de dados para uma tabela específica

As etapas neste documento mostram como gerenciar verificações de perfil de dados em todo o projeto usando a página Criação de perfil e qualidade de dados do Dataplex Universal Catalog no console Google Cloud .

Também é possível criar e gerenciar verificações de perfil de dados ao trabalhar com uma tabela específica. No console Google Cloud , na página do Universal Catalog do Dataplex para a tabela, use a guia Qualidade de dados. Faça o seguinte:

1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

   Acesse Pesquisar

   Pesquise e selecione a tabela.

2. Clique na guia Qualidade dos dados.

3. Dependendo de se a tabela tem uma verificação de qualidade de dados cujos resultados são publicados como metadados do Catálogo Universal do Dataplex, é possível trabalhar com as verificações de qualidade de dados da tabela das seguintes maneiras:

   • Os resultados da verificação de qualidade de dados são publicados: os resultados da verificação mais recente são mostrados na página.

     Para gerenciar as verificações da qualidade de dados dessa tabela, clique em Verificação da qualidade de dados e selecione uma das seguintes opções:

     • Criar nova verificação: crie uma verificação de qualidade de dados. Para mais informações, consulte a seção Criar uma verificação de qualidade de dados deste documento. Quando você cria uma verificação na página de detalhes de uma tabela, ela é pré-selecionada.

     • Executar agora: executa a verificação.

     • Editar configuração de verificação: edite as configurações, incluindo o nome de exibição, os filtros e a programação.

       Para editar as regras de qualidade de dados, clique na guia Qualidade de dados e depois em Regras. Clique em Modificar regras. Atualize as regras e clique em Salvar.

     • Gerenciar permissões de verificação: controle quem pode acessar os resultados da verificação. Para mais informações, consulte a seção Conceder acesso aos resultados da verificação de qualidade de dados deste documento.

     • Ver resultados históricos: confira informações detalhadas sobre jobs anteriores de verificação da qualidade de dados. Para mais informações, consulte as seções Ver resultados da verificação de qualidade de dados e Ver resultados históricos da verificação deste documento.

     • Conferir todas as verificações: veja uma lista de verificações de qualidade de dados que se aplicam a essa tabela.

   • Os resultados da verificação de qualidade de dados não são publicados: selecione uma das seguintes opções:

     • Criar verificação de qualidade de dados: crie uma nova verificação de qualidade de dados. Para mais informações, consulte a seção Criar uma verificação de qualidade de dados deste documento. Quando você cria uma verificação na página de detalhes de uma tabela, ela é pré-selecionada.

     • Conferir verificações atuais: veja uma lista de verificações de qualidade de dados que se aplicam a essa tabela.

Atualizar uma verificação de qualidade de dados

É possível editar várias configurações de uma verificação de qualidade de dados, como o nome de exibição, os filtros, a programação e as regras de qualidade de dados.

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Excluir uma verificação de qualidade de dados

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

A seguir

• Saiba mais sobre a criação do perfil dos dados.
• Saiba como usar a criação de perfil de dados.
• Siga um tutorial para gerenciar regras de qualidade de dados como código com o Terraform.