Marcar tabelas no Data Catalog com base em insights dos perfis de dados

Esta página descreve como aplicar automaticamente tags do Data Catalog a tabelas do BigQuery depois que a proteção de dados sensíveis cria perfis dessas tabelas. Esta página também fornece exemplos de consultas que podem ser usadas para encontrar dados marcados em toda a organização e nos projetos.

Esse recurso é útil se você quiser enriquecer os metadados selecionados manualmente no Dataplex Universal Catalog com insights coletados dos perfis de dados da Proteção de dados sensíveis. As tags geradas incluem os seguintes insights:

  • Tipos de informações (infoTypes) detectados nas colunas da tabela
  • Nível de sensibilidade calculado da tabela
  • Nível de risco de dados calculado da tabela

Os insights dos perfis de dados da Proteção de Dados Sensíveis ajudam você a usar o Catálogo universal do Dataplex para descobrir dados sensíveis e de alto risco na sua organização. Use esses insights para tomar decisões fundamentadas sobre como gerenciar e governar seus dados.

Se você quiser enviar os resultados de jobs de inspeção (não operações de criação de perfil de dados) para o Dataplex Universal Catalog, consulte Enviar resultados de inspeção da Proteção de dados sensíveis para o Data Catalog.

Sobre os perfis de dados

É possível configurar a Proteção de dados sensíveis para gerar automaticamente perfis sobre dados em uma organização, pasta ou projeto. Os perfis de dados contêm métricas e metadados sobre seus dados e ajudam a determinar onde os dados sensíveis e de alto risco residem. A Proteção de dados sensíveis informa essas métricas em vários níveis de detalhes. Para informações sobre os tipos de dados que podem ser analisados, consulte Recursos compatíveis.

Sobre o Dataplex Universal Catalog e o Data Catalog

O Dataplex Universal Catalog é um serviço que unifica dados distribuídos e automatiza o gerenciamento e a governança desses dados. Google Cloud O Data Catalog (descontinuado) é um serviço de gerenciamento de metadados totalmente gerenciado e escalonável.

Com o Data Catalog, é possível usar tags e modelos de tag para anexar metadados comerciais aos seus dados. Depois, é possível pesquisar e gerenciar todos os metadados da organização ou do projeto em um serviço unificado. Para mais informações, consulte Tags e modelos de tag.

Como funciona

Se a configuração de verificação de descoberta tiver a ação Enviar ao Dataplex como tags ativada, a Proteção de Dados Sensíveis fará o seguinte sempre que criar um perfil dos seus dados. Essa ação só é aplicada a perfis novos e atualizados. Os perfis que não forem atualizados não serão enviados para o Catálogo Universal do Dataplex.

  1. Cria um modelo de tag privada que contém o esquema das tags que serão anexadas às tabelas do BigQuery. Para informações sobre o nome, ID e local do modelo de tag, consulte Detalhes do modelo de tag.

    Somente principais com as funções e permissões adequadas podem acessar o modelo de tag.

  2. Cria uma tag para cada tabela do BigQuery que você cria um perfil. A tag é baseada no modelo de tag recém-criado.

    Por exemplo, uma tag resultante anexada a uma tabela pode ter os seguintes metadados:

    Nome de exibição Valor
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Uma tabela tem duas tags se foi criada usando os dois métodos a seguir:

  • Uma configuração de verificação no nível da organização ou da pasta
  • Uma configuração de verificação no nível do projeto

Depois que as tabelas forem rotuladas, você poderá pesquisar no Dataplex Universal Catalog todos os dados da sua organização ou projeto com valores de tag específicos.

Detalhes do modelo de tag

O nome e o ID do modelo, além do projeto em que o novo modelo de tag é armazenado, dependem do recurso a que a configuração de verificação se refere.

  • Se a configuração de verificação for no nível da organização ou da pasta, o modelo de tag será armazenado no contêiner do agente de serviço. O nome do modelo de tag é Sensitive Data Profile. O ID do modelo é sensitive_data_profile.
  • Se a configuração de verificação for no nível do projeto, o modelo de tag será armazenado no projeto a ser analisado. O nome do modelo de tag é Sensitive Data Profile (Project). O ID do modelo é sensitive_data_profile_project.

Preços

Para saber como outros serviços do Google Cloud podem cobrar pela exportação de perfis de dados, consulte Preços de exportação de perfis de dados.

Marcar automaticamente tabelas do BigQuery com base em perfis de dados

  1. Crie uma configuração de verificação. Como alternativa, edite uma configuração de verificação existente.

  2. Na etapa Adicionar ações, verifique se a opção Enviar para o Dataplex como tags está ativada.

    • Se você estiver criando uma configuração de verificação, essa ação será ativada por padrão.
    • Se você estiver editando uma configuração de verificação, ative essa ação.

Depois que os dados forem criados e rotulados, você poderá começar a pesquisar dados rotulados no Dataplex Universal Catalog.

Funções e permissões para visualizar tags

Os resultados da pesquisa do Dataplex Universal Catalog mostram apenas os dados a que você tem acesso. Você precisa das seguintes permissões ou papéis do Identity and Access Management (IAM) para pesquisar as tags anexadas às suas tabelas do BigQuery.

Finalidade Papel predefinido Permissões relevantes
Ver o modelo de tag particular Leitor de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Ver as tags aplicadas às tabelas do BigQuery Leitor de metadados do BigQuery (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Para mais informações sobre os papéis do Dataplex Universal Catalog, consulte Papéis para visualizar tags públicas e privadas.

Para informações sobre como conceder um papel predefinido, consulte Conceder um único papel. Se você quiser usar um papel personalizado em vez de um predefinido, verifique se ele tem as permissões relevantes. Para mais informações, consulte Criar um papel personalizado.

Encontrar o modelo de tag gerado

  1. No console Google Cloud , acesse a página Modelos de tag do Universal Catalog do Dataplex.

    Acesse Modelos de tag

  2. Na lista, encontre o modelo de tag. Para informações sobre o nome, ID e local do modelo de tag, consulte Detalhes do modelo de tag.

  3. Opcional: para encontrar o modelo de tag gerado por uma determinada configuração de verificação de descoberta, insira o seguinte no campo Filtro:

    name:PROJECT_ID.TAG_TEMPLATE_ID

    Substitua:

    • PROJECT_ID: o ID do projeto associado à configuração de verificação. Se você criou o perfil dos seus dados no nível da organização ou da pasta, insira o ID do projeto do contêiner do agente de serviço.
    • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.

Encontrar a tag gerada para um determinado perfil de dados de tabela

  1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

    Acesse Pesquisar

  2. No campo Pesquisar, digite o seguinte:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID

    Substitua:

    • TABLE_ID: o ID da tabela que foi analisada.
    • PROJECT_ID: o ID do projeto que contém o modelo de tag. Se você criou o perfil dos seus dados no nível da organização ou da pasta, insira o ID do projeto do contêiner do agente de serviço.
    • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.

  3. Na lista que aparece, clique no ID da tabela. Os detalhes da tabela do BigQuery aparecem junto com as tags Sensitive Data Profile ou Sensitive Data Profile (Project) anexadas a ela.

    Uma tabela tem duas tags se foi criada usando os dois métodos a seguir:

    • Uma configuração de verificação no nível da organização ou da pasta
    • Uma configuração de verificação no nível do projeto

Para informações sobre como realizar uma pesquisa usando a API do Data Catalog, consulte Como pesquisar recursos de dados.

Exemplo de consultas de pesquisa

Esta seção fornece exemplos de consultas de pesquisa que podem ser usadas no Dataplex Universal Catalog para encontrar dados na sua organização ou projeto com valores de tag específicos.

Você só pode encontrar os dados a que tem acesso. O acesso aos dados é controlado por permissões do IAM. Para mais informações, consulte Papéis e permissões para visualizar tags nesta página.

É possível inserir essas consultas na página Pesquisa do Universal Catalog do Dataplex no console Google Cloud .

Acesse Pesquisar

Para saber como formar as consultas, consulte Sintaxe de pesquisa do Data Catalog. Para saber como fazer uma pesquisa usando a API Data Catalog, consulte Como pesquisar recursos de dados.

Encontrar todas as tabelas marcadas com o novo modelo de tag

tag:PROJECT_ID.TAG_TEMPLATE_ID

Substitua:

  • PROJECT_ID: o ID do projeto que contém o modelo de tag. Se você criou o perfil dos seus dados no nível da organização ou da pasta, insira o ID do projeto do contêiner do agente de serviço.
  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.

Os exemplos a seguir nesta página não incluem o ID do projeto. Por isso, você pode receber resultados associados a várias configurações de verificação de descoberta. Para limitar os resultados a uma configuração de verificação específica, adicione o ID do projeto à consulta, conforme mostrado neste exemplo.

Encontrar todas as tabelas que foram criadas pela última vez antes de uma determinada data

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • DATE: uma data no formato YYYY-MM-DD, por exemplo, 2023-01-15.

Encontrar todas as tabelas com uma determinada pontuação de sensibilidade no nível da tabela

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • SENSITIVITY_SCORE: um de HIGH, MODERATE ou LOW.

Para mais informações, consulte Níveis de risco e sensibilidade de dados.

Encontrar todas as tabelas com um determinado nível de risco de dados

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • DATA_RISK_LEVEL: um de HIGH, MODERATE ou LOW.

Para mais informações, consulte Níveis de risco e sensibilidade de dados.

Encontrar todas as tabelas que contêm um determinado infoType previsto

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • INFOTYPE: o infoType. Por exemplo, PERSON_NAME.

Para uma lista de todos os infoTypes integrados, consulte Referência de detectores de infoType.

Para mais informações, consulte Predicted infoType na referência de métricas.

Encontrar todas as tabelas que contêm parcialmente um determinado infoType

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • INFOTYPE: o infoType. Por exemplo, PERSON_NAME.

Para uma lista de todos os infoTypes integrados, consulte Referência de detectores de infoType.

Para mais informações, consulte Outros infoTypes na referência de métricas.

Encontrar todas as tabelas que contêm uma determinada coluna com um infoType previsto

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • COLUMN_NAME: o nome da coluna na tabela do BigQuery.
  • INFOTYPE: o infoType. Por exemplo, PERSON_NAME.

Para uma lista de todos os infoTypes integrados, consulte Referência de detectores de infoType.

Para mais informações, consulte Predicted infoType na referência de métricas.

Encontrar todas as tabelas que contêm uma determinada coluna com uma determinada pontuação de sensibilidade no nível da coluna

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração de verificação for de uma organização ou pasta; sensitive_data_profile_project se a configuração de verificação for de um projeto.
  • COLUMN_NAME: o nome da coluna na tabela do BigQuery.
  • SENSITIVITY_SCORE: um de HIGH, MODERATE ou LOW.

Para mais informações, consulte Níveis de risco e sensibilidade de dados.

Valores de tag truncados

Se os dados do cabeçalho de uma tabela do BigQuery excederem 10 MB, a tag resultante poderá mostrar [TRUNCATED] no campo Column Insights ou Column Sensitivity. Nesse caso, recomendamos que você acesse a Proteção de dados sensíveis para analisar o perfil de dados da tabela e os perfis de dados de coluna associados.