Este tópico descreve em detalhes como criar um job de inspeção da Proteção de Dados Sensíveis e como programar jobs de inspeção recorrentes criando um gatilho de jobs. Para um tutorial rápido de como criar um novo acionador de jobs usando a interface da Proteção de dados sensíveis, consulte Início rápido: como criar um acionador de jobs da Proteção de dados sensíveis.
Sobre jobs de inspeção e gatilhos de jobs
Quando a Proteção de dados confidenciais executa uma verificação de inspeção para identificar dados sensíveis, cada verificação é executada como um job. A proteção de dados sensíveis cria e executa um recurso de job sempre que você pede para ele inspecionar seus Google Cloud repositórios de armazenamento, incluindo buckets do Cloud Storage, tabelas do BigQuery, tipos do Datastore e dados externos.
Programe os jobs de verificação de inspeção da Proteção de Dados Sensíveis criando gatilhos de jobs. Um gatilho de jobs automatiza a criação de jobs da Proteção de Dados Sensíveis periodicamente e também pode ser executado sob demanda.
Para saber mais sobre jobs e gatilhos de jobs na Proteção de dados sensíveis, consulte a página conceitual Jobs e gatilhos de jobs.
Criar um novo job de inspeção
Para criar um job de inspeção de proteção de dados sensíveis:
Console
Na seção "Proteção de dados sensíveis" do console Google Cloud , acesse a página Criar job ou gatilho de job.
Acesse Criar job ou gatilho de jobs.
A página Criar job ou gatilho de jobs contém as seguintes seções:
Escolher dados de entrada
Nome
Insira um nome para o job. Use letras, números e hifens. Nomear o job é opcional. Se você não inserir um nome, a Proteção de dados sensíveis vai dar ao job um identificador de número exclusivo.
Local
No menu Tipo de armazenamento, escolha o tipo de repositório que armazena os dados que você quer verificar:
- Cloud Storage: digite o URL do bucket que você quer verificar ou escolha Incluir/excluir no menu Tipo de local e clique em Procurar para navegar até o bucket ou a subpasta que você quer verificar. Marque a caixa de seleção Verificar pasta recursivamente para verificar o diretório especificado e todos os diretórios contidos. Deixe-a desmarcada para verificar apenas o diretório especificado e não mais profundamente.
- BigQuery: insira os identificadores do projeto, o conjunto de dados e a tabela que você quer verificar.
- Datastore: insira os identificadores do projeto, o namespace (opcional) e o tipo que você quer verificar.
- Híbrido: é possível adicionar rótulos obrigatórios e opcionais, além de opções para processar dados tabulares. Para mais informações, consulte Tipos de metadados que é possível fornecer.
Amostragem
A amostragem é uma forma opcional de economizar recursos, se você tiver uma quantidade muito grande de dados.
Em Amostragem, escolha se você quer verificar todos os dados selecionados ou criar amostras dos dados verificando uma determinada porcentagem. A amostragem funciona de maneira diferente, dependendo do tipo de repositório de armazenamento que você está verificando:
- Para o BigQuery, é possível criar uma amostra de um subconjunto do total de linhas selecionadas, correspondendo à porcentagem de arquivos especificada a ser incluída na verificação.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado.
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Para realizar uma verificação parcial, também é necessário escolher qual porcentagem dos dados você quer verificar. Use o controle deslizante para definir a porcentagem.
Também é possível restringir os arquivos ou os registros a serem verificados por data. Para saber como, consulte Programar, mais adiante neste tópico.
Configuração avançada
Ao criar um job para uma verificação de buckets do Cloud Storage ou tabelas do BigQuery, restrinja a pesquisa especificando uma configuração avançada. Mais especificamente, é possível configurar estes elementos:
- Arquivos (somente Cloud Storage): os tipos de arquivos a serem verificados, que incluem arquivos de texto, binários e de imagem.
- Campos de identificação (somente BigQuery): identificadores de linha exclusivos na tabela.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha a porcentagem dos dados que você quer verificar. Use o controle deslizante para definir a porcentagem. Em seguida, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado (veja acima).
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Arquivos
Para arquivos armazenados no Cloud Storage, especifique os tipos a serem incluídos na verificação em Arquivos.
É possível escolher entre arquivos binários, de texto, de imagem, CSV, TSV, Microsoft Word, Microsoft Excel, Microsoft PowerPoint, PDF e Apache Avro. Para conferir uma lista completa de extensões de arquivos que a Proteção de Dados Sensíveis pode verificar em buckets do Cloud Storage, consulte FileType
.
A escolha de Binário faz a Proteção de Dados Sensíveis verificar arquivos de tipos que não sejam reconhecidos.
Campos de identificação
Para tabelas no BigQuery, no campo Campos de identificação, você pode direcionar a Proteção de dados sensíveis para incluir os valores das colunas de chave primária da tabela nos resultados. Assim, você pode vincular as descobertas às linhas da tabela que as contêm.
Insira os nomes das colunas que identificam de forma exclusiva cada linha na tabela. Se necessário, use a notação de ponto para especificar campos aninhados. Você pode adicionar quantos campos quiser.
Você também precisa ativar a ação Salvar no BigQuery para exportar as descobertas para o BigQuery. Quando as descobertas são exportadas para o BigQuery, cada uma delas
contém os respectivos valores dos campos de identificação. Para mais informações, consulte identifyingFields
.
Configurar detecção
A seção Configurar detecção é onde você especifica os tipos de dados confidenciais que quer verificar. A conclusão desta seção é opcional. Se você pular esta seção, a Proteção de dados sensíveis vai verificar os dados em busca de um conjunto padrão de infoTypes.
Modelo
Também é possível usar um modelo da Proteção de Dados Sensíveis para reutilizar as informações de configuração especificadas anteriormente.
Se você já tiver criado um modelo que queira usar, clique no campo Nome do modelo para ver uma lista dos modelos de inspeção. Escolha ou digite o nome do modelo que você quer usar.
Para mais informações sobre como criar modelos, consulte Como criar modelos de inspeção da Proteção de dados sensíveis.
InfoTypes
Os detectores InfoType encontram dados confidenciais de um determinado tipo. Por exemplo, o detector infoType integrado US_SOCIAL_SECURITY_NUMBER
da Proteção de dados sensíveis encontra
números de CPF. Além dos detectores de infoType integrados, é possível criar seus próprios detectores de infoType personalizados.
Em InfoTypes, escolha o detector infoType correspondente a um tipo de dados que você quer verificar. Não recomendamos deixar essa seção em branco. Isso faz com que a Proteção de dados confidenciais verifique seus dados com um conjunto padrão de infoTypes, que pode incluir infoTypes desnecessários. Para mais informações sobre cada detector, consulte a referência de detectores InfoType.
Para mais informações sobre como gerenciar infoTypes integrados e personalizados nesta seção, consulte Gerenciar infoTypes pelo console Google Cloud .
Conjuntos de regras de inspeção
Limite de confiança
Sempre que a Proteção de dados sensíveis detecta uma correspondência potencial para dados sensíveis, ela atribui um valor de probabilidade em uma escala de "Muito improvável" a "Muito provável". Ao definir um valor de probabilidade aqui, você está instruindo a Proteção de Dados Sensíveis a corresponder apenas aos dados que correspondem a esse valor de probabilidade ou superior.
O valor padrão "Possível" é suficiente para a maioria das finalidades. Se você normalmente recebe correspondências muito amplas, mova o controle deslizante para a direita. Se você recebe poucas correspondências, mova o controle deslizante para a esquerda.
Quando terminar, clique em Continuar.
Adicionar ações
Na etapa Adicionar ações, selecione uma ou mais ações que você quer que a Proteção de dados sensíveis execute após a conclusão do job.
É possível configurar as seguintes ações:
Salvar no BigQuery: salve os resultados do job da Proteção de dados sensíveis em uma tabela do BigQuery. Antes de ver ou analisar os resultados, confira se o job foi concluído.
Sempre que uma verificação é executada, a Proteção de dados confidenciais salva as descobertas na tabela do BigQuery especificada. As descobertas exportadas contêm detalhes sobre o local de cada uma e comparam a probabilidade. Se quiser que cada descoberta inclua a string que correspondeu ao detector de infoType, ative a opção Incluir citação.
Se você não especificar um ID de tabela, o BigQuery atribuirá um nome padrão a uma nova tabela na primeira vez que a verificação for executada. Se você especificar uma tabela atual, a Proteção de dados sensíveis vai anexar as descobertas da verificação a ela.
Se você não salvar as descobertas no BigQuery, os resultados da verificação vão conter apenas estatísticas sobre o número e os infoTypes das descobertas.
Quando os dados são gravados em uma tabela do BigQuery, o faturamento e o uso da cota são aplicados ao projeto que contém a tabela de destino.
Publicar no Pub/Sub: publique uma notificação que contenha o nome do job da Proteção de dados sensíveis como um atributo para um canal do Pub/Sub. Você pode especificar um ou mais tópicos para enviar a mensagem de notificação. Verifique se a conta de serviço da Proteção de Dados Sensíveis que executa o job de verificação tem acesso de publicação no tópico.
Publicar no Security Command Center: publica um resumo dos resultados do job no Security Command Center. Para mais informações, consulte Enviar resultados da verificação da Proteção de dados sensíveis para o Security Command Center.
Publicar no Dataplex (descontinuado): envia os resultados do job de inspeção ao Dataplex Universal Catalog,o serviço de gerenciamento de metadados do Google Cloud.
Notificar por e-mail: envia um e-mail quando o job é concluído. O e-mail é enviado para proprietários de projetos do IAM e contatos essenciais técnicos.
Publicar no Cloud Monitoring: envie os resultados da inspeção para o Cloud Monitoring na Observabilidade do Google Cloud.
Fazer uma cópia desidentificada: desidentifique todas as descobertas nos dados inspecionados e grave o conteúdo desidentificado em um novo arquivo. Em seguida, use a cópia desidentificada nos seus processos de negócios em vez de dados que contenham informações sensíveis. Para mais informações, consulte Criar uma cópia desidentificada dos dados do Cloud Storage usando a Proteção de Dados Sensíveis no console Google Cloud .
Para mais informações, consulte Ações.
Quando terminar de selecionar ações, clique em Continuar.
Revisar
A seção Revisar contém um resumo formatado em JSON das configurações do job recém-especificado.
Clique em Criar para criar o job (se não tiver especificado uma programação) e executar o job uma vez. A página de informações do job é exibida, que contém status e outras informações. Se o job estiver em execução no momento, será possível clicar no botão Cancelar para interrompê-lo. Também é possível excluir o job clicando em Excluir.
Para retornar à página principal da Proteção de dados sensíveis, clique na seta Voltar no console do Google Cloud .
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Um job é representado na API DLP pelo recurso DlpJobs
. Para criar um novo job, use o método projects.dlpJobs.create
do recurso DlpJob
.
Esta amostra de JSON pode ser enviada em uma solicitação POST para o endpoint REST da Proteção de dados sensíveis especificado. Este exemplo de JSON demonstra como criar um job na Proteção de dados sensíveis. O job é uma verificação de inspeção do Datastore.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Uma solicitação bem-sucedida, mesmo se for criada na API Explorer, criará um job. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Entrada JSON:
{
"inspectJob": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"excludeInfoTypes": false,
"includeQuote": true,
"minLikelihood": "LIKELY"
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]"
}
}
}
}
]
}
}
Saída JSON:
A resposta a seguir indica que o job foi criado com sucesso.
{
"name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"minLikelihood": "LIKELY",
"limits": {},
"includeQuote": true
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]",
"tableId": "[TABLE-ID]"
}
}
}
}
]
}
},
"result": {}
},
"createTime": "2020-07-10T07:26:33.643Z"
}
Criar um novo gatilho de job
Para criar um gatilho de job de proteção de dados sensíveis:
Console
Na seção "Proteção de dados sensíveis" do console Google Cloud , acesse a página Criar job ou gatilho de job.
Acesse Criar job ou gatilho de jobs.
A página Criar job ou gatilho de jobs contém as seguintes seções:
Escolher dados de entrada
Nome
Insira um nome para o gatilho de jobs. Use letras, números e hifens. Nomear o gatilho de jobs é opcional. Se você não inserir um nome, a Proteção de dados sensíveis vai fornecer ao gatilho de jobs um identificador de número exclusivo.
Local
No menu Tipo de armazenamento, escolha o tipo de repositório que armazena os dados que você quer verificar:
- Cloud Storage: digite o URL do bucket que você quer verificar ou escolha Incluir/excluir no menu Tipo de local e clique em Procurar para navegar até o bucket ou a subpasta que você quer verificar. Marque a caixa de seleção Verificar pasta recursivamente para verificar o diretório especificado e todos os diretórios contidos. Deixe-a desmarcada para verificar apenas o diretório especificado e não mais profundamente.
- BigQuery: insira os identificadores do projeto, o conjunto de dados e a tabela que você quer verificar.
- Datastore: insira os identificadores do projeto, o namespace (opcional) e o tipo que você quer verificar.
Amostragem
A amostragem é uma forma opcional de economizar recursos, se você tiver uma quantidade muito grande de dados.
Em Amostragem, escolha se você quer verificar todos os dados selecionados ou criar amostras dos dados verificando uma determinada porcentagem. A amostragem funciona de maneira diferente, dependendo do tipo de repositório de armazenamento que você está verificando:
- Para o BigQuery, é possível criar uma amostra de um subconjunto do total de linhas selecionadas, correspondendo à porcentagem de arquivos especificada a ser incluída na verificação.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado (veja acima).
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Para realizar uma verificação parcial, também é necessário escolher qual porcentagem dos dados você quer verificar. Use o controle deslizante para definir a porcentagem.
Configuração avançada
Ao criar um gatilho de jobs para uma verificação de buckets do Cloud Storage ou tabelas do BigQuery, restrinja a pesquisa especificando uma configuração avançada. Mais especificamente, é possível configurar estes elementos:
- Arquivos (somente Cloud Storage): os tipos de arquivos a serem verificados, que incluem arquivos de texto, binários e de imagem.
- Campos de identificação (somente BigQuery): identificadores de linha exclusivos na tabela.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha a porcentagem dos dados que você quer verificar. Use o controle deslizante para definir a porcentagem. Em seguida, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado (veja acima).
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Arquivos
Para arquivos armazenados no Cloud Storage, especifique os tipos a serem incluídos na verificação em Arquivos.
É possível escolher entre arquivos binários, de texto, de imagem, do Microsoft Word, do Microsoft Excel, do Microsoft PowerPoint, PDF e do Apache Avro. Para uma lista completa de extensões de arquivos que a Proteção de Dados Sensíveis pode verificar em buckets do Cloud Storage, consulte FileType
.
A escolha de Binário faz a Proteção de Dados Sensíveis verificar arquivos de tipos que não sejam reconhecidos.
Campos de identificação
Para tabelas no BigQuery, no campo Campos de identificação, você pode direcionar a Proteção de dados sensíveis para incluir os valores das colunas de chave primária da tabela nos resultados. Assim, você pode vincular as descobertas às linhas da tabela que as contêm.
Insira os nomes das colunas que identificam de forma exclusiva cada linha na tabela. Se necessário, use a notação de ponto para especificar campos aninhados. Você pode adicionar quantos campos quiser.
Você também precisa ativar a ação Salvar no BigQuery para exportar as descobertas para o BigQuery. Quando as descobertas são exportadas para o BigQuery, cada uma delas
contém os respectivos valores dos campos de identificação. Para mais informações, consulte identifyingFields
.
Configurar detecção
A seção Configurar detecção é onde você especifica os tipos de dados confidenciais que quer verificar. A conclusão desta seção é opcional. Se você pular esta seção, a Proteção de dados sensíveis vai verificar os dados em busca de um conjunto padrão de infoTypes.
Modelo
Também é possível usar um modelo da Proteção de Dados Sensíveis para reutilizar as informações de configuração especificadas anteriormente.
Se você já tiver criado um modelo que queira usar, clique no campo Nome do modelo para ver uma lista dos modelos de inspeção. Escolha ou digite o nome do modelo que você quer usar.
Para mais informações sobre como criar modelos, consulte Como criar modelos de inspeção da Proteção de dados sensíveis.
InfoTypes
Os detectores InfoType encontram dados confidenciais de um determinado tipo. Por exemplo, o detector infoType integrado US_SOCIAL_SECURITY_NUMBER
da Proteção de dados sensíveis encontra
números de CPF. Além dos detectores de infoType integrados, é
possível criar seus próprios detectores de infoType personalizados.
Em InfoTypes, escolha o detector infoType correspondente a um tipo de dados que você quer verificar. Também é possível deixar esse campo em branco para verificar todos os infoTypes padrão. Mais informações sobre cada detector são fornecidas na referência de detectores de InfoType.
Também é possível adicionar detectores de infoType personalizados na seção infoTypes personalizados e personalizar os detectores de infoType integrados e personalizados na seção Conjuntos de regras de inspeção.
InfoTypes personalizados
Conjuntos de regras de inspeção
Limite de confiança
Sempre que a Proteção de dados sensíveis detecta uma correspondência potencial para dados sensíveis, ela atribui um valor de probabilidade em uma escala de "Muito improvável" a "Muito provável". Ao definir um valor de probabilidade aqui, você está instruindo a Proteção de Dados Sensíveis a corresponder apenas aos dados que correspondem a esse valor de probabilidade ou superior.
O valor padrão "Possível" é suficiente para a maioria das finalidades. Se você normalmente recebe correspondências muito amplas, mova o controle deslizante para a direita. Se você recebe poucas correspondências, mova o controle deslizante para a esquerda.
Quando terminar, clique em Continuar.
Adicionar ações
Na etapa Adicionar ações, selecione uma ou mais ações que você quer que a Proteção de dados sensíveis execute após a conclusão do job.
É possível configurar as seguintes ações:
Salvar no BigQuery: salve os resultados do job da Proteção de dados sensíveis em uma tabela do BigQuery. Antes de ver ou analisar os resultados, confira se o job foi concluído.
Sempre que uma verificação é executada, a Proteção de dados confidenciais salva as descobertas na tabela do BigQuery especificada. As descobertas exportadas contêm detalhes sobre o local de cada uma e comparam a probabilidade. Se quiser que cada descoberta inclua a string que correspondeu ao detector de infoType, ative a opção Incluir citação.
Se você não especificar um ID de tabela, o BigQuery atribuirá um nome padrão a uma nova tabela na primeira vez que a verificação for executada. Se você especificar uma tabela atual, a Proteção de dados sensíveis vai anexar as descobertas da verificação a ela.
Se você não salvar as descobertas no BigQuery, os resultados da verificação vão conter apenas estatísticas sobre o número e os infoTypes das descobertas.
Quando os dados são gravados em uma tabela do BigQuery, o faturamento e o uso da cota são aplicados ao projeto que contém a tabela de destino.
Publicar no Pub/Sub: publique uma notificação que contenha o nome do job da Proteção de dados sensíveis como um atributo para um canal do Pub/Sub. Você pode especificar um ou mais tópicos para enviar a mensagem de notificação. Verifique se a conta de serviço da Proteção de Dados Sensíveis que executa o job de verificação tem acesso de publicação no tópico.
Publicar no Security Command Center: publica um resumo dos resultados do job no Security Command Center. Para mais informações, consulte Enviar resultados da verificação da Proteção de dados sensíveis para o Security Command Center.
Publicar no Dataplex (descontinuado): envia os resultados do job de inspeção ao Dataplex Universal Catalog,o serviço de gerenciamento de metadados do Google Cloud.
Notificar por e-mail: envia um e-mail quando o job é concluído. O e-mail é enviado para proprietários de projetos do IAM e contatos essenciais técnicos.
Publicar no Cloud Monitoring: envie os resultados da inspeção para o Cloud Monitoring na Observabilidade do Google Cloud.
Fazer uma cópia desidentificada: desidentifique todas as descobertas nos dados inspecionados e grave o conteúdo desidentificado em um novo arquivo. Em seguida, use a cópia desidentificada nos seus processos de negócios em vez de dados que contenham informações sensíveis. Para mais informações, consulte Criar uma cópia desidentificada dos dados do Cloud Storage usando a Proteção de Dados Sensíveis no console Google Cloud .
Para mais informações, consulte Ações.
Quando terminar de selecionar ações, clique em Continuar.
Programar
Na seção Programar, é possível fazer duas coisas:
- Especificar período: essa opção limita os arquivos ou as linhas a serem verificados por data. Clique em Hora de início para especificar o carimbo de data/hora mais antigo do arquivo a ser incluído. Deixe esse valor em branco para especificar todos os arquivos. Clique em Hora de término para especificar o carimbo de data/hora mais recente do arquivo a ser incluído. Deixe esse valor em branco para não especificar um limite máximo de carimbo de data/hora.
Criar um gatilho para executar o job em uma programação periódica: essa opção transforma o job em um gatilho de jobs que é executado em uma programação periódica. Se você não especificar uma programação, vai criar um único job que será iniciado imediatamente e executado uma vez. Para criar um gatilho de jobs executado regularmente, defina essa opção.
O valor padrão também é o valor mínimo: 24 horas. O valor máximo é de 60 dias.
Se você quiser que a Proteção de dados sensíveis verifique apenas arquivos ou linhas novos, selecione Limitar verificações somente a conteúdo novo. Na inspeção do BigQuery, são incluídas apenas as linhas com mais de três horas. Consulte o problema conhecido relacionado a essa operação.
Revisão
A seção Revisar contém um resumo formatado em JSON das configurações do job recém-especificado.
Clique em Criar para criar o gatilho de jobs (se tiver especificado uma programação). A página de informações do gatilho de jobs é exibida, contendo status e outras informações. Se o job estiver em execução no momento, será possível clicar no botão Cancelar para interrompê-lo. Também é possível excluir o acionador de jobs clicando em Excluir.
Para retornar à página principal da Proteção de dados sensíveis, clique na seta Voltar no console do Google Cloud .
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Um gatilho de jobs é representado na API DLP pelo recurso JobTrigger
. Crie um novo gatilho de jobs usando o JobTrigger
do método projects.jobTriggers.create
do recurso.
Esta amostra de JSON pode ser enviada em uma solicitação POST para o endpoint REST da Proteção de dados sensíveis especificado. Este exemplo de JSON demonstra como criar um gatilho de job na Proteção de dados sensíveis. O job que será iniciado por esse gatilho é uma verificação de inspeção do Datastore. O acionador de jobs criado é executado a cada 86.400 segundos (ou 24 horas).
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Uma solicitação bem-sucedida, mesmo se for criada na API Explorer, criará um novo gatilho de jobs programado. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o início rápido do JSON.
Entrada JSON:
{
"jobTrigger":{
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"status":"HEALTHY",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"kind":{
"name":"Example-Kind"
},
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
}
}
}
Saída JSON:
A saída abaixo indica que o acionador de job foi criado com sucesso.
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
}
Listar todos os jobs
Para listar todos os jobs do projeto atual:
Console
No Google Cloud console, acesse a página "Proteção de dados sensíveis".
Clique na guia Inspeção e na subguia Jobs de inspeção.
O console exibe uma lista de todos os jobs do projeto atual, incluindo os identificadores de job, o estado, o horário de criação e o horário de término. É possível acessar mais informações sobre qualquer job, incluindo um resumo dos resultados, clicando no identificador.
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
O recurso DlpJob
tem um método projects.dlpJobs.list
, com que é possível listar todos os jobs.
Para listar todos os jobs atualmente definidos no projeto, envie uma solicitação GET para o endpoint dlpJobs
, conforme mostrado aqui:
URL:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
A saída JSON a seguir lista um dos jobs retornados. A estrutura do gatilho de jobs espelha a do recurso DlpJob
.
Saída JSON:
{
"jobs":[
{
"name":"projects/[PROJECT-ID]/dlpJobs/i-5270277269264714623",
"type":"INSPECT_JOB",
"state":"DONE",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"[CLOUD-STORAGE-URL]"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"startTime":"2019-09-08T22:43:16.623Z",
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
},
{
"name":"CANADA_SOCIAL_INSURANCE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[TABLE-ID]"
}
}
}
}
]
}
},
"result":{
...
}
},
"createTime":"2019-09-09T22:43:16.918Z",
"startTime":"2019-09-09T22:43:16.918Z",
"endTime":"2019-09-09T22:43:53.091Z",
"jobTriggerName":"projects/[PROJECT-ID]/jobTriggers/sample-trigger2"
},
...
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Listar todos os gatilhos de job
Para listar todos os acionadores de jobs do projeto atual:
Console
No Google Cloud console, acesse a página "Proteção de dados sensíveis".
Acessar a proteção de dados confidenciais
Na guia Inspeção, na subguia Gatilhos de jobs, o console mostra uma lista de todos os gatilhos de jobs do projeto atual.
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
O recurso JobTrigger
tem um método projects.jobTriggers.list
, com que é possível listar todos os gatilhos de jobs.
Para listar todos os gatilhos de job definidos no projeto, envie uma solicitação GET para o endpoint jobTriggers
, conforme mostrado aqui:
URL:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers?key={YOUR_API_KEY}
A saída JSON abaixo lista o acionador de job que criamos na seção anterior. A estrutura do gatilho de jobs espelha a do recurso JobTrigger
.
Saída JSON:
{
"jobTriggers":[
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
},
...
],
"nextPageToken":"KkwKCQjivJ2UpPreAgo_Kj1wcm9qZWN0cy92ZWx2ZXR5LXN0dWR5LTE5NjEwMS9qb2JUcmlnZ2Vycy8xNTA5NzEyOTczMDI0MDc1NzY0"
}
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Excluir um job
Para excluir um job do projeto, o que também que inclui os resultados, faça o seguinte. Todos os resultados salvos externamente (como no BigQuery) não são alterados por essa operação.
Console
No Google Cloud console, acesse a página "Proteção de dados sensíveis".
Clique na guia Inspeção e na subguia Jobs de inspeção. O console Google Cloud mostra uma lista de todos os jobs do projeto atual.
Na coluna Ações do gatilho de jobs que você quer excluir, clique no menu mais ações (exibido como três pontos organizados verticalmente)
e clique em Excluir.
Como alternativa, na lista de jobs, clique no identificador do job que você quer excluir. Na página de detalhes do job, clique em Excluir.
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para excluir um job do projeto atual, envie a solicitação EXCLUIR para o endpoint dlpJobs
, conforme mostrado aqui. Substitua o campo [JOB-IDENTIFIER]
pelo identificador do job, que começa com i-
.
URL:
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
Se a solicitação tiver sido bem-sucedida, a API DLP retornará uma resposta positiva. Para verificar se o job foi excluído, liste todos os jobs.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Excluir gatilhos de jobs
Console
No Google Cloud console, acesse a página "Proteção de dados sensíveis".
Acessar a proteção de dados confidenciais
Na guia Inspeção, na subguia Gatilhos de jobs, o console mostra uma lista de todos os gatilhos de jobs do projeto atual.
Na coluna Ações do gatilho de jobs que você quer excluir, clique no menu mais ações (exibido como três pontos organizados verticalmente)
e clique em Excluir.
Como alternativa, na lista de acionadores de jobs, clique no nome do acionador que quer excluir. Na página de detalhes do acionador de jobs, clique em Excluir.
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para excluir um gatilho de jobs do projeto atual, envie a solicitação EXCLUIR para o endpoint jobTriggers
, conforme mostrado aqui. Substitua o campo [JOB-TRIGGER-NAME]
pelo nome do gatilho de jobs.
URL:
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers/[JOB-TRIGGER-NAME]?key={YOUR_API_KEY}
Se a solicitação tiver sido bem-sucedida, a API DLP retornará uma resposta positiva. Para verificar se o acionador de job foi excluído com sucesso, liste todos os acionadores de job.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Receber um job
Para receber um job do projeto, o que também que inclui os resultados, faça o seguinte. Todos os resultados salvos externamente (como no BigQuery) não são alterados por essa operação.
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para receber um job do projeto atual, envie a solicitação GET para o endpoint dlpJobs
, conforme mostrado aqui. Substitua o campo [JOB-IDENTIFIER]
pelo identificador do job, que começa com i-
.
URL:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
Se a solicitação tiver sido bem-sucedida, a API DLP retornará uma resposta positiva.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Forçar a execução imediata de um gatilho de job
Depois de criar um gatilho de job, é possível forçar uma execução imediata do gatilho para teste ativando-o. Para isso, execute o seguinte comando:
curl --request POST \
-H "Content-Type: application/json" \
-H "Accept: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
'https://dlp.googleapis.com/v2/JOB_TRIGGER_NAME:activate'
Substitua:
- PROJECT_ID: o ID do projeto Google Cloud a ser cobrado pelas taxas de acesso associadas à solicitação.
- JOB_TRIGGER_NAME: o nome completo do recurso do gatilho
do job, por exemplo,
projects/my-project/locations/global/jobTriggers/123456789
.
Atualizar um gatilho de jobs atual
Além de criar, listar e excluir acionadores de jobs, também é possível atualizar um acionador de jobs atual. Para alterar a configuração de um acionador de jobs atual:
Console
No Google Cloud console, acesse a página "Proteção de dados sensíveis".
Clique na guia Inspeção e na subguia Gatilhos de jobs.
O console exibe uma lista de todos os acionadores de jobs do projeto atual.
Na coluna Ações do gatilho de jobs que você quer excluir, clique em Mais more_vert e depois emVer detalhes.
Na página de detalhes do acionador de jobs, clique em Editar.
Na página "Editar acionador", altere o local dos dados de entrada, os detalhes da detecção, como modelos, infoTypes ou probabilidade, além de todas as ações pós-verificação e a programação do acionador de jobs. Quando terminar de fazer as alterações, clique em Salvar.
C#
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente da Proteção de dados sensíveis, consulte Bibliotecas de cliente da Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Use o método
projects.jobTriggers.patch
para enviar novos valores JobTrigger
à API DLP
e atualizar esses valores em um gatilho de jobs especificado.
Por exemplo, considere o seguinte acionador de jobs simples. Esse JSON representa o acionador de jobs e foi retornado após o envio de uma solicitação GET para o endpoint do acionador de jobs do projeto atual.
Saída JSON:
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
}
],
"minLikelihood":"POSSIBLE",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:19:45.774841Z",
"status":"HEALTHY"
}
O JSON a seguir, quando enviado com uma solicitação PATCH para o endpoint especificado, atualiza o acionador de jobs indicado com um novo infoType para verificação, bem como uma nova probabilidade mínima. Também é preciso especificar o atributo updateMask
e o valor dele está no formato FieldMask
.
Entrada JSON:
PATCH https://dlp.googleapis.com/v2/projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]?key={YOUR_API_KEY}
{
"jobTrigger":{
"inspectJob":{
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY"
}
}
},
"updateMask":"inspectJob(inspectConfig(infoTypes,minLikelihood))"
}
Depois de enviar esse JSON para o URL especificado, ele retorna o seguinte, representando o acionador de jobs atualizado. O infoType e os valores de probabilidade originais foram substituídos pelos novos valores.
Saída JSON:
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:27:01.650183Z",
"lastRunTime":"1970-01-01T00:00:00Z",
"status":"HEALTHY"
}
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Latência do job
Não há objetivos de nível de serviço (SLOs) garantidos para jobs e gatilhos de job. A latência é afetada por vários fatores, incluindo a quantidade de dados a serem verificados, o repositório de armazenamento que está sendo verificado, o tipo e o número de infoTypes que você está procurando, a região em que o trabalho é processado e os recursos de computação disponíveis nessa região. Portanto, a latência dos jobs de inspeção não pode ser determinada com antecedência.
Para ajudar a reduzir a latência do job, tente o seguinte:
- Se a amostragem estiver disponível para seu job ou gatilho de jobs, ative-a.
Evite ativar infoTypes desnecessários. Embora os seguintes sejam úteis em determinados cenários, esses infoTypes podem fazer com que as solicitações sejam executadas muito mais lentamente do que as que não os incluem:
PERSON_NAME
FEMALE_NAME
MALE_NAME
FIRST_NAME
LAST_NAME
DATE_OF_BIRTH
LOCATION
STREET_ADDRESS
ORGANIZATION_NAME
Sempre especifique explicitamente os infoTypes. Não use uma lista de infoTypes vazias.
Se possível, use uma região de processamento diferente.
Se você ainda tiver problemas de latência com jobs depois de tentar essas técnicas,
use solicitações
content.inspect
ou
content.deidentify
em vez de jobs. Esses métodos estão cobertos pelo contrato de nível de serviço. Para mais informações, consulte o Contrato de nível de serviço da Proteção de Dados Sensíveis.
Limitar as verificações apenas a conteúdo novo
É possível configurar o gatilho de jobs para definir automaticamente a data do período dos arquivos armazenados no Cloud Storage ou no BigQuery. Quando você define o objeto TimespanConfig
para preenchimento automático, a Proteção de dados sensíveis verifica apenas os dados adicionados ou modificados desde a última execução do gatilho:
...
timespan_config {
enable_auto_population_of_timespan_config: true
}
...
Na inspeção do BigQuery, são incluídas apenas as linhas com mais de três horas. Consulte o problema conhecido relacionado a essa operação.
Acionar jobs ao carregar arquivos
Além do suporte a acionadores de jobs, que é integrado à Proteção de dados sensíveis, oGoogle Cloud também tem vários outros componentes que podem ser usados para integrar ou acionar jobs da Proteção de dados sensíveis. Por exemplo, é possível usar as funções do Cloud Run para acionar uma verificação do Sensitive Data Protection sempre que um arquivo for carregado no Cloud Storage.
Para informações sobre como configurar essa operação, consulte Como automatizar a classificação de dados enviados para o Cloud Storage.
Jobs concluídos sem dados inspecionados
Um job pode ser concluído com sucesso mesmo que nenhum dado tenha sido verificado. Os seguintes exemplos podem causar isso:
- O job está configurado para inspecionar um recurso de dados específico, como um arquivo, que existe, mas está vazio.
- O job está configurado para inspecionar um recurso de dados que não existe ou que não existe mais.
- O job está configurado para inspecionar um bucket do Cloud Storage vazio.
- O job está configurado para inspecionar um bucket, e a verificação recursiva está desativada. No nível superior, o bucket contém apenas pastas que, por sua vez, contêm os arquivos.
- O job está configurado para inspecionar apenas um tipo de arquivo específico em um bucket, mas o bucket não tem arquivos desse tipo.
- O job está configurado para inspecionar apenas conteúdo novo, mas não houve atualizações desde a última execução.
No console do Google Cloud , na página Detalhes do job, o campo Bytes verificados especifica a quantidade de dados inspecionados pelo job. Na API DLP, o campo processedBytes
especifica a quantidade de dados inspecionados.
A seguir
- Saiba mais sobre como criar uma cópia desidentificada dos dados no armazenamento.