A Proteção de dados sensíveis tem muitos recursos avançados, mas, dependendo da quantidade de informações que você instrui a verificar, é possível que os custos fiquem inviáveis. Neste tópico, descrevemos vários métodos que podem ser usados para manter os custos baixos e, ao mesmo tempo, garantir que você use a Proteção de Dados Sensíveis para verificar exatamente os dados pretendidos.
Inspeção
O Google recomenda as práticas a seguir para ajudar você a controlar os custos de inspeção.
Usar a amostragem para restringir o número de bytes inspecionados
Se você estiver verificando tabelas do BigQuery ou buckets do Cloud Storage, a proteção de dados sensíveis poderá verificar um pequeno subconjunto do conjunto de dados. Esse procedimento pode fornecer uma amostragem dos resultados da verificação sem incorrer nos custos potenciais da verificação de um conjunto de dados inteiro.
Depois de encontrar uma amostra com dados confidenciais, será possível programar uma segunda análise mais abrangente desse conjunto de dados para detectar a lista completa de descobertas.
Para mais informações, consulte Como limitar a quantidade de conteúdo inspecionado em Como inspecionar dados confidenciais em armazenamento e bancos de dados.
Verificar apenas dados que foram alterados
Instrua a Proteção de dados sensíveis a evitar a verificação de dados que não foram modificados desde a última inspeção. A definição de um período permite controlar quais dados serão verificados com base na data da última modificação dos dados.
Se você estiver usando gatilhos de jobs, poderá definir a sinalização enable_auto_population_of_timespan_config em TimespanConfig para pular automaticamente o conteúdo que foi verificado durante o último job programado.
Para mais informações, consulte Limitar verificações a apenas novos conteúdos em Como criar e programar jobs de inspeção da Proteção de dados sensíveis.
Limitar verificações de arquivos no Cloud Storage apenas a arquivos relevantes
Ao especificar a mensagem CloudStorageRegexFileSet, é possível usar filtros de expressão regular para ter um controle mais preciso sobre quais arquivos ou pastas nos buckets serão incluídos ou excluídos.
Isso é útil quando você quer ignorar a verificação de arquivos que já sabe que não têm dados confidenciais, como backups, arquivos TMP, conteúdo da Web estático, etc.
Discovery
Recomendamos as seguintes práticas para ajudar você a controlar os custos de criação de perfil de dados.
Fazer uma estimativa
Antes de iniciar uma operação de criação de perfil de dados, considere executar uma estimativa primeiro. Ao executar uma estimativa, você entende o tamanho e o formato dos dados do BigQuery que serão analisados. Cada estimativa fornece a contagem aproximada de tabelas, o tamanho dos dados e o custo de criação de perfil. Ele também mostra uma projeção do crescimento mensal dos seus dados do BigQuery.
Para mais informações sobre como executar uma estimativa, consulte:
- Estimar o custo da criação de perfis de dados para uma organização ou pasta
- Estimar o custo da criação de perfis de dados para um só projeto
Adicionar programações às configurações de verificação
Para ajudar a controlar o custo da criação de perfis de dados, considere criar uma programação em que você define filtros e condições. Confira alguns exemplos:
- Se você não precisar criar perfis de determinadas tabelas, especifique que as tabelas que correspondem aos seus filtros nunca devem ser analisadas.
- Se você quiser criar o perfil apenas de algumas tabelas, desative a criação de perfil para todas, exceto as que correspondem ao seu filtro.
- Se você quiser que determinadas tabelas sejam analisadas apenas uma vez, especifique que elas nunca devem ser analisadas novamente.
- Se você não precisar criar perfis de tabelas antigas, defina uma condição para criar perfis apenas das tabelas criadas após uma determinada data.
- Se você não precisar criar perfis de tabelas novas, defina uma condição para criar perfis de tabelas somente quando elas atingirem uma determinada idade ou um número mínimo de linhas.
Conferir os custos usando um painel e consultar os registros de auditoria
Crie um painel para visualizar os dados de faturamento e fazer ajustes no uso da Proteção de dados sensíveis. Considere também fazer streaming dos registros de auditoria para a Proteção de dados sensíveis de modo que você possa analisar os padrões de uso.
É possível exportar os dados de faturamento para o BigQuery e visualizá-los em uma ferramenta, como o Looker Studio. Para ver um tutorial sobre como criar um painel de faturamento, consulte Visualizar o faturamento do Google Cloud usando o BigQuery e o Looker Studio.
É possível também fazer streaming dos registros de auditoria para o BigQuery e analisá-los para verificar os padrões de uso, como custos de consulta por usuário.
Definir alertas de orçamento
Defina um alerta de orçamento para rastrear o aumento de gastos em relação a um determinado valor. A definição de um orçamento não limita o uso da API, apenas avisa quando seu gasto está próximo do valor especificado.