Tipos de arquivos e modos de verificação compatíveis

Tipos de arquivos

A tabela a seguir mostra os tipos de arquivos compatíveis com a Proteção de Dados Sensíveis, os respectivos limites de verificação, os modos de verificação e o suporte à transformação.

A Proteção de dados sensíveis usa extensões de arquivo e tipos de mídia (MIME) para identificar os tipos de arquivos a serem verificados e os modos de verificação a serem aplicados. Por exemplo, a proteção de dados sensíveis verifica um arquivo .txt no modo de texto simples, mesmo que ele esteja estruturado como um arquivo CSV, que normalmente é verificado no modo de análise estruturada.

Tipo de arquivo Extensões de arquivo Limites Modo de verificação Compatibilidade com transformações
Apache Avro

avro

Limites do Avro Análise estruturada
Comma- or tab-separated values

csv, tsv

Análise estruturada Desidentificar conteúdo
PDF

PDF

Limites do PDF Análise inteligente de documentos
Text

asc, brf, c, cc, cpp, cxx, c++, cs, css, dart, eml, go, h, hh, hpp, hxx, h++, hs, html, htm, shtml, shtm, xhtml, lhs, ini, java, js, json, jsonl, ocaml, md, mkd, markdown, m, ml, mli, pl, pm, php, phtml, pht, py, pyw, rb, rbw, rs, rc, scala, sh, sql, tex, txt, text, vcard, vcs, wml, xml, xsl, xsd, yml, yaml.

Texto simples Desidentificar conteúdo
Microsoft Word

docx, dotx, docm, dotm

Limites do Word Análise inteligente de documentos
Microsoft Excel

xlsx, xlsm, xltx, xltm

Limites do Excel Análise inteligente de documentos
Microsoft Powerpoint

pptx, pptm, potx, potm

Limites do PowerPoint Análise inteligente de documentos
Image

bmp, gif, jpg, jpeg, jpe, png

OCR Edição
Binary

Tipos de arquivos não reconhecidos e imagens que não podem ser verificadas usando o reconhecimento óptico de caracteres (OCR, na sigla em inglês).

Binário

Clusters de arquivos

A tabela a seguir mostra os grupos de arquivos compatíveis com a Proteção de Dados Sensíveis ao criar perfis de dados sensíveis. Um perfil de dados do repositório de arquivos fornece pontuações de sensibilidade e risco de dados para cada coleção de arquivos semelhantes.

Os arquivos podem ser movidos entre clusters à medida que a proteção de dados confidenciais adiciona suporte para mais tipos de arquivos. À medida que o suporte à verificação aumenta, o serviço de descoberta pode começar a verificar arquivos que não eram verificados antes. A cobrança é feita conforme descrito em Preços de descoberta.

Tipo de arquivo Extensões de arquivo Limites Modo de verificação
Text

asc, eml, html, htm, ini, json, jsonL, log, md, mkd, markdown, plist, sql, shtml, shtm, tex, txt, text, vcard, vcs, xsl, xsd

Texto simples
Source Code

bat, brf, c, cc, cpp, cxx, c++, cs, css, dart, go, h, hh, hpp, hxx, hs,lhs,, java, js,, ocaml, m, ml,, pl, php, phtml, phtm, ps1, py, pyw, rb, rbw, rs, rc, scala, sh, sql,, wml, xml, yml, yaml, bat, vb, scpt, scr, script, cmd, vbs

Texto simples
Structured Data

avro, csv, tsv, proto

Análise estruturada para arquivos avro, csv e tsv. Análise de texto simples para arquivos proto
Rich Documents

doc, docx, dotx, docm, dotm, xls, xlsx, xlsm, xltx, xltm, xls, ppt, pptx, pptm, potx, potm, pdf

Os arquivos PDF, Microsoft Word, Excel e PowerPoint aceitos com menos de 30 MiB são verificados. Análise inteligente de documentos
Images

bmp, gif, heic, ico, jpg, jpeg, jpe, png, pm, svg, tiff, webp

As imagens aceitas nos formatos bmp, gif, jpg, jpeg, jpe e png com menos de 4 MiB são verificadas com o OCR em regiões com suporte a esse recurso. Fora dessas regiões, as imagens não são verificadas. OCR
Executables

ac, air, app, appimage, apk, bas, bms, bin, class, cls, com, command, ctl, ctx, dca, ddf, dep, dob, dox, dll, dsr, dsx, dws, exe, frm, frx, gadget, ipa, mpk, oca, ocx, pag, pgx, pif, pyc, res, run, scb, tlb, vbd, vbg, vbl, vbp, vbr, vbw, vbz, vlx, wct, wsf, widget, workflow, x86, x86_64, xap, xbe, xlm

Ainda não foi verificado
Archives

zz, zpaq, zoo, zip, zipx, yz1, xp3, xar, wim, war, uha, uca, uc, uc0, uc2, ucn, ur2, ue2, tar, gz, tgz, sqx, sitx, sit, shk, sfx, sen, sea, sda, s7z, rk, rar, qda, pit, pim, phar, pea, paq6, paq7, paq8 e variantes, pak, lzx, lzh, lha, kgb, jar, ice, hki, ha, genozip, gca, ear, dmg, dgc, dd, dar, cpt, cfs, car, cab, bh, ba, b6z, b1, arj, arc, cdx, arc, ark, apk, alz, afa, ace, 7z, a, ar, cpio, shar, run, tar, tar, 7z, ace, afa, arc, arj, b1, cab, cfs, cpt, dar, dgc, arc, lzh, lha, lzx, iso, img, ima, arc, mou, dmg, partimg, paq#*, lpaq#*, pea, pim, qda, rar, rk, shk, sit, sitx, uc, uc0, uc2, ucn, ur2, ue2, wim, swm, esd, zip, zpaq

Ainda não foi verificado
Multimedia

aa, aac, aax, act, aiff, alac, amr, ape, au, awb, dss, dvf, flac, gsm, iklax, ivs, m4a, m4b, m4p, mmf, movpkg, mp3, mpc, msv, nmf, ogg, oga, mogg, opus, ra, rm, raw, rf64, sln, tta, voc, vox, wav, wma, wv, webm, 8svx, cda, webm, mkv, flv, flv, vob, ogv, ogg, drc, gif, gifv, mng, avi, MTS, M2TS, TS, mov, qt, wmv, yuv, rm, rmvb, viv, asf, amv, mp4, m4p (com DRM), m4v, mpg, mp2, mpeg, mpe, mpv, mpg, mpeg, m2v, m4v, svi, 3gp, 3g2, mxf, roq, nsv, flv, f4v, f4p, f4a, f4b

Ainda não foi verificado
AI Models

caffemodel, ckpt, coreml, dlc, ggjt, ggmf, ggml, gguf, h5, keras, llamafile, mar, mleap, nc, npy, npz, onnx, pb, pkl, prompt, pt, pt2, pte, pth, ptl, safetensors, surml, tflite, tfrecords

Ainda não foi verificado
Unknown Qualquer outro arquivo que não esteja em outro cluster. São arquivos sem extensões ou que usam extensões comuns, mas não padrão, como .dat, .1 ou .2. Ainda não foi verificado

Tipos de arquivos não reconhecidos no Cloud Storage

Se um arquivo não for reconhecido durante uma verificação de armazenamento, o sistema o verificará, por padrão, como um arquivo binário. Ele tenta converter o conteúdo em UTF_8 e depois o verifica como texto simples.

Se um arquivo não for reconhecido durante uma verificação de descoberta, o sistema não o verificará.

Se você tiver uma coleção de arquivos que quer ignorar porque a Proteção de Dados Sensíveis não os reconhece, especifique uma lista de exclusão usando CloudStorageOptions.file_set.regex_file_set.exclude_regex.

Limites de bytes verificados por arquivo

Em geral, é possível limitar o número de bytes verificados por arquivo. No console do Google Cloud , ative a amostragem. Na API Cloud Data Loss Prevention, defina o campo bytes_limit_per_file ou bytesLimitPerFilePercent.

A amostragem não é compatível com os modos de OCR e análise inteligente. Ou seja, quando os seguintes tipos de arquivo são verificados no modo OCR ou de análise inteligente de documentos, a proteção de dados sensíveis ignora todas as configurações aplicadas para limitar os bytes verificados por arquivo.

  • Imagem
  • Microsoft Excel
  • Microsoft PowerPoint
  • Microsoft Word
  • PDF

Se você verificar esses arquivos no modo binário, os limites vão ser aplicados.

Modos de verificação

Cada modo de verificação fornece detalhes de local adicionais nas descobertas de inspeção.

Modo de verificação Notas Mais detalhes do local a serem fornecidos
Binário

Se um arquivo não for analisado como qualquer outro tipo, ele será convertido em UTF_8 e verificado como texto. A verificação binária afeta a qualidade da detecção.

Análise inteligente de documentos

Os documentos são analisados com texto extraído da formatação. As imagens incorporadas são verificadas usando o OCR em regiões com suporte para OCR . Fora dessas regiões, as imagens são verificadas como arquivos binários.

DocumentLocation
Extração de metadados

Todos os arquivos verificados do Cloud Storage terão o metadata verificado, além do conteúdo do arquivo.

MetadataLocation
Reconhecimento óptico de caracteres (OCR)

As imagens são digitalizadas com OCR em regiões com suporte a OCR . Fora dessas regiões, as imagens são verificadas como arquivos binários.

ImageLocation
Texto simples

Nenhum outro detalhe
Análise estruturada

As informações estruturais são usadas para influenciar descobertas. Nesse modo de verificação, a Proteção de dados sensíveis usa as informações de cabeçalho para contextualização. Ela realiza uma análise entre linhas e entre colunas para encontrar dados correlacionados. Por exemplo, o modo de verificação pode identificar um endereço com componentes que estejam distribuídos entre várias colunas de uma linha.

Os resultados da verificação contêm informações estruturais, como a linha que contém a descoberta e o nome da coluna.

As descobertas não ultrapassam os limites das células de uma tabela.

RecordLocation

Verificação de arquivos estruturados no modo de análise estruturada

Ao verificar um arquivo estruturado, como Avro, CSV ou TSV, a Proteção de Dados Sensíveis tenta fazer isso no modo de verificação de análise estruturada. Esse modo de verificação tem uma qualidade de detecção superior em comparação com a verificação binária porque o modo de análise estruturada procura correlações entre linhas e colunas nos dados estruturados. Os resultados são retornados com metadados adicionais que indicam a localização do resultado, incluindo o fieldId.

No entanto, nos casos a seguir, a proteção de dados sensíveis pode voltar ao modo de verificação binária, que não inclui as melhorias do modo de análise estruturada:

  • O arquivo ou cabeçalho está corrompido.
  • A configuração do job de inspeção tem limites de tamanho, como bytesLimitPerFile e bytesLimitPerFilePercent, que são muito pequenos. Por exemplo, se o limite de bytesLimitPerFile não for grande o suficiente para incluir um cabeçalho de bloco completo e pelo menos uma linha de dados válidos, a proteção de dados sensíveis poderá verificar esse arquivo no modo de verificação binária.

A seleção dos dados verificados depende se a amostragem está definida para começar da parte de cima do arquivo ou de uma posição aleatória.

Por exemplo, suponha que você tenha um arquivo Avro com cabeçalhos de bloco de 50 KB e blocos de dados de 2 MB. Em geral, começar a amostragem de cima para baixo ajuda a garantir que o cabeçalho do bloco esteja sempre incluído na amostra coletada pela Proteção de Dados Sensíveis. Se você começar a amostragem de uma posição aleatória no arquivo e o tamanho da amostra for menor que um bloco de dados, há uma chance de que o cabeçalho do bloco não seja incluído na amostra. Neste exemplo, aumentar o tamanho da amostra (especificado por bytesLimitPerFile ou bytesLimitPerFilePercent) para 2,05 MB ajuda a evitar que a inspeção volte ao modo de análise binária.

Exemplo: quando o tamanho da amostra é muito pequeno, a inspeção pode não incluir o cabeçalho do bloco.
Exemplo: quando o tamanho da amostra é muito pequeno, a inspeção pode não incluir o cabeçalho do bloco (clique para ampliar).