本主题详细介绍如何创建 Sensitive Data Protection 检查作业,以及如何通过创建作业触发器来安排定期检查作业。如需快速浏览如何使用 Sensitive Data Protection 界面创建新的作业触发器,请参阅快速入门:创建 Sensitive Data Protection 作业触发器。
关于检查作业和作业触发器
当敏感数据保护执行检查扫描以识别敏感数据时,每次扫描都将作为一项作业运行。每当您指示敏感数据保护检查 Google Cloud 存储区(包括 Cloud Storage 存储分区、BigQuery 表格、Datastore 种类和外部数据)时,敏感数据保护都会创建并运行作业资源。
您可以通过创建作业触发器来安排 Sensitive Data Protection 检查扫描作业。作业触发器会自动定期创建敏感数据保护作业,并可按需运行。
如需详细了解敏感数据保护中的作业和作业触发器,请参阅作业和作业触发器概念页面。
创建新的检查作业
如需创建新的敏感数据保护检查作业,请执行以下操作:
控制台
在 Google Cloud 控制台的“敏感数据保护”部分,前往创建作业或作业触发器页面。
创建作业或作业触发器页面包含以下部分:
选择输入数据
名称
输入作业的名称。可使用字母、数字和连字符。您可以选择为作业命名。如果您未输入名称,敏感数据保护将为该作业提供一个唯一编号标识符。
位置
从存储类型菜单中,选择用于存储要扫描的数据的存储区种类:
- Cloud Storage:输入您要扫描的存储分区的网址,或从位置类型菜单中选择包含/排除,然后点击浏览以导航到您要扫描的存储分区或子文件夹。如果选中以递归方式扫描文件夹复选框,则扫描指定的目录和所有子目录。如果未选中该复选框,则系统只会扫描指定的目录,而不会扫描其中的子目录。
- BigQuery:输入要扫描的项目、数据集和表格的标识符。
- Datastore:输入要扫描的项目、命名空间(可选)和种类的标识符。
- 混合:您可以添加必需标签、可选标签和用于处理表格数据的选项。如需了解详情,请参阅您可以提供的元数据类型。
采样
如果您的数据量非常庞大,可选择使用采样以节省资源。
在采样下,您可以选择是扫描所有选定的数据,还是采样扫描特定百分比的数据。根据您要扫描的存储区类型,采样的工作方式有所不同:
- 对于 BigQuery,您可以根据您指定要包含在扫描范围内的文件百分比,对所选总行数的一部分进行采样。
- 对于 Cloud Storage,如有任何文件超出了要扫描的每个文件的最大字节数中指定的大小,敏感数据保护功能会扫描到文件大小上限为止,然后转到下一个文件。
如需开启采样功能,请从第一个菜单中选择下列其中一个选项:
- 从顶部开始采样:Sensitive Data Protection 将从数据开头处开始部分扫描。对于 BigQuery,这表示将从第一行开始扫描。对于 Cloud Storage,这表示将从每个文件的开头处开始扫描,并在 Sensitive Data Protection 扫描到指定的文件大小上限后停止扫描。
- 随机开始采样:Sensitive Data Protection 会从随机选择的数据位置开始部分扫描。对于 BigQuery,这表示从随机选择的行开始扫描。对于 Cloud Storage,此设置仅适用于超过指定大小上限的文件。如果文件在文件大小上限以内,Sensitive Data Protection 会扫描整个文件;如果文件超过了文件大小上限,则扫描到上限即止。
如需执行部分扫描,您还必须选择要扫描的数据百分比。请使用滑块设置百分比。
您还可以按日期缩小要扫描的文件或记录范围。如需了解具体方法,请参阅本主题后面的时间表。
高级配置
在创建 Cloud Storage 存储分区或 BigQuery 表的扫描作业时,您可以通过指定高级配置来缩小搜索范围。具体来说,您可以配置:
- 文件(仅限 Cloud Storage):要扫描的文件类型,包括文本文件、二进制文件和图片文件。
- 标识字段(仅限 BigQuery):表中的唯一行标识符。
- 对于 Cloud Storage,如有任何文件超出了要扫描的每个文件的最大字节数中指定的大小,敏感数据保护功能会扫描到文件大小上限为止,然后转到下一个文件。
如需开启采样功能,请选择要扫描的数据百分比。请使用滑块设置百分比。然后,从第一个菜单中选择下列其中一个选项:
- 从顶部开始采样:Sensitive Data Protection 将从数据开头处开始部分扫描。对于 BigQuery,这表示将从第一行开始扫描。对于 Cloud Storage,这表示将从每个文件的开头处开始扫描,并在敏感数据保护功能扫描到指定的文件大小上限(参见上文)后停止扫描。
- 随机开始采样:Sensitive Data Protection 会从随机选择的数据位置开始部分扫描。对于 BigQuery,这表示从随机选择的行开始扫描。对于 Cloud Storage,此设置仅适用于超过指定大小上限的文件。如果文件在文件大小上限以内,Sensitive Data Protection 会扫描整个文件;如果文件超过了文件大小上限,则扫描到上限即止。
文件
对于存储在 Cloud Storage 中的文件,您可以在文件下指定要包含在扫描范围内的类型。
您可以选择二进制文件、文本文件、图片文件、CSV 文件、TSV 文件、Microsoft Word 文件、Microsoft Excel 文件、Microsoft Powerpoint 文件、PDF 文件和 Apache Avro 文件。如需查看 Sensitive Data Protection 可以在 Cloud Storage 存储分区中扫描的文件扩展名的详尽列表,请参阅 FileType
。选择二进制会使 Sensitive Data Protection 扫描无法识别的文件类型。
标识字段
对于 BigQuery 中的表,您可以在标识字段字段中指示敏感数据保护在结果中包含表的主键列的值。这样,您就可以将发现结果重新关联到包含它们的表行。
输入用于唯一标识表格中每行的列的名称。必要时,可以使用点表示法指定嵌套字段。您可以根据需要添加任意数量的字段。
您还必须开启保存到 BigQuery 操作,才能将发现结果导出到 BigQuery。将发现结果导出到 BigQuery 时,每个发现结果都包含标识字段的相应值。如需了解详情,请参阅 identifyingFields
。
配置检测
您可以在配置检测部分中指定要扫描的敏感数据类型。您可以选择是否填写此部分。如果您跳过此部分,敏感数据保护功能将扫描您的数据,查找一组默认的 infoTypes。
模板
您可以选择使用 Sensitive Data Protection 模板,以重复使用之前指定的配置信息。
如果您已创建了要使用的模板,请点击模板名称字段以查看现有检查模板的列表。选择或输入要使用的模板的名称。
如需详细了解如何创建模板,请参阅创建敏感数据保护检查模板。
InfoType
InfoType 检测器会查找特定类型的敏感数据。例如,敏感数据保护的 US_SOCIAL_SECURITY_NUMBER
内置 infoType 检测器会查找美国社会保障号。除了内置的 infoType 检测器之外,您还可以自行创建自定义 infoType 检测器。
在 InfoType 下,选择与您要扫描以查找的数据类型相对应的 infoType 检测器。我们不建议您将此部分留空。这样一来,敏感数据保护就会使用一组默认的 infoType 扫描您的数据,其中可能包含您不需要的 infoType。如需详细了解每种检测器,请参阅 InfoType 检测器参考文档。
如需详细了解如何管理本部分中介绍的内置和自定义 infoType,请参阅通过 Google Cloud 控制台管理 infoType。
检查规则集
借助检查规则集,您可以使用上下文规则自定义内置和自定义的 infoType 检测器。检查规则分为两种:
如需添加新的规则集,请先在 InfoTypes 部分中指定一个或多个内置或自定义 infoType 检测器。这些是规则集将修改的 infoType 检测器。然后,执行以下操作:
- 点击 Choose infoTypes 字段。您之前指定的 infoType 会显示在该字段下方的菜单中,如下所示:
- 从菜单中选择一个 infoType,然后点击添加规则。系统随即会显示一个菜单,其中包含两个选项:热词规则和排除规则。
对于热词规则,请选择热词规则。然后,执行以下操作:
- 在热门字词字段中,输入敏感数据保护功能应查找的正则表达式。
- 在热词接近度菜单中,选择是在所选 infoType 之前还是之后找到您输入的热词。
- 在热词与 infoType 的距离中,输入热词与所选 infoType 之间的大致字符数。
- 在置信度调整中,选择是将匹配项分配固定的可能性级别,还是将默认可能性级别提高或降低一定幅度。
对于排除规则,请选择排除规则。然后,执行以下操作:
- 在排除字段中,输入敏感数据保护功能应查找的正则表达式 (regex)。
- 从匹配类型菜单中,选择以下选项之一:
- 完全匹配:发现内容必须与正则表达式完全匹配。
- 部分匹配:相应发现结果的子字符串可以与正则表达式匹配。
- 反向匹配:发现的内容与正则表达式不匹配。
您可以添加其他热词或排除规则和规则集,以进一步优化扫描结果。
置信度阈值
敏感数据保护功能每次检测到可能与敏感数据匹配的内容时,都会为其分配一个可能性值,该值的范围介于“可能性极小”到“可能性极大”之间。在此处设置可能性值时,您会指示 Sensitive Data Protection 仅匹配与该可能性值或更高可能性值对应的数据。
默认值“可能”(Possible) 足以满足大多数情况。如果您经常获得太过宽泛的匹配项,请调高滑块的值。如果匹配项太少,请调低滑块的值。
完成操作后,请点击继续。
添加操作
在添加操作步骤中,选择您希望敏感数据保护在作业完成后执行的一个或多个操作。
您可以配置以下操作:
保存到 BigQuery:将敏感数据保护作业结果保存到 BigQuery 表格。在查看或分析结果之前,请先确保作业已完成。
每次运行扫描时,敏感数据保护都会将扫描结果保存到您指定的 BigQuery 表中。导出的结果包含有关每个结果的位置和匹配可能性的详细信息。如果您希望每个发现结果都包含与 infoType 检测器匹配的字符串,请启用添加引用选项。
如果您未指定表 ID,BigQuery 会在首次运行扫描时为新表分配默认名称。如果您指定的是现有的表格,则敏感数据保护会将扫描结果附加到其中。
如果您未将发现结果保存到 BigQuery,扫描结果将仅包含有关发现结果数量和 infoType 的统计信息。
将数据写入 BigQuery 表时,结算和配额用量将应用于包含目标表的项目。
发布到 Pub/Sub:将包含敏感数据保护作业名称作为属性的通知发布到 Pub/Sub 渠道。您可以指定一个或多个要将通知消息发送到的主题。确保运行扫描作业的 Sensitive Data Protection 服务账号对相应主题拥有发布权限。
发布到 Security Command Center:将作业结果摘要发布到 Security Command Center。如需了解详情,请参阅将敏感数据保护扫描结果发送到 Security Command Center。
发布到 Dataplex:将作业结果发送到 Google Cloud 的元数据管理服务 Dataplex。
通过电子邮件发送通知:在作业完成时发送电子邮件。该电子邮件会发送给 IAM 项目所有者和技术重要联系人。
发布到 Cloud Monitoring:将检查结果发送到 Google Cloud Observability 中的 Cloud Monitoring。
制作去标识化副本:对被检查数据中的所有发现结果进行去标识化处理,并将去标识化内容写入新文件。然后,您可以在业务流程中使用去标识化副本,而不是包含敏感信息的数据。如需了解详情,请参阅在 Google Cloud 控制台中使用 Sensitive Data Protection 创建 Cloud Storage 数据的去标识化副本。
如需了解详情,请参阅操作。
选择好操作后,点击继续。
审核
查看部分包含您刚刚指定的作业设置的 JSON 格式摘要。
点击创建以创建作业(如果未指定时间表)并运行一次作业。系统将显示作业的信息页面,其中包含状态和其他信息。如果作业当前正在运行,您可以点击取消按钮将其停止。您也可以通过点击删除来删除该作业。
如需返回“敏感数据保护”主页面,请点击 Google Cloud 控制台中的返回箭头。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
在 DLP API 中,作业用 DlpJobs
资源来表示。您可以使用 DlpJob
资源的 projects.dlpJobs.create
方法创建新作业。
此示例 JSON 可通过 POST 请求发送到指定的敏感数据保护 REST 端点。此 JSON 示例演示了如何在敏感数据保护中创建作业。该作业是 Datastore 检查扫描。
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。请注意,如果请求成功(即使是在 API Explorer 中创建的请求),就会新建一个作业。如需了解有关如何使用 JSON 将请求发送到 DLP API 的一般信息,请参阅 JSON 快速入门。
JSON 输入:
{
"inspectJob": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"excludeInfoTypes": false,
"includeQuote": true,
"minLikelihood": "LIKELY"
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]"
}
}
}
}
]
}
}
JSON 输出:
以下输出表明已成功创建作业。
{
"name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"minLikelihood": "LIKELY",
"limits": {},
"includeQuote": true
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]",
"tableId": "[TABLE-ID]"
}
}
}
}
]
}
},
"result": {}
},
"createTime": "2020-07-10T07:26:33.643Z"
}
创建新的作业触发器
如需创建新的敏感数据保护作业触发器,请执行以下操作:
控制台
在 Google Cloud 控制台的“敏感数据保护”部分,前往创建作业或作业触发器页面。
创建作业或作业触发器页面包含以下部分:
选择输入数据
名称
输入作业触发器的名称。可使用字母、数字和连字符。 您可以选择为作业触发器命名。如果您未输入名称,敏感数据保护将为该作业触发器提供一个唯一编号标识符。
位置
从存储类型菜单中,选择用于存储要扫描的数据的存储区种类:
- Cloud Storage:输入您要扫描的存储分区的网址,或从位置类型菜单中选择包含/排除,然后点击浏览以导航到您要扫描的存储分区或子文件夹。如果选中以递归方式扫描文件夹复选框,则扫描指定的目录和所有子目录。如果未选中该复选框,则系统只会扫描指定的目录,而不会扫描其中的子目录。
- BigQuery:输入要扫描的项目、数据集和表格的标识符。
- Datastore:输入要扫描的项目、命名空间(可选)和种类的标识符。
采样
如果您的数据量非常庞大,可选择使用采样以节省资源。
在采样下,您可以选择是扫描所有选定的数据,还是采样扫描特定百分比的数据。根据您要扫描的存储区类型,采样的工作方式有所不同:
- 对于 BigQuery,您可以根据您指定要包含在扫描范围内的文件百分比,对所选总行数的一部分进行采样。
- 对于 Cloud Storage,如有任何文件超出了要扫描的每个文件的最大字节数中指定的大小,敏感数据保护功能会扫描到文件大小上限为止,然后转到下一个文件。
如需开启采样功能,请从第一个菜单中选择下列其中一个选项:
- 从顶部开始采样:Sensitive Data Protection 将从数据开头处开始部分扫描。对于 BigQuery,这表示将从第一行开始扫描。对于 Cloud Storage,这表示将从每个文件的开头处开始扫描,并在敏感数据保护功能扫描到指定的文件大小上限(参见上文)后停止扫描。
- 随机开始采样:Sensitive Data Protection 会从随机选择的数据位置开始部分扫描。对于 BigQuery,这表示从随机选择的行开始扫描。对于 Cloud Storage,此设置仅适用于超过指定大小上限的文件。如果文件在文件大小上限以内,Sensitive Data Protection 会扫描整个文件;如果文件超过了文件大小上限,则扫描到上限即止。
如需执行部分扫描,您还必须选择要扫描的数据百分比。请使用滑块设置百分比。
高级配置
在创建 Cloud Storage 存储分区或 BigQuery 表的扫描作业触发器时,您可以通过指定高级配置来缩小搜索范围。具体来说,您可以配置:
- 文件(仅限 Cloud Storage):要扫描的文件类型,包括文本文件、二进制文件和图片文件。
- 标识字段(仅限 BigQuery):表中的唯一行标识符。
- 对于 Cloud Storage,如有任何文件超出了要扫描的每个文件的最大字节数中指定的大小,敏感数据保护功能会扫描到文件大小上限为止,然后转到下一个文件。
如需开启采样功能,请选择要扫描的数据百分比。请使用滑块设置百分比。然后,从第一个菜单中选择下列其中一个选项:
- 从顶部开始采样:Sensitive Data Protection 将从数据开头处开始部分扫描。对于 BigQuery,这表示将从第一行开始扫描。对于 Cloud Storage,这表示将从每个文件的开头处开始扫描,并在敏感数据保护功能扫描到指定的文件大小上限(参见上文)后停止扫描。
- 随机开始采样:Sensitive Data Protection 会从随机选择的数据位置开始部分扫描。对于 BigQuery,这表示从随机选择的行开始扫描。对于 Cloud Storage,此设置仅适用于超过指定大小上限的文件。如果文件在文件大小上限以内,Sensitive Data Protection 会扫描整个文件;如果文件超过了文件大小上限,则扫描到上限即止。
文件
对于存储在 Cloud Storage 中的文件,您可以在文件下指定要包含在扫描范围内的类型。
您可以选择二进制文件、文本文件、图片文件、Microsoft Word、Microsoft Excel、Microsoft PowerPoint、PDF 和 Apache Avro 文件。如需查看 Sensitive Data Protection 可以在 Cloud Storage 存储分区中扫描的文件扩展名的详尽列表,请参阅 FileType
。选择二进制会使 Sensitive Data Protection 扫描无法识别的文件类型。
标识字段
对于 BigQuery 中的表,您可以在标识字段字段中指示敏感数据保护在结果中包含表的主键列的值。这样,您就可以将发现结果重新关联到包含它们的表行。
输入用于唯一标识表格中每行的列的名称。必要时,可以使用点表示法指定嵌套字段。您可以根据需要添加任意数量的字段。
您还必须开启保存到 BigQuery 操作,才能将发现结果导出到 BigQuery。将发现结果导出到 BigQuery 时,每个发现结果都包含标识字段的相应值。如需了解详情,请参阅 identifyingFields
。
配置检测
您可以在配置检测部分中指定要扫描的敏感数据类型。您可以选择是否填写此部分。如果您跳过此部分,敏感数据保护功能将扫描您的数据,查找一组默认的 infoTypes。
模板
您可以选择使用 Sensitive Data Protection 模板,以重复使用之前指定的配置信息。
如果您已创建了要使用的模板,请点击模板名称字段以查看现有检查模板的列表。选择或输入要使用的模板的名称。
如需详细了解如何创建模板,请参阅创建敏感数据保护检查模板。
InfoType
InfoType 检测器会查找特定类型的敏感数据。例如,敏感数据保护的 US_SOCIAL_SECURITY_NUMBER
内置 infoType 检测器会查找美国社会保障号。除了内置的 infoType 检测器之外,您还可以自行创建自定义 infoType 检测器。
在 InfoType 下,选择与您要扫描以查找的数据类型相对应的 infoType 检测器。您也可以将此字段留空以扫描查找所有默认的 infoType。如需详细了解每种检测器,请参阅 InfoType 检测器参考文档。
您还可以在自定义 infoType 部分中添加自定义 infoType 检测器,并在检查规则集部分中自定义内置和自定义 infoType 检测器。
自定义 infoType
检查规则集
借助检查规则集,您可以使用上下文规则自定义内置和自定义的 infoType 检测器。检查规则分为两种:
如需添加新的规则集,请先在 InfoTypes 部分中指定一个或多个内置或自定义 infoType 检测器。这些是规则集将修改的 infoType 检测器。然后,执行以下操作:
- 点击 Choose infoTypes 字段。您之前指定的 infoType 会显示在该字段下方的菜单中,如下所示:
- 从菜单中选择一个 infoType,然后点击添加规则。系统随即会显示一个菜单,其中包含两个选项:热词规则和排除规则。
对于热词规则,请选择热词规则。然后,执行以下操作:
- 在热门字词字段中,输入敏感数据保护功能应查找的正则表达式。
- 在热词接近度菜单中,选择是在所选 infoType 之前还是之后找到您输入的热词。
- 在热词与 infoType 的距离中,输入热词与所选 infoType 之间的大致字符数。
- 在置信度调整中,选择是将匹配项分配固定的可能性级别,还是将默认可能性级别提高或降低一定幅度。
对于排除规则,请选择排除规则。然后,执行以下操作:
- 在排除字段中,输入敏感数据保护功能应查找的正则表达式 (regex)。
- 从匹配类型菜单中,选择以下选项之一:
- 完全匹配:发现内容必须与正则表达式完全匹配。
- 部分匹配:相应发现结果的子字符串可以与正则表达式匹配。
- 反向匹配:发现的内容与正则表达式不匹配。
您可以添加其他热词或排除规则和规则集,以进一步优化扫描结果。
置信度阈值
敏感数据保护功能每次检测到可能与敏感数据匹配的内容时,都会为其分配一个可能性值,该值的范围介于“可能性极小”到“可能性极大”之间。在此处设置可能性值时,您会指示 Sensitive Data Protection 仅匹配与该可能性值或更高可能性值对应的数据。
默认值“可能”(Possible) 足以满足大多数情况。如果您经常获得太过宽泛的匹配项,请调高滑块的值。如果匹配项太少,请调低滑块的值。
完成操作后,请点击继续。
添加操作
在添加操作步骤中,选择您希望敏感数据保护在作业完成后执行的一个或多个操作。
您可以配置以下操作:
保存到 BigQuery:将敏感数据保护作业结果保存到 BigQuery 表格。在查看或分析结果之前,请先确保作业已完成。
每次运行扫描时,敏感数据保护都会将扫描结果保存到您指定的 BigQuery 表中。导出的结果包含有关每个结果的位置和匹配可能性的详细信息。如果您希望每个发现结果都包含与 infoType 检测器匹配的字符串,请启用添加引用选项。
如果您未指定表 ID,BigQuery 会在首次运行扫描时为新表分配默认名称。如果您指定的是现有的表格,则敏感数据保护会将扫描结果附加到其中。
如果您未将发现结果保存到 BigQuery,扫描结果将仅包含有关发现结果数量和 infoType 的统计信息。
将数据写入 BigQuery 表时,结算和配额用量将应用于包含目标表的项目。
发布到 Pub/Sub:将包含敏感数据保护作业名称作为属性的通知发布到 Pub/Sub 渠道。您可以指定一个或多个要将通知消息发送到的主题。确保运行扫描作业的 Sensitive Data Protection 服务账号对相应主题拥有发布权限。
发布到 Security Command Center:将作业结果摘要发布到 Security Command Center。如需了解详情,请参阅将敏感数据保护扫描结果发送到 Security Command Center。
发布到 Dataplex:将作业结果发送到 Google Cloud 的元数据管理服务 Dataplex。
通过电子邮件发送通知:在作业完成时发送电子邮件。该电子邮件会发送给 IAM 项目所有者和技术重要联系人。
发布到 Cloud Monitoring:将检查结果发送到 Google Cloud Observability 中的 Cloud Monitoring。
制作去标识化副本:对被检查数据中的所有发现结果进行去标识化处理,并将去标识化内容写入新文件。然后,您可以在业务流程中使用去标识化副本,而不是包含敏感信息的数据。如需了解详情,请参阅在 Google Cloud 控制台中使用 Sensitive Data Protection 创建 Cloud Storage 数据的去标识化副本。
如需了解详情,请参阅操作。
选择好操作后,点击继续。
时间表
在时间表部分中,您可以执行下面两项操作:
- 指定时间范围:此选项可按日期限制要扫描的文件或行。 点击开始时间可指定要涵盖的最早文件时间戳。将此值留空可指定所有文件。点击结束时间可指定要涵盖的最晚文件时间戳。将此值留空即表示不设时间戳上限。
创建一个触发器来定期运行作业:此选项会将作业转换为按定期时间表运行的作业触发器。若未指定时间表,您实际上等于创建了一个立即启动并只运行一次的作业。如需创建定期运行的作业触发器,必须设置此选项。
默认值也是最小值:24 小时。最大值为 60 天。
如果您希望敏感数据保护功能仅扫描新的文件或行,请选择仅扫描新内容。对于 BigQuery 检查,只有至少已存在三个小时的行才会包含在扫描范围内。请参阅与此操作相关的已知问题。
审核
查看部分包含您刚刚指定的作业设置的 JSON 格式摘要。
点击创建以创建作业触发器(如果指定了时间表)。系统将显示作业触发器的信息页面,其中包含状态和其他信息。 如果作业当前正在运行,您可以点击取消按钮将其停止。您也可以通过点击删除来删除该作业。
如需返回“敏感数据保护”主页面,请点击 Google Cloud 控制台中的返回箭头。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
在 DLP API 中,作业触发器用 JobTrigger
资源来表示。您可以使用 JobTrigger
资源的 projects.jobTriggers.create
方法创建新的作业触发器。
此示例 JSON 可通过 POST 请求发送到指定的敏感数据保护 REST 端点。此 JSON 示例演示了如何在敏感数据保护中创建作业触发器。此触发器将触发的作业是 Cloud Datastore 检查扫描。创建的作业触发器每 86400 秒(即 24 小时)运行一次。
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。请注意,如果请求成功(即使是在 API Explorer 中),就会创建一个新的计划扫描作业。如需了解有关如何使用 JSON 将请求发送到 DLP API 的一般信息,请参阅 JSON 快速入门。
JSON 输入:
{
"jobTrigger":{
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"status":"HEALTHY",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"kind":{
"name":"Example-Kind"
},
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
}
}
}
JSON 输出:
以下输出表明已成功创建作业触发器。
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
}
列出所有作业
如需列出当前项目的所有作业,请执行以下操作:
控制台
在 Google Cloud 控制台中,前往“敏感数据保护”页面。
点击检查标签页,然后点击检查作业子标签页。
控制台会以列表形式显示当前项目的所有作业,包括作业标识符、状态、创建时间和结束时间。您可以通过点击作业标识符来获取有关该作业的更多信息(包括其结果摘要)。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
DlpJob
资源具有 projects.dlpJobs.list
方法,您可以使用该方法列出所有作业。
如需列出项目中当前定义的所有作业,请向 dlpJobs
端点发送 GET 请求,如下所示:
网址:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
以下 JSON 输出列出了返回的其中一个作业。请注意,该作业的结构建立了 DlpJob
资源结构的镜像。
JSON 输出:
{
"jobs":[
{
"name":"projects/[PROJECT-ID]/dlpJobs/i-5270277269264714623",
"type":"INSPECT_JOB",
"state":"DONE",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"[CLOUD-STORAGE-URL]"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"startTime":"2019-09-08T22:43:16.623Z",
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
},
{
"name":"CANADA_SOCIAL_INSURANCE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[TABLE-ID]"
}
}
}
}
]
}
},
"result":{
...
}
},
"createTime":"2019-09-09T22:43:16.918Z",
"startTime":"2019-09-09T22:43:16.918Z",
"endTime":"2019-09-09T22:43:53.091Z",
"jobTriggerName":"projects/[PROJECT-ID]/jobTriggers/sample-trigger2"
},
...
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。如需了解有关如何使用 JSON 将请求发送到 DLP API 的常规信息,请参阅 JSON 快速入门。
列出所有作业触发器
如需列出当前项目的所有作业触发器,请执行以下操作:
控制台
在 Google Cloud 控制台中,前往“敏感数据保护”页面。
在检查标签页的作业触发器子标签页中,控制台会显示当前项目的所有作业触发器的列表。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
JobTrigger
资源具有 projects.jobTriggers.list
方法,您可以使用该方法列出所有作业触发器。
如需列出项目中当前定义的所有作业触发器,请向 jobTriggers
端点发送 GET 请求,如下所示:
网址:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers?key={YOUR_API_KEY}
以下 JSON 输出列出了我们在上一节中创建的作业触发器。请注意,该作业触发器的结构建立了 JobTrigger
资源结构的镜像。
JSON 输出:
{
"jobTriggers":[
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
},
...
],
"nextPageToken":"KkwKCQjivJ2UpPreAgo_Kj1wcm9qZWN0cy92ZWx2ZXR5LXN0dWR5LTE5NjEwMS9qb2JUcmlnZ2Vycy8xNTA5NzEyOTczMDI0MDc1NzY0"
}
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。如需了解有关如何使用 JSON 将请求发送到 DLP API 的常规信息,请参阅 JSON 快速入门。
删除作业
如需从项目中删除某项作业(包括其结果),请执行以下操作。 此操作不会影响外部保存(如保存到 BigQuery)的任何结果。
控制台
在 Google Cloud 控制台中,前往“敏感数据保护”页面。
点击检查标签页,然后点击检查作业子标签页。 Google Cloud 控制台会显示当前项目的所有作业的列表。
在要删除的作业触发器对应的操作列中,点击更多操作菜单(显示为纵向排列的三个点)
,然后点击删除。
或者,从作业列表中,点击要删除的作业的标识符。在作业的详细信息页面上,点击删除。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
如需从当前项目中删除某项作业,请向 dlpJobs
端点发送 DELETE 请求,如下所示。将 [JOB-IDENTIFIER]
字段替换为以 i-
开头的作业标识符。
网址:
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
如果请求成功,DLP API 将返回成功响应。如需验证作业已成功删除,请列出所有作业。
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。如需了解有关如何使用 JSON 将请求发送到 DLP API 的常规信息,请参阅 JSON 快速入门。
删除作业触发器
控制台
在 Google Cloud 控制台中,前往“敏感数据保护”页面。
在检查标签页的作业触发器子标签页中,控制台会显示当前项目的所有作业触发器的列表。
在要删除的作业触发器对应的操作列中,点击更多操作菜单(显示为纵向排列的三个点)
,然后点击删除。
或者,从作业触发器列表中,点击要删除的作业触发器的名称。在作业触发器的详细信息页面上,点击删除。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
如需从当前项目中删除某作业触发器,请向 jobTriggers
端点发送 DELETE 请求,如下所示。将 [JOB-TRIGGER-NAME]
字段替换为该作业触发器的名称。
网址:
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers/[JOB-TRIGGER-NAME]?key={YOUR_API_KEY}
如果请求成功,DLP API 将返回成功响应。如需验证作业触发器已成功删除,请列出所有作业触发器。
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。如需了解有关如何使用 JSON 将请求发送到 DLP API 的常规信息,请参阅 JSON 快速入门。
获取作业
如需从项目中获取某项作业(包括其结果),请执行以下操作。此操作不会影响外部保存(如保存到 BigQuery)的任何结果。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
如需从当前项目获取作业,请向 dlpJobs
端点发送 GET 请求,如此出所示。将 [JOB-IDENTIFIER]
字段替换为以 i-
开头的作业标识符。
网址:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
如果请求成功,DLP API 将返回成功响应。
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。如需了解有关如何使用 JSON 将请求发送到 DLP API 的常规信息,请参阅 JSON 快速入门。
强制立即运行作业触发器
创建作业触发器后,您可以通过激活该触发器来强制立即执行该触发器以进行测试。为此,请运行以下命令:
curl --request POST \
-H "Content-Type: application/json" \
-H "Accept: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
'https://dlp.googleapis.com/v2/JOB_TRIGGER_NAME:activate'
替换以下内容:
- PROJECT_ID:用于结算与请求关联的访问费用的 Google Cloud 项目 ID。
- JOB_TRIGGER_NAME:作业触发器的完整资源名称,例如
projects/my-project/locations/global/jobTriggers/123456789
。
更新现有的作业触发器
除了创建、列出和删除作业触发器之外,您还可以更新现有的作业触发器。如需更改现有作业触发器的配置,请执行以下操作:
控制台
在 Google Cloud 控制台中,前往“敏感数据保护”页面。
点击检查标签页,然后点击作业触发器子标签页。
控制台会显示当前项目的所有作业触发器的列表。
在要删除的作业触发器的操作列中,点击更多 more_vert,然后点击查看详细信息。
在作业触发器详情页面上,点击修改。
在“修改触发器”页面上,您可以更改输入数据的位置、检测详细信息(如模板、infoType 或可能性)、任何扫描后操作以及作业触发器的时间表。完成更改后,请点击保存。
C#
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Go
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
PHP
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
如需了解如何安装和使用敏感数据保护客户端库,请参阅 敏感数据保护客户端库。
如需向 Sensitive Data Protection 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
REST
使用 projects.jobTriggers.patch
方法向 DLP API 发送新的 JobTrigger
值,以更新指定作业触发器中的这些值。
例如,请考虑下面这个简单的作业触发器。此 JSON 是在向当前项目的作业触发器端点发送 GET 请求后返回的,表示作业触发器。
JSON 输出:
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
}
],
"minLikelihood":"POSSIBLE",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:19:45.774841Z",
"status":"HEALTHY"
}
下面的 JSON 在通过 PATCH 请求发送到指定端点时,会使用要扫描的新 infoType 和新的最小可能性更新给定的作业触发器。请注意,您还必须指定 updateMask
属性,并指定其值为 FieldMask
格式。
JSON 输入:
PATCH https://dlp.googleapis.com/v2/projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]?key={YOUR_API_KEY}
{
"jobTrigger":{
"inspectJob":{
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY"
}
}
},
"updateMask":"inspectJob(inspectConfig(infoTypes,minLikelihood))"
}
将此 JSON 发送到指定网址后,它会返回以下内容,表示更新后的作业触发器。请注意,原始的 infoType 和可能性值已替换为新值。
JSON 输出:
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:27:01.650183Z",
"lastRunTime":"1970-01-01T00:00:00Z",
"status":"HEALTHY"
}
如需快速尝试此操作,您可以使用下面嵌入的 API Explorer。如需了解有关如何使用 JSON 将请求发送到 DLP API 的常规信息,请参阅 JSON 快速入门。
作业延迟时间
我们不保证作业和作业触发器的服务等级目标 (SLO)。延迟时间受多种因素影响,包括要扫描的数据量、要扫描的存储区、要扫描的 infoType 的类型和数量、作业处理所在的区域以及该区域可用的计算资源。因此,无法预先确定检查作业的延迟时间。
如需帮助减少作业延迟时间,您可以尝试以下方法:
- 如果您的作业或作业触发器支持抽样,请启用该功能。
避免启用不需要的 infoType。虽然以下信息类型在某些情况下很有用,但与不包含这些信息类型的请求相比,包含这些信息类型的请求的运行速度可能会慢得多:
PERSON_NAME
FEMALE_NAME
MALE_NAME
FIRST_NAME
LAST_NAME
DATE_OF_BIRTH
LOCATION
STREET_ADDRESS
ORGANIZATION_NAME
始终明确指定 infoType。请勿使用空的 infoType 列表。
如果可能,请使用其他处理区域。
如果在尝试这些方法后作业仍存在延迟问题,请考虑使用 content.inspect
或 content.deidentify
请求,而不是作业。这些方法受服务等级协议的约束。如需了解详情,请参阅敏感数据保护服务等级协议。
仅扫描新内容
您可以配置作业触发器,以自动为存储在 Cloud Storage 或 BigQuery 中的文件设置时间范围日期。将 TimespanConfig
对象设置为自动填充后,敏感数据保护功能将仅扫描自上次触发器运行以来添加或修改的数据:
...
timespan_config {
enable_auto_population_of_timespan_config: true
}
...
对于 BigQuery 检查,只有至少已存在三个小时的行才会包含在扫描范围内。请参阅与此操作相关的已知问题。
在文件上传时触发作业
除了支持敏感数据保护中内置的作业触发器之外,Google Cloud 还具有可用于集成或触发敏感数据保护作业的其他多种组件。例如,每次将文件上传到 Cloud Storage 时,您都可以使用 Cloud Run 函数触发敏感数据保护扫描。
如需了解如何设置此操作,请参阅对上传到 Cloud Storage 的数据进行自动分类。
成功完成但未检查任何数据的作业
即使未扫描到任何数据,作业也可能成功完成。以下示例场景可能会导致这种情况:
- 该作业配置为检查存在但为空的特定数据资产(例如文件)。
- 作业配置为检查不存在或已不存在的数据资产。
- 该作业配置为检查一个空的 Cloud Storage 存储桶。
- 该作业配置为检查存储桶,并且递归扫描已停用。在顶级,存储桶仅包含文件夹,这些文件夹中又包含文件。
- 作业配置为仅检查存储桶中的特定文件类型,但存储桶中没有任何此类文件。
- 该作业配置为仅检查新内容,但自上次运行该作业后,未收到任何更新。
在 Google Cloud 控制台中的作业详情页面上,扫描的字节数字段会指定作业检查了多少数据。在 DLP API 中,processedBytes
字段用于指定检查了多少数据。
后续步骤
- 详细了解如何在存储空间中创建去标识化的数据副本。