分析单个项目中的 Vertex AI 数据

本页面介绍了如何在项目级配置 Vertex AI 数据发现。如果您想分析组织或文件夹,请参阅分析组织或文件夹中的 Vertex AI 数据

如需详细了解发现服务,请参阅数据配置文件

准备工作

  1. 确保您的项目已启用 Cloud Data Loss Prevention API:

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    6. Verify that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Enable the API

    8. 确认您拥有在项目级层配置数据剖析文件所需的 IAM 权限。

    9. 您必须在每个包含要剖析的数据的区域中都有一个检查模板。如果您想在多个区域中使用单个模板,可以使用存储在 global 区域中的模板。如果组织政策禁止您在 global 区域中创建检查模板,则您必须为每个区域设置专用检查模板。如需了解详情,请参阅数据驻留注意事项

      此任务仅允许您在 global 区域中创建检查模板。 如果您需要为一个或多个区域提供专用检查模板,则必须先创建这些模板,然后再执行此任务。

    10. 您可以配置 Sensitive Data Protection,以便在发生某些事件时(例如 Sensitive Data Protection 分析新数据集时)向 Pub/Sub 发送通知。如果您想使用此功能,必须先创建 Pub/Sub 主题

    11. 创建扫描配置

      1. 转到创建扫描配置页面。

        转到“创建扫描配置”

      2. 前往您的项目。在工具栏上,点击项目选择器,然后选择您的项目。

      以下部分详细介绍了创建扫描配置页面中的各个步骤。在每个部分结束时,点击继续

      选择发现类型

      选择 Vertex AI

      选择范围

      执行下列其中一项操作:

      • 如果您想扫描单个数据集,请选择扫描一个数据集

        对于每个数据集,您只能有一个单资源扫描配置。如需了解详情,请参阅分析单个数据资源

        填写要进行剖析的数据集的详细信息。

      • 如果您想执行标准项目级分析,请选择扫描所选项目

      管理时间表

      如果默认分析频率符合您的需求,您可以跳过创建扫描配置页面的这一部分。

      配置此部分的原因如下:

      • 对所有数据或特定数据子集的分析频率进行精细调整。
      • 用于指定您不想进行分析的数据集。
      • 用于指定您不希望多次进行剖析的数据集。

      如需对性能分析频率进行精细调整,请按以下步骤操作:

      1. 点击添加日程
      2. 过滤条件部分,您可以定义一个或多个过滤条件,以指定哪些数据集在相应时间表的范围内。如果数据集与定义的至少一个过滤条件匹配,则视为在相应时间表的范围内。

        如需配置过滤条件,请指定项目 ID 或用于指定一个或多个项目的正则表达式。

        正则表达式必须遵循 RE2 语法

        例如,如果您希望将项目中的所有数据集都纳入过滤条件,请在项目 ID 字段中输入项目 ID。

        如果您想添加更多过滤条件,请点击添加过滤条件,然后重复此步骤。

      3. 点击频次

      4. 频率部分,指定发现服务是否应剖析您选择的数据集,以及剖析频率:

        • 如果您不希望系统分析数据集,请关闭分析此数据

        • 如果您希望至少对数据集进行一次分析,请保持分析此数据处于开启状态。

          在此部分的后续字段中,您可以指定系统是否应重新分析数据,以及哪些事件应触发重新分析操作。如需了解详情,请参阅生成数据分析的频率

          1. 对于按时间表,请指定您希望重新分析数据集的频率。无论数据集是否发生任何更改,系统都会重新分析其配置文件。
          2. 对于检查模板发生更改时,请指定您是否希望在关联的检查模板更新时重新分析数据,如果希望,请指定重新分析的频率。

            当发生以下任一情况时,系统会检测到检查模板发生了更改:

            • 扫描配置中的检查模板名称发生更改。
            • 检查模板的 updateTime 发生变化。

          3. 例如,如果您为 us-west1 区域设置了检查模板,并且您更新了该检查模板,则只有 us-west1 区域中的数据会被重新分析。

      5. 可选:点击条件

        条件部分,您可以指定数据集(在过滤条件中定义)在 Sensitive Data Protection 分析之前必须满足的任何条件。

        如果需要,请设置以下内容:

        • 最低条件:如果您希望在数据集达到特定存在时间后再对其进行分析,请启用此选项。然后,输入最短时长。

        • 时间条件:如果您不希望系统分析旧数据集,请启用此选项。然后,使用日期选择器选择日期和时间。 在所选时间戳当天或之前创建的任何数据集都将从分析中排除。

        示例条件

        假设您有以下配置:

        • 最低条件

          • 最短时长:24 小时
        • 时间条件

          • 时间戳:05/4/22,晚上 11:59

        在这种情况下,Sensitive Data Protection 会排除在 2022 年 5 月 4 日晚上 11:59 或之前创建的任何数据集。在相应日期和时间之后创建的数据集中,Sensitive Data Protection 仅会分析至少创建 24 小时的数据集。

      6. 点击完成

      7. 可选:如需添加更多安排,请点击添加安排,然后重复上述步骤。

      8. 如需指定各个安排之间的优先级,请使用 向上箭头和 向下箭头重新排序。

        时间表的顺序指定了如何解决时间表之间的冲突。如果某个数据集同时满足两个不同时间表的过滤条件,则时间表列表中位置较靠前的时间表会决定相应数据集的分析频率。

      9. 可选:修改或关闭兜底时间安排

        列表中的最后一个时间表是包罗万象的时间表。此时间表涵盖您所选范围内的所有数据集,但这些数据集不符合您创建的任何时间表。包罗万象的时间表遵循系统默认的剖析频率

        • 如需调整“全部”时间表,请点击 修改时间表,然后根据需要调整设置。
        • 如需防止 Sensitive Data Protection 分析全盘扫描时间表涵盖的任何资源,请关闭对与任何自定义时间表都不匹配的资源进行分析

      选择检查模板

      根据您希望提供检查配置的方式,选择以下选项之一。无论您选择哪个选项,敏感数据保护都会扫描数据存储区域中的数据。也就是说,您的数据不会离开其原始区域。

      选项 1:创建检查模板

      如果您想在 global 区域中创建新的检查模板,请选择此选项。

      1. 点击创建新的检查模板
      2. 可选:如需修改默认选择的 infoType,请点击管理 infoType

        如需详细了解如何管理内置和自定义 infoType,请参阅通过Google Cloud 控制台管理 infoType

        您必须至少选择一种 infoType 才能继续。

      3. 可选:通过添加规则集并设置置信度阈值,进一步配置检查模板。如需了解详情,请参阅配置检测

      Sensitive Data Protection 创建扫描配置时,会将此新检查模板存储在 global 区域中。

      方法 2:使用现有的检查模板

      如果您有想要使用的现有检查模板,请选择此选项。

      1. 点击选择现有的检查模板
      2. 输入您要使用的检查模板的完整资源名称。 区域字段会自动填充检查模板的存储区域名称。

        您输入的检查模板必须与要剖析的数据位于同一区域。

        为了遵循数据驻留要求,Sensitive Data Protection 不会使用存储区域以外的检查模板。

        如需查找检查模板的完整资源名称,请按以下步骤操作:

        1. 转到检查模板列表。系统会在另一个标签页中打开此页面。

          前往检查模板

        2. 切换到包含您要使用的检查模板的项目。
        3. 模板标签页上,点击要使用的模板的 ID。
        4. 在打开的页面上,复制模板的完整资源名称。完整资源名称采用以下格式:
          projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
        5. 创建扫描配置页面上,在模板名称字段中粘贴模板的完整资源名称。
      3. 如需添加其他区域的检查模板,请点击添加检查模板,然后输入模板的完整资源名称。针对您拥有专用检查模板的每个区域重复此操作。
      4. 可选:添加存储在 global 区域中的检查模板。 敏感数据保护功能会自动将该模板用于您没有专用检查模板的区域中的数据。

      添加操作

      本部分介绍如何指定在对数据集进行分析后,您希望敏感数据保护功能采取的操作。如果您想将从数据分析中获得的分析洞见发送到其他Google Cloud 服务,这些操作会非常有用。

      发布到 Security Command Center

      Security Command Center 中对漏洞和威胁发现结果进行分类并制定应对方案时,数据剖析的发现结果可提供相关背景信息。

      您必须先在组织级层激活 Security Command Center,然后才能使用此操作。在组织级层启用 Security Command Center 可实现从集成服务(例如敏感数据保护)获取发现结果。Sensitive Data Protection 可与 Security Command Center 的所有服务层级配合使用。

      如果未在组织级层激活 Security Command Center,则 Sensitive Data Protection 发现结果不会显示在 Security Command Center 中。如需了解详情,请参阅查看 Security Command Center 的激活级层

      如需将数据分析结果发送到 Security Command Center,请确保发布到 Security Command Center 选项处于开启状态。

      如需了解详情,请参阅将数据分析结果发布到 Security Command Center

      将数据配置文件副本保存到 BigQuery

      敏感数据保护功能会将每个生成的数据剖析文件的副本保存到 BigQuery 表中。如果您未提供首选表的详细信息,Sensitive Data Protection 会在项目中创建数据集和表。默认情况下,数据集名为 sensitive_data_protection_discovery,表名为 discovery_profiles

      使用此选项可以保留所有已生成剖析文件的历史记录。此历史记录可用于创建审核报告和直观呈现数据配置文件。您还可以将这些信息加载到其他系统。

      此外,使用此选项,您可以在一个视图中查看所有数据剖析文件,而不考虑数据位于哪个区域。虽然您也可以通过Google Cloud 控制台查看数据分析,但控制台一次只能显示一个区域的分析。

      如果敏感数据保护功能无法分析数据集,它会定期重试。为了最大限度地减少导出数据中的噪声,敏感数据保护仅将成功生成的剖析文件导出到 BigQuery。

      Sensitive Data Protection 会从您开启此选项时开始导出剖析文件。在您启用导出功能之前生成的数据分析文件不会保存到 BigQuery。

      如需查看可在分析数据剖析时使用的示例查询,请参阅分析数据剖析

      将发现结果示例保存到 BigQuery

      敏感数据保护可以将抽样结果添加到您选择的 BigQuery 表中。抽样结果仅代表部分结果,可能无法代表发现的所有 infoType。 通常,系统会为每个数据集生成大约 10 个发现结果样本,但此数量可能会因每次发现运行而异。

      每项发现结果都包含检测到的实际字符串(也称为引用)及其确切位置。

      如果您想评估检查配置是否正确匹配了您想标记为敏感的信息类型,此操作会非常有用。使用导出的数据配置文件和导出的样本发现结果,您可以运行查询来获取有关被标记的特定项、它们匹配的 infoType、它们的确切位置、计算出的敏感度级别和其他详细信息的更多信息。

      如需将发现结果示例保存到 BigQuery 表中,请按以下步骤操作:

      1. 开启将发现结果示例保存到 BigQuery

      2. 输入要保存发现结果示例的 BigQuery 表的详细信息。

        您为此操作指定的表必须不同于用于将数据剖析文件副本保存到 BigQuery 操作的表。

        • 对于项目 ID,请输入要将发现结果导出到的现有项目的 ID。

        • 数据集 ID 中,输入项目中现有数据集的名称。

        • 表 ID 部分,输入您要将发现结果保存到的 BigQuery 表的名称。如果此表不存在,Sensitive Data Protection 会使用您提供的名称自动为您创建此表。

      如需了解保存在 BigQuery 表中的每项发现结果的内容,请参阅 DataProfileFinding

      发布到 Pub/Sub

      启用发布到 Pub/Sub 后,您可以根据分析结果采取程序化操作。您可以使用 Pub/Sub 通知来开发工作流,以捕获和修正具有重大数据风险或敏感性的发现结果。

      如需向 Pub/Sub 主题发送通知,请按以下步骤操作:

      1. 开启发布到 Pub/Sub

        系统会显示一个选项列表。每个选项都描述了一个事件,该事件会导致 Sensitive Data Protection 向 Pub/Sub 发送通知。

      2. 选择应触发 Pub/Sub 通知的事件。

        如果您选择每当更新配置文件时就发送 Pub/Sub 通知,Sensitive Data Protection 会在配置文件中的敏感度级别、数据风险级别、检测到的 infoType、公开访问权限和其他重要指标发生变化时发送通知。

      3. 对于您选择的每个活动,请按以下步骤操作:

        1. 输入主题的名称。名称必须采用以下格式:

          projects/PROJECT_ID/topics/TOPIC_ID
          

          替换以下内容:

          • PROJECT_ID:与 Pub/Sub 主题关联的项目的 ID。
          • TOPIC_ID:Pub/Sub 主题的 ID。
        2. 指定是在通知中包含完整的数据集分析,还是仅包含已分析的数据集的完整资源名称。

        3. 设置必须满足的最低数据风险等级和敏感程度,以便 Sensitive Data Protection 发送通知。

        4. 指定是必须满足数据风险和敏感度条件中的一个还是两个。例如,如果您选择 AND,则必须同时满足数据风险条件和敏感度条件,Sensitive Data Protection 才会发送通知。

      以切面形式发送到 Dataplex Universal Catalog

      此操作可让您根据数据分析中的信息,向已分析的数据集添加 Dataplex Universal Catalog 切面。此操作仅适用于新个人资料和更新后的个人资料。 未更新的现有个人资料不会发送到 Dataplex Universal Catalog。

      启用此操作后,敏感数据保护会为分析的每个新数据集或更新的数据集将 Sensitive Data Protection profile 方面附加到 Dataplex Universal Catalog 条目。生成的方面包含从数据配置文件中收集的分析洞见。然后,您可以在组织和项目中搜索具有特定 Sensitive Data Protection profile 方面值的条目。

      如需将数据分析文件发送到 Dataplex Universal Catalog,请确保已开启以切面形式发送到 Dataplex Catalog 选项。

      如需了解详情,请参阅根据数据分析提供的分析洞见添加 Dataplex Universal Catalog 切面

      为图片设置后备处理位置

      一般来说,敏感数据保护功能会在数据存储的位置处理数据。不过,图片只能在多区域或 global 区域中处理。如果您设置了后备位置,则 Sensitive Data Protection 会使用您的后备位置来处理不在多区域或 global 区域中的图片。如果您跳过此部分,系统将不会处理这些图片。

      如需设置图片处理的后备位置,请选择以下一个或两个选项:

      • 回退到多区域:如果无法在映像的原始位置处理映像,则会在与映像的原始位置对应的多区域中处理映像。如果图片的原始位置没有对应的多区域,则系统会跳过该图片。
      • 回退到全球:如果无法在原始位置处理图片,则在 global 区域处理图片。

      如果您同时选择这两个选项,Sensitive Data Protection 会选择将哪个位置用作后备位置。

      设置用于存储配置的位置

      点击资源位置列表,然后选择要存储此扫描配置的区域。您日后创建的所有扫描配置也将存储在此位置。

      您选择存储扫描配置的位置不会影响要扫描的数据。系统会扫描存储数据的同一个区域中的数据。如需了解详情,请参阅数据驻留注意事项

      检查并创建

      1. 如果您想确保在创建扫描配置后剖析不会自动开始,请选择在暂停模式下创建扫描

        此选项适用于以下情况:

        • 您选择将数据剖析文件保存到 BigQuery,并希望确保服务代理对将要保存数据剖析文件副本的 BigQuery 表具有写入权限。
        • 您已选择将发现结果示例保存到 BigQuery,并且想要确保服务代理对将要保存示例发现结果的 BigQuery 表具有写入权限。
        • 您已配置 Pub/Sub 通知,并希望向服务代理授予发布访问权限
      2. 检查设置,然后点击创建

        Sensitive Data Protection 会创建扫描配置并将其添加到发现扫描配置列表中。

      如需查看或管理扫描配置,请参阅管理扫描配置

      后续步骤

    12. 了解如何管理数据分析文件
    13. 了解如何管理扫描配置
    14. 了解如何接收和解析数据分析器发布的 Pub/Sub 消息
    15. 了解如何排查数据分析文件方面的问题