管理方面和丰富元数据

本文档介绍了如何创建和管理方面类型,以及如何使用方面注释条目。

Dataplex Universal Catalog 通过一组切面来描述条目。您可以使用切面和切面类型通过其他元数据来描述条目。

如需了解详情,请参阅 Dataplex Universal Catalog 中的数据目录管理简介

切面

利用切面,您可以捕获条目中的元数据。向条目添加方面有助于为每个需要使用资源的人员提供有意义的上下文。您可以使用方面来存储业务元数据(例如数据分类)和技术元数据(例如架构)。

方面被视为条目资源的一部分,而不是单独的资源。修改切面时,需要修改包含该切面的条目。

您可以在条目级指定用于描述条目的方面,也可以在列级指定用于描述条目中列的方面。

每个方面都是相应方面类型的一个实例。切面类型为其切面定义模板。每个方面类型都包含一组字段。创建方面时,您必须为这些字段提供值。

对于给定的条目,每种方面类型最多只能有一个与之关联的方面。您可以为每个方面类型关联多个与条目列相关的方面。

方面类别

方面分为以下几类:

  • 必需切面:创建条目时必须提供的切面。 此类方面由给定条目的条目类型定义。属于某个条目类型的所有条目都必须始终具有该条目类型定义的所有必需切面。

    Dataplex Universal Catalog 会管理系统条目所需的方面(例如架构)。

    请注意以下几点:

    • 您只能将必需方面与条目相关联,而不能与条目的列相关联。

    • 您无法从条目中删除必需的方面。

    • 您可以读取系统条目的必需方面,但无法修改它们。

  • 可选切面:您可以将可选切面与条目或条目列相关联。您可以在创建条目时填充可选切面,也可以稍后通过更新条目来填充。

    填充可选方面后,您可以将其删除。

切面类型

切面类型是可重复使用的资源,可为切面提供模板。

切面类型类别

方面类型分为以下几类:

  • 自定义切面类型:您在 Dataplex Universal Catalog 中创建的切面类型。

  • 系统切面类型:由 Dataplex Universal Catalog 提供、使用和管理的切面类型。

    系统切面类型进一步分为可重用和受限两种。 下表介绍了系统方面类型类别,以及 Dataplex Universal Catalog 为每个类别提供的方面类型列表:

    系统方面类型的类别 说明 Dataplex Universal Catalog 提供的切面类型
    可重用的系统方面类型 您可以使用这些切面类型来创建或修改切面。
    • contacts
    • data-quality-scorecard
    • generic
    • overview
    • schema
    • usage
    受限的系统方面类型 Dataplex Universal Catalog 会管理这些切面类型。
    您可以读取这些方面类型下的方面,但无法在这些方面类型下创建或修改方面。
    包括但不限于:
    • analytics-hub
    • aspecttype-aspect
    • bigquery-dataset
    • bigquery-table
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-table
    • entrygroup-aspect
    • entrytype-aspect
    • sensitive-data-protection-profile
    • storage
    • storage-bucket
    • storage-folder

自定义方面类型可以是全球性的,也可以是地区性的。您可以在特定区域位置创建自定义方面类型,也可以将其创建为全球性资源。

全局切面类型用于为任何区域中的条目创建切面。 全局切面类型的内容会复制到所有区域。区域级切面类型用于为同一区域中的条目创建切面。

切面类型的位置会影响其适用范围。 如需了解详情,请参阅项目和位置限制

系统方面类型始终是全局性的。系统方面类型存储在项目 ID 为 655216118709 的 Google 管理项目中。例如 projects/655216118709/locations/global/aspectTypes/schema

准备工作

在创建和管理方面类型及方面之前,请完成本部分中所述的任务。

所需的角色

如需获得创建和管理方面类型及方面所需的权限,请让管理员为您授予资源的以下 IAM 角色:

  • 对 Dataplex Universal Catalog 中的元数据资源(包括切面类型)拥有全套权限: Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
  • 在 Dataplex Universal Catalog 中创建和管理元数据资源,包括切面类型: Dataplex Catalog Editor (roles/dataplex.catalogEditor)
  • 对自定义切面类型拥有全套权限(除了使用切面类型创建或修改条目的权限): Dataplex Aspect Type Owner (roles/dataplex.aspectTypeOwner)
  • 查看与方面类型关联的方面类型和 IAM 政策: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
  • 使用切面类型创建和修改具有相应切面的条目: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser)
  • 添加一些系统方面类型(例如 schemaoverviewcontacts)的方面: Dataplex Entry Owner (roles/dataplex.entryOwner)

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需了解详情,请参阅 Dataplex Universal Catalog IAM 角色

启用 API

在 Dataplex Universal Catalog 项目中启用 Dataplex API。

启用该 API

创建切面类型

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。

    前往“目录”

  2. 依次点击切面类型和标记模板 > 自定义标签页。

  3. 点击创建切面类型 (Dataplex Catalog)

  4. 创建方面类型窗口中,输入以下内容:

    1. 可选:在显示名称字段中,输入方面类型的名称。
    2. Aspect type ID 字段中,输入 aspect 类型的唯一 ID。
    3. 可选:在说明字段中,输入方面类型的说明。
    4. 位置字段中,为方面类型选择一个位置。 创建方面类型后,您无法修改其位置。
  5. 可选:为切面类型定义模板。

    模板部分中,点击添加字段。在新字段部分中,输入以下内容:

    1. 名称字段中,输入一个名称。
    2. 可选:在显示名称字段中,输入一个显示名称。
    3. 可选:在说明字段中,输入说明。
    4. 类型字段中,为该字段选择一种数据类型。系统会根据您的选择显示下一组字段和选项:

      • 如果您选择文本作为数据类型,请按以下步骤操作:

        1. 文本类型字段中,选择文本类型。
        2. 文本值字段中,为文本字段提供提示。为此,请点击添加值,然后输入提示。 您可以为文本字段添加多个提示。
        3. 点击完成
      • 如果您选择 Enum 作为数据类型,请添加枚举值:

        1. 点击添加枚举值
        2. 字段中,输入一个枚举值。您可以添加多个枚举值。
        3. 点击完成
      • 如果您选择数组作为数据类型,请在数组项部分中定义数组中将包含的项的类型:

        1. 点击添加数组项
        2. 名称字段中,输入数组项的名称。
        3. 可选:在显示名称字段中,输入数组项的显示名称。
        4. 可选:在说明字段中,输入数组项的说明。
        5. 类型字段中,为数组项选择数据类型。

          系统会根据您的选择显示下一组字段和选项。它们与本部分其他位置针对数据类型文本枚举映射数组记录描述的选项类似。

        6. 点击完成

      • 如果您选择 Map 作为数据类型,请在 Map value 部分中定义映射中将包含的值的类型:

        1. 点击添加映射值
        2. 名称字段中,输入地图的名称。
        3. 可选:在显示名称字段中,输入地图的显示名称。
        4. 可选:在说明字段中,输入地图的说明。
        5. 类型字段中,为地图选择数据类型。

          系统会根据您的选择显示下一组字段和选项。它们与本部分其他位置针对数据类型文本枚举映射数组记录描述的选项类似。

        6. 点击完成

      • 如果您选择记录作为数据类型,请输入以下内容:

        1. 记录 ID 字段中,输入一个唯一 ID,其他记录字段可以使用该 ID 来引用此记录。请参阅本文档的使用记录 ID 和记录引用字段的示例部分。
        2. 可选:如果您想添加对此模板中其他记录的引用,请使用记录引用字段。创建方面类型后,您便无法再修改此设置。请参阅本文档的使用记录 ID 和记录引用字段的示例部分。
        3. 记录字段部分,您可以定义包含多个嵌套字段的复杂对象。为此,请点击添加记录字段项,然后指定以下内容:

        4. 名称字段中,输入记录字段的名称。

        5. 可选:在显示名称字段中,输入记录字段的显示名称。

        6. 可选:在说明字段中,输入记录字段的说明。

        7. 类型字段中,选择一种数据类型。

          系统会根据您的选择显示下一组字段和选项。这些选项与本部分前面针对文本枚举地图数组记录数据类型描述的选项类似。

        8. 点击完成

    5. 如需将相应方面的字段设为必需字段,请选择是必需的。如需详细了解必需切面和可选切面,请参阅本文档的切面类别部分。

    6. 点击完成

    7. 如需添加多个字段,请点击添加字段,然后重复上述步骤。

  6. 可选:在标签部分中,为资源添加键值对形式的任意标签:

    1. 点击添加标签
    2. 密钥字段中,输入一个密钥。
    3. 字段中,输入键的值。
    4. 如需添加更多标签,请点击添加标签,然后重复执行上述步骤。
  7. 点击保存

gcloud

如需创建方面类型,请使用 gcloud dataplex aspect-types create 命令

REST

如需创建方面类型,请使用 aspectType.create 方法。

创建切面类型后,您可以向条目添加切面

使用记录 ID 和记录引用字段的示例

您可以使用记录 ID记录引用字段进行递归引用。以下示例展示了如何使用这些字段:

假设有一个名为 Employee 的方面类型,其中包含以下字段:

  • 名称(类型:Text
  • 开始日期(类型:Date & time
  • 指定(类型:Text
  • 当前地址(类型:Record
  • 永久地址(类型:Record

两个地址字段(当前地址永久地址)的数据类型均为 Record。为避免重复,您可以在定义这些字段时设置记录 ID记录参考 值。

定义当前地址字段时,您可以将记录 ID 指定为 address-field。对于永久地址,您可以为记录参考指定相同的值 (address-field)。例如:

  • 名称(类型:Text
  • 开始日期(类型:Date & time
  • 指定(类型:Text
  • 当前地址(类型:Record,记录 ID:address-field
  • 永久地址(类型:Record,记录参考:address-field

这样一来,您便无需复制其他地址的字段。

向条目添加方面

创建切面类型后,您可以创建该类型的切面。如需向条目添加方面,您必须更新该条目,因为方面存储在条目中。

请注意以下几点:

  • 您可以向条目或条目的列添加方面。
  • 您只能针对自定义条目修改必需的方面。您无法删除必需切面。
  • 您可以修改和删除自定义条目和系统条目的可选方面。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 搜索页面。

    转到搜索

  2. 选择搜索平台部分,选择 Dataplex Catalog 作为搜索模式。

  3. 搜索要添加方面的条目,然后点击该条目。系统会打开条目详情页面。

  4. 如需向条目添加方面,请按以下步骤操作:

    1. 点击详情标签页。
    2. 如需向条目添加必需的方面或可选的方面,请在标记和方面部分中,针对相应类别点击 添加
      如果所选条目的条目类型未定义必需切面,您就无法添加必需切面。
    3. 搜索并选择要添加的方面。
    4. 添加方面窗口中,输入相应字段的值。
    5. 点击保存
  5. 如需向条目的列添加方面,请按以下步骤操作:

    1. 在条目详情页面上,点击架构标签页。
    2. 选择要添加方面的列。
    3. 点击添加方面
    4. 搜索并选择要添加的方面。
    5. 添加方面窗口中,输入相应字段的值。
    6. 点击保存

gcloud

如需向条目或条目的列添加方面,请使用 gcloud dataplex entries update 命令

REST

如需向条目或条目的列添加方面,请使用 entry.patch 方法。

不支持在条目中创建和使用切面,但相应的切面类型和条目位于不同的 Google Cloud 组织中。

管理条目的现有方面

本部分介绍了如何更新和删除条目的现有方面。

更新方面

您可以修改自定义条目和系统条目的可选方面。 您只能针对自定义条目修改必需的方面。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 搜索页面。

    转到搜索

  2. 选择搜索平台部分,选择 Dataplex Catalog 作为搜索模式。

  3. 搜索要更新的条目,然后点击该条目。

    系统会打开条目详情页面。

  4. 点击详情标签页。

  5. 标记和方面部分,展开要更新的方面或标记,然后点击 修改

  6. 修改方面窗口中,更新必填字段。

  7. 点击保存

gcloud

如需更新条目或条目列的方面,请使用 gcloud dataplex entries update 命令

REST

如需更新条目或条目列的方面,请使用 entry.update 方法。

删除方面

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 搜索页面。

    转到搜索

  2. 选择搜索平台部分,选择 Dataplex Catalog 作为搜索模式。

  3. 搜索要删除相应方面的条目,然后点击该条目。

    系统会打开条目详情页面。

  4. 点击详情标签页。

  5. 标记和方面部分,展开要删除的方面或标记,然后点击 删除

  6. 点击确认

gcloud

如需删除条目的方面,请使用 gcloud dataplex entries update 命令

REST

如需删除条目的方面,请使用 entry.update 方法。

管理切面类型

本部分介绍了如何查看、更新和删除方面类型。

查看可用切面类型和标记模板的列表

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。

    前往“目录”

  2. 点击切面类型和标记模板标签页。

    此页面列出了所有可用的 Dataplex Universal Catalog 切面类型和 Data Catalog 标记模板。

  3. 如需查看自定义切面类型和标记模板,请点击自定义标签页。在自定义标签页中,“目录来源”列会显示资源所在的目录,即 Dataplex Universal Catalog 或 Data Catalog。

    如需查看系统方面类型,请点击系统标签页。

    如需详细了解自定义切面类型和系统切面类型,请参阅本文档的切面类型的类别部分。

  4. 可选:如需查看所选项目中的方面类型和标记模板列表,请点击自定义标签页,然后点击显示所有项目中的内容切换开关,将其切换到关闭位置。

    默认情况下,显示所有项目中的资源切换开关处于开启状态,并且该列表包含所选组织中的 Dataplex Universal Catalog 资源以及您可以访问的所有组织中的 Data Catalog 资源。

gcloud

如需列出所有可用的方面类型,请使用 gcloud dataplex aspect-types list 命令

REST

如需列出所有可用的切面类型,请使用 aspectTypes.list 方法。

查看切面类型或标记模板的详细信息

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。

    前往“目录”

  2. 点击切面类型和标记模板标签页。

  3. 如需查看 Dataplex Universal Catalog 切面类型的详细信息,请点击相应切面类型。系统会打开方面类型详情页面,您可以在其中查看显示名称、方面类型 ID、说明、项目 ID、位置、标签、创建日期和上次修改日期等详细信息。

    • 如需查看所选方面类型的结构,请点击模板标签页。
    • 如需查看最近创建的 10 个相关条目的列表,请点击示例条目标签页。
    • 如需搜索所有相关条目,请点击在搜索结果中显示所有相关条目。仅当存在至少一个相关条目时,才会显示此按钮。
  4. 如需查看 Data Catalog 标记模板的详细信息,请点击相应标记模板。Data Catalog 中会打开标记模板详情页面,您可以在其中查看显示名称、模板 ID、项目 ID、位置、可见性和标签等详细信息。

gcloud

如需获取方面类型的详细信息,请使用 gcloud dataplex aspect-types describe 命令

REST

如需获取方面类型的详细信息,请使用 aspectTypes.get 方法。

更新切面类型

您可以更新方面类型的显示名称、说明、模板字段和标签。您无法删除模板中的现有字段。

创建方面类型后,您便无法再更新方面类型 ID 和位置。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。

    前往“目录”

  2. 点击切面类型和标记模板标签页。

  3. 点击要更新的方面类型。

  4. 方面类型详情页面上,点击修改

  5. 根据需要修改显示名称、说明、模板字段和标签。

  6. 可选:如需将方面类型中的某个字段标记为已弃用,请按以下步骤操作:

    1. 模板部分,展开相应字段。
    2. 选择 Is Deprecated
    3. 弃用原因字段中,输入弃用所选字段的原因。
    4. 点击完成
  7. 点击保存

gcloud

如需更新方面类型,请使用 gcloud dataplex aspect-types update 命令

REST

如需更新切面类型,请使用 aspectTypes.patch 方法。

删除切面类型

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。

    前往“目录”

  2. 点击切面类型和标记模板标签页。

  3. 点击要删除的方面类型。

  4. 方面类型详情页面上,点击删除。在系统提示时确认。

gcloud

如需删除方面类型,请使用 gcloud dataplex aspect-types delete 命令

REST

如需删除现有方面类型,请使用 aspectTypes.delete 方法。

后续步骤