本文档介绍了如何创建和管理条目类型、条目组和自定义条目,以实现将自定义数据源集成到 Dataplex Universal Catalog 中。
条目表示您要捕获元数据的资源。条目组是包含一个或多个条目的容器,用于管理访问权限控制和区域内位置。条目类型用于定义条目的必需元数据。条目类型可为自由流动且定义松散的条目资源带来结构和规则,从而使条目可扩展。
如需将自定义数据源集成到 Dataplex Universal Catalog 中,您可以使用自定义条目组下的自定义条目类型来创建自定义条目。创建自定义条目涉及以下简要步骤:
- 创建一个条目组。
- 创建条目类型。
- 在条目组中为条目类型创建自定义条目。
条目数
条目表示您要捕获元数据的数据资产。每个条目都是相应条目类型的一个实例。针对条目的切面执行的每项操作都需要符合相应条目类型的必需切面。例如,创建条目时,您必须为条目类型定义的所有方面类型提供值。您无法删除条目类型中标记为 required
的条目的相应方面。
条目类别
系统条目:Dataplex Universal Catalog 会为 Google Cloud资源(例如 BigQuery 数据集或表)创建条目。Dataplex Universal Catalog 创建的条目称为系统条目。Dataplex Universal Catalog 会通过从受支持的 Google Cloud 系统持续同步元数据,自动保持系统条目的最新状态。
您无法修改系统条目的自动填充元数据(称为必需方面)。您只能使用可选切面为系统条目添加和修改其他元数据。如需了解详情,请参阅切面类别。
自定义条目:您可以为自定义资源创建和管理的条目称为自定义条目。自定义资源是指非 Google 服务中托管在 Google Cloud 或外部(例如本地)的资源。
条目组
条目组是一个或多个条目的容器。您可以使用条目组来管理条目的访问权限控制和区域内位置。每个条目组都属于一个项目。
条目组的类别
系统条目组:对于 Google Cloud 资源,Dataplex Universal Catalog 会自动为每个项目和位置(资源所在的位置)中的每个系统创建条目组。例如,
@bigquery
是 BigQuery 的系统条目组。自定义条目组:您为自定义资源创建的条目组。
条目类型
条目类型使用一组必需的切面类型来定义相应类型条目的必需元数据。
您只能在条目上指定必需的切面类型,而不能在条目的列上指定。创建特定条目类型的条目时,您必须为该条目类型指定的所有必需切面类型提供值。
在条目类型中引用的必需切面类型必须与条目类型属于同一项目。
条目类型的类别
自定义条目类型:您创建和管理的条目类型。您可以使用这些条目类型创建自定义条目。
系统条目类型:Dataplex Universal Catalog 默认提供这些条目类型。系统条目类型进一步分为可重复使用和受限两种。
下表介绍了系统条目类型的类别,以及 Dataplex Universal Catalog 为每个类别提供的条目类型列表:
系统条目类型的类别 说明 Dataplex Universal Catalog 提供的条目类型 可重复使用的系统条目类型 您可以使用此条目类型创建自定义条目。 generic
受限的系统条目类型 这些字段预留供系统使用,例如为Google Cloud 资源创建条目。
您无法使用这些条目类型创建条目,但可以修改这些条目类型的条目以添加可选方面。包括但不限于: analytics-hub-exchange
analytics-hub-listing
aspecttype
bigquery-dataset
bigquery-table
cloudsql-database
cloudsql-instance
cloudsql-table
entrygroup
entrytype
sql-access
storage
storage-bucket
storage-folder
您可以在特定区域位置创建自定义条目类型,也可以将其创建为全球性资源。条目类型的位置会影响其适用范围。如需了解详情,请参阅项目和位置限制。
系统条目类型始终为全局类型。系统条目类型存储在项目 ID 为 655216118709
的 Google 管理的项目中。例如 projects/655216118709/locations/global/entryTypes/bigquery-table
。
准备工作
在管理条目和注入自定义数据源之前,请确保您已完成本部分中所述的任务。
所需的角色
如需获得创建和管理条目所需的权限,请让管理员向您授予资源的以下 IAM 角色:
-
对条目、条目组和条目类型拥有全套权限:
Dataplex Catalog Admin (
roles/dataplex.catalogAdmin
) -
在 Dataplex Universal Catalog 中创建和管理元数据资源,包括条目、条目组和条目类型:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor
) -
对条目相关操作拥有完全访问权限:
Dataplex Entry Owner (
roles/dataplex.entryOwner
) -
查看条目、条目组、条目类型以及与之关联的 IAM 政策:
Dataplex Catalog Viewer (
roles/dataplex.catalogViewer
) -
在创建自定义条目时,使用切面类型创建相应类型的切面:
Dataplex Aspect Type User (
roles/dataplex.aspectTypeUser
) -
创建和管理条目组:
Dataplex Entry Group Owner (
roles/dataplex.entryGroupOwner
) -
创建和管理条目类型:
Dataplex Entry Type Owner (
roles/dataplex.entryTypeOwner
) -
使用条目类型创建和修改相应类型的条目:
Dataplex Entry Type User (
roles/dataplex.entryTypeUser
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
如需了解详情,请参阅 Dataplex Universal Catalog IAM 角色。
启用 API
在 Dataplex Universal Catalog 项目中启用 Dataplex API。
创建一个条目组
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
依次点击入口组 > 自定义标签页。
点击创建条目组 (Dataplex Catalog)。
在创建条目组窗口中,输入以下内容:
- 可选:在显示名称字段中,输入条目组的显示名称。
- 条目组 ID:为您的条目组输入唯一 ID。
- 可选:在说明字段中,输入条目组的说明。
- 位置:选择一个位置。创建条目组后,您便无法修改位置。
可选:在标签部分中,为资源添加键值对形式的任意标签:
- 点击添加标签。
- 在密钥字段中,输入一个密钥。
- 在值字段中,输入键的值。
- 如需添加更多标签,请点击添加标签,然后重复执行上述步骤。
点击保存。
gcloud
如需创建条目组,请使用 gcloud dataplex entry-groups create
命令。
REST
如需创建条目组,请使用 entryGroups.Create
方法。
创建条目类型
如需注入新来源的数据,您必须创建条目类型。
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
依次点击条目类型 > 自定义标签页。
点击创建。
在创建条目类型窗口中,输入以下内容:
- 可选:在显示名称字段中,输入条目类型的显示名称。
- 条目类型 ID:输入条目类型的唯一 ID。创建条目类型后,您无法修改此设置。
- 可选:在说明字段中,输入条目类型的说明。
- 可选:在系统字段中,输入源系统。
- 可选:在平台字段中,输入相应类型的条目所属的平台。例如
Google Cloud
。 - 在位置字段中,选择一个位置。创建条目类型后,您便无法再修改位置。
可选:在类型别名部分中,为您的条目类型定义数据类型。该数据类型可用于查询条目。
- 点击添加类型别名。
- 在类型别名字段中,选择一种数据类型。您可以添加多个类型别名。
在必需的切面类型部分中,选择此条目类型必需的切面类型。系统会为基于此类型创建的每个条目分配这些必需的切面类型。创建条目类型后,您无法修改必需的切面类型列表。
- 点击选择切面类型。
- 在选择宽高比类型窗口中,选择宽高比类型。
- 点击选择。
您无法从条目中删除必需的方面。
可选:在标签部分中,为资源添加键值对形式的任意标签:
- 点击添加标签。
- 在密钥字段中,输入一个密钥。
- 在值字段中,输入键的值。
- 如需添加更多标签,请点击添加标签,然后重复执行上述步骤。
点击保存。
gcloud
如需创建条目类型,请使用 gcloud dataplex entry-types create
命令。
REST
如需创建条目类型,请使用 entryTypes.create
方法。
创建自定义条目
控制台
不支持使用 Google Cloud 控制台创建自定义条目。请改用 Google Cloud CLI 或 API。
gcloud
如需创建自定义条目,请使用 gcloud dataplex entries create
命令。
REST
如需创建自定义条目,请使用 entries.create
方法。
创建自定义条目后,您可以向该条目添加切面。如需了解详情,请参阅向条目添加方面。
管理条目组
本部分介绍了如何查看可用条目组的列表、查看详细信息、更新和删除条目组。
查看可用条目组的列表
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
点击入口组标签页。
此页面列出了所有可用的 Dataplex Universal Catalog 和 Data Catalog 条目组。
如需查看自定义条目组,请点击自定义标签页。在自定义标签页中,目录来源列会显示资源所在的目录,即 Dataplex Universal Catalog 或 Data Catalog。
如需查看系统条目组,请点击系统标签页。
如需详细了解自定义条目组和系统条目组,请参阅本文档的条目组类别部分。
可选:如需查看所选项目中的条目组列表,请点击自定义标签页,然后点击显示所有项目中的条目组切换开关,将其切换到关闭位置。
默认情况下,显示所有项目中的资源切换开关处于开启状态,并且该列表包含所选组织中的 Dataplex Universal Catalog 资源以及您可以访问的所有组织中的 Data Catalog 资源。
gcloud
如需查看可用入口组的列表,请使用 gcloud dataplex entry-groups list
命令。
REST
如需查看可用条目组的列表,请使用 entryGroups.list
方法。
查看条目组的详细信息
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
点击入口组标签页。
点击要查看详细信息的条目组。
系统会打开条目组详情页面。您可以访问所选条目组的显示名称、条目组 ID、说明、项目 ID、位置、标签、创建日期和上次修改日期等信息。
对于 Data Catalog 条目组,您可以在 Data Catalog 和 Dataplex Universal Catalog 网页界面中查看详细信息。为此,请在条目组详情页面上点击 Data Catalog 或 Dataplex Catalog。
条目示例部分会显示所选条目组中最近创建的 10 个相关条目。
可选:如需查看与某个条目组相关的所有条目,请在示例条目部分中,点击在搜索结果中显示所有相关条目。
gcloud
如需检索条目组的详细信息,请使用 gcloud dataplex entry-groups describe
命令。
REST
如需检索条目组的详细信息,请使用 entryGroups.get
方法。
更新条目组
您可以更新自定义条目组。无法修改系统条目组。
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
依次点击入口组 > 自定义标签页。
点击要更新的条目组。
在入口组详情页面上,点击修改。
根据需要修改显示名称、说明和标签。
点击保存。
gcloud
如需更新条目组,请使用 gcloud dataplex entry-groups update
命令。
REST
如需更新条目组,请使用 entryGroups.patch
方法。
删除条目组
您可以删除自定义条目组。无法删除系统条目组。
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
依次点击入口组 > 自定义标签页。
点击要删除的条目组。
在入口组详情页面上,点击删除。在系统提示时确认。
gcloud
如需删除条目组,请使用 gcloud dataplex entry-groups delete
命令。
REST
如需删除条目组,请使用 entryGroups.delete
方法。
管理条目类型
本部分介绍了如何查看可用条目组的列表、查看详细信息、更新和删除条目类型。
查看可用条目类型的列表
控制台
gcloud
如需查看可用条目类型的列表,请使用 gcloud dataplex entry-types list
命令。
REST
如需查看可用条目类型的列表,请使用 entryTypes.list
方法。
查看条目类型的详细信息
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
点击条目类型 > 自定义标签页。
点击要查看其详细信息的条目类型。
系统会打开条目类型详情页面。您可以访问所选条目类型的信息,例如显示名称、条目类型 ID、说明、项目 ID、位置、平台、系统、类型别名、标签、创建日期和上次修改日期。
可选:如需查看最近创建的 10 个相关条目的列表,请点击示例条目标签页。
可选:如需查看与某个条目组相关的所有条目,请点击条目示例标签页,然后点击在搜索结果中显示所有相关条目。
gcloud
如需检索条目类型的详细信息,请使用 gcloud dataplex entry-types describe
命令。
REST
如需检索条目类型的详细信息,请使用 entryTypes.get
方法。
更新条目类型
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
依次点击条目类型 > 自定义标签页。
点击要更新的条目类型。
在条目类型详情页面上,点击修改。
根据需要修改显示名称、说明、系统、平台、类型别名和标签。
点击保存。
gcloud
如需更新条目类型,请使用 gcloud dataplex entry-types update
命令。
REST
如需更新条目类型,请使用 entryTypes.patch
方法。
删除条目类型
控制台
在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 目录页面。
依次点击条目类型 > 自定义标签页。
点击要删除的条目类型。
在条目类型详情页面上,点击删除。在系统提示时确认。
gcloud
如需删除条目类型,请使用 gcloud dataplex entry-types delete
命令。
REST
如需删除条目类型,请使用 entryTypes.delete
方法。
后续步骤
- 了解如何在 Dataplex Universal Catalog 中搜索数据资产。
- 了解如何管理切面和丰富元数据。
- 了解如何将元数据导入 Dataplex Universal Catalog。
- 详细了解 Dataplex Universal Catalog 中的元数据管理。