区域资源

将 Cloud Storage 存储桶作为 Dataplex Universal Catalog 资产附加时,Dataplex Universal Catalog 会在相应区域中创建一个发布数据集,以发布在存储桶中发现的表。

本页面介绍了 Dataplex Universal Catalog 如何将 Cloud Storage 中的单区域、双区域和多区域映射到 BigQuery 发布数据集。

Cloud Storage 区域与 BigQuery 数据集的映射关系

Dataplex Universal Catalog 数据湖、区域和资产是区域级资源,可以位于一个或多个区域中。BigQuery 数据集和 Cloud Storage 存储分区也是区域资源,可以位于一个或多个区域中。

以下是 Cloud Storage 和 BigQuery 中提供的区域级资源之间的区别:

  • Cloud Storage 和 BigQuery 都支持单区域资源。

  • Cloud Storage 具有双区域,而 BigQuery 没有。

  • Cloud StorageBigQuery 都有多区域,但它们是不同的。

您可以将 Cloud Storage 存储分区和 BigQuery 数据集作为 Dataplex Universal Catalog 资产附加到 Dataplex Universal Catalog 区域或数据湖。Dataplex Universal Catalog 可自动为作为资产附加的 Cloud Storage 存储分区创建发布数据集。

Dataplex Universal Catalog 可确保 BigQuery 和 Cloud Storage 区域一致。如果 Dataplex Universal Catalog 数据湖的区域与某个 Cloud Storage 存储桶的区域不重叠,则您无法将该存储桶添加到数据湖的区域。

  • 对于单区域 Cloud Storage 存储桶,Dataplex Universal Catalog 会在与该存储桶相同的区域中创建单区域发布数据集。

  • 如果 Cloud Storage 存储桶位于 Cloud Storage us 多区域或 Cloud Storage eu 多区域,Dataplex Universal Catalog 会在相应的 BigQuery useu 多区域中创建发布数据集。

  • 对于双区域 Cloud Storage 存储分区,Dataplex Universal Catalog 会在与数据湖区域对应的区域中创建一个发布数据集。将 Cloud Storage 存储桶作为资产附加到数据湖时,Dataplex Universal Catalog 会验证 Cloud Storage 存储桶的某个数据位置是否与 Dataplex Universal Catalog 数据湖的区域相匹配。

后续步骤