完全限定名称

完全限定名称是区分大小写的全局唯一资源标识符,您可以将它与 Dataplex Universal Catalog 搭配使用来引用 Google Cloud和非Google Cloud 资源。

例如,对于支持从 Google Cloud自动提取元数据的系统,会使用全限定名。如果您在 Dataplex Universal Catalog 中编目非Google Cloud 资源,则可以在创建表示这些第三方资源的自定义条目时提供完全限定名称。

完全限定的名称由前缀和以英文句点分隔的段组成。长度上限为 4,000 个字符。 使用反引号将包含预留字符(例如冒号、点和空格)的段括起来。使用双反引号指定段落中的反引号。

Google Cloud 资源的预定义格式

下表列出了 Google Cloud 资源支持的完全限定名称的预定义格式。

BigQuery

资源 格式
数据集 bigquery:{projectId}.{datasetId}
bigquery:{projectId}.{datasetId}.{tableId}
查看 bigquery:{projectId}.{datasetId}.{viewId}
型号 bigquery:{projectId}.{datasetId}.{modelId}
分片表 bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
例程 bigquery:routine:{projectId}.{datasetId}.{routineId}
连接 bigquery:connection:{projectId}.{location}.{connectionId}

BigQuery Sharing(以前称为 Analytics Hub)

资源 格式
交换 analytics_hub:{projectId}.{location}.{exchangeId}
列表 analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

资源 格式
实例 bigtable:{projectId}.{instanceId}
bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL for MySQL

资源 格式
实例 cloudsql_mysql:{projectId}.{location}.{instanceId}
架构 cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL for PostgreSQL

资源 格式
实例 cloudsql_postgresql:{projectId}.{location}.{instanceId}
数据库 cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
架构 cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

资源 格式
存储桶 gcs:{bucketName}
路径 gcs:{bucketName}.{virtualPath}

Dataplex Universal Catalog

资源 格式
dataplex:{projectId}.{location}.{lakeId}
可用区 dataplex:{projectId}.{location}.{lakeId}.{zoneId}
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
文件集 dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

资源 格式
服务 dataproc_metastore:{projectId}.{location}.{instanceId}
数据库 dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

资源 格式
实例 looker:{instanceId}
信息中心 looker:dashboard:{instanceId}.{folderId}.{dashboardId}
探索 looker:explore:{instanceId}.{folderId}.{exploreId}
Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

资源 格式
主题 pubsub:topic:{projectId}.{topicId}
订阅 pubsub:subscription:{projectId}.{subscriptionId}

Spanner

资源 格式
实例 spanner:{projectId}.{instanceConfigId}.{instanceId}
数据库 spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
查看 spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

资源 格式
型号 vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
数据集 vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

非Google Cloud 资源的预定义格式

下表列出了第三方资源支持的完全限定名称的预定义格式。

Apache Cassandra

资源 格式
集群 cassandra:{dns}
键空间 cassandra:{dns}.{keyspaceId}
cassandra:{dns}.{keyspaceId}.{tableId}

Apache Hive

资源 格式
实例 hive_metastore:{dns}
数据库 hive_metastore:{dns}.{database}
hive_metastore:{dns}.{database}.{table}

Apache Kafka

资源 格式
集群 kafka:{dns}
主题 kafka:{dns}.{topicId}

AWS Athena

资源 格式
目录 athena:{catalogId}.{region}
数据库 athena:{catalogId}.{region}.{databaseId}
athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

资源 格式
实例 redshift:{clusterId}.{region}.{port}
数据库 redshift:{clusterId}.{region}.{port}.{databaseId}
架构 redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

资源 格式
存储桶 s3:{bucket}
路径 s3:{bucket}.{virtualPath}

AWS Glue

资源 格式
aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Azure Blob Storage

资源 格式
账号 abs:{account}
容器 abs:{account}.{container}
路径 abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

资源 格式
账号 cosmos-db:{accountName}
数据库 cosmos-db:{accountName}.{databaseId}
容器 cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

资源 格式
集群 kusto:{clusterName}.{region}
数据库 kusto:{clusterName}.{region}.{databaseId}
kusto:{clusterName}.{region}.{databaseId}.{tableId}

Databricks 文件系统

资源 格式
实例 dbfs:{workspace}
路径 dbfs:{workspace}.{path}

通用文件系统

资源 格式
实例 filesystem:{dns}
路径 filesystem:{dns}.{path}

Hadoop 分布式文件系统

资源 格式
实例 hdfs:{dns}
路径 hdfs:{dns}.{path}

IBM DB2

资源 格式
实例 db2:{dns}
数据库 db2:{dns}.{databaseId}
架构 db2:{dns}.{databaseId}.{schemaId}
db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

资源 格式
实例 informix:{dns}
数据库 informix:{dns}.{databaseId}
架构 informix:{dns}.{databaseId}.{schemaId}
informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

资源 格式
实例 sqlserver:{dns}
数据库 sqlserver:{dns}.{databaseId}
架构 sqlserver:{dns}.{databaseId}.{schemaId}
sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

资源 格式
实例 mysql:{dns}
架构 mysql:{dns}.{schemaId}
mysql:{dns}.{schemaId}.{tableId}

Oracle 数据库

资源 格式
实例 oracle:{dns}
数据库 oracle:{dns}.{databaseId}
架构 oracle:{dns}.{databaseId}.{schemaId}
oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

资源 格式
实例 postgresql:{dns}
数据库 postgresql:{dns}.{databaseId}
架构 postgresql:{dns}.{databaseId}.{schemaId}
postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

资源 格式
SObject salesforce:{environment}.{orgId}.{sobject}

Snowflake

资源 格式
账号 snowflake:{accountName}
数据库 snowflake:{accountName}.{databaseId}
架构 snowflake:{accountName}.{databaseId}.{schemaId}
snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

Tableau

资源 格式
服务器 tableau:{dns}
网站 tableau:{dns}.{site}
项目 tableau:project:{dns}.{site}.{projectId}
数据源 tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
手册 tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
工作表 tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
信息中心 tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

资源 格式
实例 trino:{dns}
目录 trino:{dns}.{catalogId}
架构 trino:{dns}.{catalogId}.{schemaId}
trino:{dns}.{catalogId}.{schemaId}.{tableId}

自定义格式

您可以使用 custom: 前缀创建自定义的完全限定名称格式。自定义格式未经过验证,可能与 Dataplex Universal Catalog 功能不兼容。为了便于日后迁移,请创建与预定义格式类似的自定义格式。

在 OpenLineage 消息中引用且命名空间为 custom 的资源会被解读为自定义完全限定名称。