Voll qualifizierte Namen

Voll qualifizierte Namen sind global eindeutige Ressourcenkennungen, bei denen die Groß-/Kleinschreibung beachtet wird und die in Dataplex Universal Catalog zum Verweisen auf Google Cloud- undGoogle Cloud -Ressourcen verwendet werden können.

Vollständig qualifizierte Namen werden beispielsweise für Systeme verwendet, die die automatische Aufnahme von Metadaten aus Google Cloudunterstützen. Wenn Sie Nicht-Google Cloud -Ressourcen in Dataplex Universal Catalog katalogisieren, können Sie beim Erstellen der benutzerdefinierten Einträge, die diese Drittanbieterressourcen darstellen, voll qualifizierte Namen angeben.

Vollständig qualifizierte Namen bestehen aus einem Präfix, gefolgt von Segmenten, die durch Punkte getrennt sind. Die maximale Länge beträgt 4.000 Zeichen. Segmente, die reservierte Zeichen wie Doppelpunkte, Punkte und Leerzeichen enthalten, müssen in Graviszeichen eingeschlossen werden. Verwenden Sie doppelte Backticks, um ein Backtick innerhalb eines Segments anzugeben.

Vordefinierte Formate für Google Cloud -Ressourcen

In den folgenden Tabellen sind die vordefinierten Formate für vollständig qualifizierte Namen aufgeführt, die für Google Cloud -Ressourcen unterstützt werden.

BigQuery

Ressource Format
Dataset bigquery:{projectId}.{datasetId}
Tabelle bigquery:{projectId}.{datasetId}.{tableId}
Ansehen bigquery:{projectId}.{datasetId}.{viewId}
Modell bigquery:{projectId}.{datasetId}.{modelId}
Freigegebene Tabelle bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
Routine bigquery:routine:{projectId}.{datasetId}.{routineId}
Verbindung bigquery:connection:{projectId}.{location}.{connectionId}

BigQuery Sharing (früher Analytics Hub)

Ressource Format
Datenaustausch analytics_hub:{projectId}.{location}.{exchangeId}
Eintrag analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

Ressource Format
Instanz bigtable:{projectId}.{instanceId}
Tabelle bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL for MySQL

Ressource Format
Instanz cloudsql_mysql:{projectId}.{location}.{instanceId}
Schema cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
Tabelle cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL for PostgreSQL

Ressource Format
Instanz cloudsql_postgresql:{projectId}.{location}.{instanceId}
Datenbank cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
Schema cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
Tabelle cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

Ressource Format
Bucket gcs:{bucketName}
Pfad gcs:{bucketName}.{virtualPath}

Dataplex Universal Catalog

Ressource Format
Lake dataplex:{projectId}.{location}.{lakeId}
Zone dataplex:{projectId}.{location}.{lakeId}.{zoneId}
Tabelle dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
Dateisatz dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

Ressource Format
Dienst dataproc_metastore:{projectId}.{location}.{instanceId}
Datenbank dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
Tabelle dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

Ressource Format
Instanz looker:{instanceId}
Dashboard looker:dashboard:{instanceId}.{folderId}.{dashboardId}
Entdecken looker:explore:{instanceId}.{folderId}.{exploreId}
Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

Ressource Format
Thema pubsub:topic:{projectId}.{topicId}
Abo pubsub:subscription:{projectId}.{subscriptionId}

Spanner

Ressource Format
Instanz spanner:{projectId}.{instanceConfigId}.{instanceId}
Datenbank spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
Tabelle spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
Ansehen spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

Ressource Format
Modell vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
Dataset vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

Vordefinierte Formate für Ressourcen, die nicht vom TypGoogle Cloud sind

In den folgenden Tabellen sind die vordefinierten Formate für vollständig qualifizierte Namen aufgeführt, die für Drittanbieterressourcen unterstützt werden.

Apache Cassandra

Ressource Format
Cluster cassandra:{dns}
Schlüsselbereich cassandra:{dns}.{keyspaceId}
Tabelle cassandra:{dns}.{keyspaceId}.{tableId}

Apache Hive

Ressource Format
Instanz hive_metastore:{dns}
Datenbank hive_metastore:{dns}.{database}
Tabelle hive_metastore:{dns}.{database}.{table}

Apache Kafka

Ressource Format
Cluster kafka:{dns}
Thema kafka:{dns}.{topicId}

AWS Athena

Ressource Format
Katalog athena:{catalogId}.{region}
Datenbank athena:{catalogId}.{region}.{databaseId}
Tabelle athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

Ressource Format
Instanz redshift:{clusterId}.{region}.{port}
Datenbank redshift:{clusterId}.{region}.{port}.{databaseId}
Schema redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
Tabelle redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

Ressource Format
Bucket s3:{bucket}
Pfad s3:{bucket}.{virtualPath}

AWS Glue

Ressource Format
Tabelle aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Azure Blob Storage

Ressource Format
Konto abs:{account}
Container abs:{account}.{container}
Pfad abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

Ressource Format
Konto cosmos-db:{accountName}
Datenbank cosmos-db:{accountName}.{databaseId}
Container cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

Ressource Format
Cluster kusto:{clusterName}.{region}
Datenbank kusto:{clusterName}.{region}.{databaseId}
Tabelle kusto:{clusterName}.{region}.{databaseId}.{tableId}

Databricks-Dateisystem

Ressource Format
Instanz dbfs:{workspace}
Pfad dbfs:{workspace}.{path}

Generisches Dateisystem

Ressource Format
Instanz filesystem:{dns}
Pfad filesystem:{dns}.{path}

Hadoop Distributed File System

Ressource Format
Instanz hdfs:{dns}
Pfad hdfs:{dns}.{path}

IBM DB2

Ressource Format
Instanz db2:{dns}
Datenbank db2:{dns}.{databaseId}
Schema db2:{dns}.{databaseId}.{schemaId}
Tabelle db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

Ressource Format
Instanz informix:{dns}
Datenbank informix:{dns}.{databaseId}
Schema informix:{dns}.{databaseId}.{schemaId}
Tabelle informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

Ressource Format
Instanz sqlserver:{dns}
Datenbank sqlserver:{dns}.{databaseId}
Schema sqlserver:{dns}.{databaseId}.{schemaId}
Tabelle sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

Ressource Format
Instanz mysql:{dns}
Schema mysql:{dns}.{schemaId}
Tabelle mysql:{dns}.{schemaId}.{tableId}

Oracle-Datenbank

Ressource Format
Instanz oracle:{dns}
Datenbank oracle:{dns}.{databaseId}
Schema oracle:{dns}.{databaseId}.{schemaId}
Tabelle oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

Ressource Format
Instanz postgresql:{dns}
Datenbank postgresql:{dns}.{databaseId}
Schema postgresql:{dns}.{databaseId}.{schemaId}
Tabelle postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

Ressource Format
SObject salesforce:{environment}.{orgId}.{sobject}

Snowflake

Ressource Format
Konto snowflake:{accountName}
Datenbank snowflake:{accountName}.{databaseId}
Schema snowflake:{accountName}.{databaseId}.{schemaId}
Tabelle snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

Logo: Tableau

Ressource Format
Server tableau:{dns}
Website tableau:{dns}.{site}
Projekt tableau:project:{dns}.{site}.{projectId}
Datenquelle tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
Arbeitsmappe tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
Tabellenblatt tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
Dashboard tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

Ressource Format
Instanz trino:{dns}
Katalog trino:{dns}.{catalogId}
Schema trino:{dns}.{catalogId}.{schemaId}
Tabelle trino:{dns}.{catalogId}.{schemaId}.{tableId}

Benutzerdefinierte Formate

Sie können ein benutzerdefiniertes Format für voll qualifizierte Namen erstellen, indem Sie das Präfix custom: verwenden. Benutzerdefinierte Formate werden nicht validiert und sind möglicherweise nicht mit Dataplex Universal Catalog-Funktionen kompatibel. Um die zukünftige Migration zu erleichtern, sollten Sie benutzerdefinierte Formate erstellen, die den vordefinierten Formaten ähneln.

Ressourcen, auf die in OpenLineage-Nachrichten mit dem Namespace custom verwiesen wird, werden als benutzerdefinierte voll qualifizierte Namen interpretiert.