Noms complets

Les noms complets sont des identifiants de ressources uniques et sensibles à la casse que vous pouvez utiliser avec Dataplex Universal Catalog pour faire référence à des ressources Google Cloudet nonGoogle Cloud .

Par exemple, les noms complets sont utilisés pour les systèmes qui prennent en charge l'ingestion automatique des métadonnées à partir de Google Cloud. Si vous cataloguez vos ressources non-Google Cloud dans Dataplex Universal Catalog, vous pouvez fournir des noms complets lorsque vous créez les entrées personnalisées qui représentent ces ressources tierces.

Les noms complets sont composés d'un préfixe suivi de segments délimités par des points. La longueur ne doit pas dépasser 4 000 caractères. Entourez les segments contenant des caractères réservés, tels que des deux-points, des points et des espaces blancs, avec des accents graves. Utilisez une double apostrophe inversée pour spécifier une apostrophe inversée dans un segment.

Formats prédéfinis pour les ressources Google Cloud

Les tableaux suivants listent les formats prédéfinis pour les noms complets compatibles avec les ressources Google Cloud .

BigQuery

Ressource Format
Ensemble de données bigquery:{projectId}.{datasetId}
Table bigquery:{projectId}.{datasetId}.{tableId}
Afficher bigquery:{projectId}.{datasetId}.{viewId}
Modèle bigquery:{projectId}.{datasetId}.{modelId}
Table partitionnée bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
Routine bigquery:routine:{projectId}.{datasetId}.{routineId}
Connexion bigquery:connection:{projectId}.{location}.{connectionId}

BigQuery Sharing (anciennement Analytics Hub)

Ressource Format
Échange analytics_hub:{projectId}.{location}.{exchangeId}
Fiche analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

Ressource Format
Instance bigtable:{projectId}.{instanceId}
Table bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL pour MySQL

Ressource Format
Instance cloudsql_mysql:{projectId}.{location}.{instanceId}
Schéma cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
Table cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL pour PostgreSQL

Ressource Format
Instance cloudsql_postgresql:{projectId}.{location}.{instanceId}
Base de données cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
Schéma cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
Table cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

Ressource Format
Bucket gcs:{bucketName}
Chemin d'accès gcs:{bucketName}.{virtualPath}

Catalogue universel Dataplex

Ressource Format
Lac dataplex:{projectId}.{location}.{lakeId}
Zone dataplex:{projectId}.{location}.{lakeId}.{zoneId}
Table dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
Ensemble de fichiers dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

Ressource Format
Service dataproc_metastore:{projectId}.{location}.{instanceId}
Base de données dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
Table dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

Ressource Format
Instance looker:{instanceId}
Tableau de bord looker:dashboard:{instanceId}.{folderId}.{dashboardId}
Explorer looker:explore:{instanceId}.{folderId}.{exploreId}
Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

Ressource Format
Thème pubsub:topic:{projectId}.{topicId}
Abonnement pubsub:subscription:{projectId}.{subscriptionId}

Spanner

Ressource Format
Instance spanner:{projectId}.{instanceConfigId}.{instanceId}
Base de données spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
Table spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
Afficher spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

Ressource Format
Modèle vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
Ensemble de données vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

Formats prédéfinis pour les ressources autres queGoogle Cloud

Les tableaux suivants listent les formats prédéfinis pour les noms complets compatibles avec les ressources tierces.

Apache Cassandra

Ressource Format
Cluster cassandra:{dns}
Espace de clés cassandra:{dns}.{keyspaceId}
Table cassandra:{dns}.{keyspaceId}.{tableId}

Apache Hive

Ressource Format
Instance hive_metastore:{dns}
Base de données hive_metastore:{dns}.{database}
Table hive_metastore:{dns}.{database}.{table}

Apache Kafka

Ressource Format
Cluster kafka:{dns}
Thème kafka:{dns}.{topicId}

AWS Athena

Ressource Format
Catalogue athena:{catalogId}.{region}
Base de données athena:{catalogId}.{region}.{databaseId}
Table athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

Ressource Format
Instance redshift:{clusterId}.{region}.{port}
Base de données redshift:{clusterId}.{region}.{port}.{databaseId}
Schéma redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
Table redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

Ressource Format
Bucket s3:{bucket}
Chemin d'accès s3:{bucket}.{virtualPath}

AWS Glue

Ressource Format
Table aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Azure Blob Storage

Ressource Format
Compte abs:{account}
Conteneur abs:{account}.{container}
Chemin d'accès abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

Ressource Format
Compte cosmos-db:{accountName}
Base de données cosmos-db:{accountName}.{databaseId}
Conteneur cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

Ressource Format
Cluster kusto:{clusterName}.{region}
Base de données kusto:{clusterName}.{region}.{databaseId}
Table kusto:{clusterName}.{region}.{databaseId}.{tableId}

Système de fichiers Databricks

Ressource Format
Instance dbfs:{workspace}
Chemin d'accès dbfs:{workspace}.{path}

Système de fichiers générique

Ressource Format
Instance filesystem:{dns}
Chemin d'accès filesystem:{dns}.{path}

Système de fichiers distribué Hadoop

Ressource Format
Instance hdfs:{dns}
Chemin d'accès hdfs:{dns}.{path}

IBM DB2

Ressource Format
Instance db2:{dns}
Base de données db2:{dns}.{databaseId}
Schéma db2:{dns}.{databaseId}.{schemaId}
Table db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

Ressource Format
Instance informix:{dns}
Base de données informix:{dns}.{databaseId}
Schéma informix:{dns}.{databaseId}.{schemaId}
Table informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

Ressource Format
Instance sqlserver:{dns}
Base de données sqlserver:{dns}.{databaseId}
Schéma sqlserver:{dns}.{databaseId}.{schemaId}
Table sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

Ressource Format
Instance mysql:{dns}
Schéma mysql:{dns}.{schemaId}
Table mysql:{dns}.{schemaId}.{tableId}

Base de données Oracle

Ressource Format
Instance oracle:{dns}
Base de données oracle:{dns}.{databaseId}
Schéma oracle:{dns}.{databaseId}.{schemaId}
Table oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

Ressource Format
Instance postgresql:{dns}
Base de données postgresql:{dns}.{databaseId}
Schéma postgresql:{dns}.{databaseId}.{schemaId}
Table postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

Ressource Format
SObject salesforce:{environment}.{orgId}.{sobject}

Snowflake

Ressource Format
Compte snowflake:{accountName}
Base de données snowflake:{accountName}.{databaseId}
Schéma snowflake:{accountName}.{databaseId}.{schemaId}
Table snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

Tableau

Ressource Format
Serveur tableau:{dns}
Site tableau:{dns}.{site}
Projet tableau:project:{dns}.{site}.{projectId}
Source de données tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
Livret d'exercices tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
Feuille tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
Tableau de bord tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

Ressource Format
Instance trino:{dns}
Catalogue trino:{dns}.{catalogId}
Schéma trino:{dns}.{catalogId}.{schemaId}
Table trino:{dns}.{catalogId}.{schemaId}.{tableId}

Formats personnalisés

Vous pouvez créer un format de nom complet personnalisé à l'aide du préfixe custom:. Les formats personnalisés ne sont pas validés et peuvent ne pas être compatibles avec les fonctionnalités de Dataplex Universal Catalog. Pour faciliter la migration future, créez des formats personnalisés semblables aux formats prédéfinis.

Les ressources référencées dans les messages OpenLineage avec l'espace de noms custom sont interprétées comme des noms complets personnalisés.