Dataplex Universal Catalog fournit une plate-forme centrale pour stocker, gérer et accéder à vos métadonnées. Ce document décrit les fonctionnalités de gestion des métadonnées de Dataplex Universal Catalog.
Dataplex Universal Catalog fournit un inventaire unifié des ressourcesGoogle Cloud et sur site. Les métadonnées des ressources Google Cloud sont automatiquement récupérées et stockées par Dataplex Universal Catalog. Vous pouvez également importer vos propres métadonnées pour les ressources tierces dans Dataplex Universal Catalog.
Vous pouvez enrichir votre inventaire avec des métadonnées techniques et métier supplémentaires qui capturent le contexte et les connaissances sur vos ressources. Vous pouvez également rechercher et découvrir vos données dans l'ensemble de l'organisation, et activer la gouvernance des données sur vos composants de données.
Vous pouvez définir Dataplex Universal Catalog comme catalogue par défaut. Si vous utilisez Data Catalog, migrez votre contenu et votre utilisation Data Catalog autonomes vers Dataplex Universal Catalog. Pour en savoir plus, consultez Passer de Data Catalog à Dataplex Universal Catalog.
Cas d'utilisation
Vous pouvez utiliser Dataplex Universal Catalog pour effectuer les opérations suivantes :
Découvrez et comprenez vos données. Dataplex Universal Catalog vous permet de visualiser vos ressources de données dans toute l'organisation. Il vous permet de trouver des ressources pertinentes pour vos besoins de consommation de données. Il fournit du contexte pour les ressources de données, ce qui vous aide à comprendre si elles répondent aux besoins de votre consommateur de données.
Activez la gouvernance et la gestion des données. Dataplex Universal Catalog fournit des métadonnées qui peuvent informer et optimiser vos capacités de gouvernance et de gestion des données.
Maintenez un dépôt extensible et complet pour vos métadonnées. Dataplex Universal Catalog stocke les métadonnées collectées automatiquement à partir de vos ressources Google Cloud et y donne accès. Vous pouvez intégrer vos propres métadonnées provenant de systèmes autres queGoogle Cloud . Vous pouvez enrichir toutes les métadonnées avec des annotations de métadonnées techniques et métier supplémentaires.
Fonctionnement de la gestion des métadonnées dans Dataplex Universal Catalog
Les fonctionnalités de gestion des métadonnées dans Dataplex Universal Catalog sont basées sur les concepts suivants :
Entrée : une entrée représente un élément de données. La plupart des métadonnées sont décrites par des aspects dans une entrée. Cela ressemble aux entrées du catalogue de données. Pour en savoir plus, consultez Entrées.
Aspect : un aspect est un ensemble de champs de métadonnées associés dans une entrée. Un aspect peut être interprété comme un élément de base d'une entrée ou comme des métadonnées supplémentaires. Cela s'apparente aux tags dans Data Catalog, mais les aspects sont stockés dans les entrées et non en tant que ressources autonomes. Pour en savoir plus, consultez Aspects.
Type d'aspect : un type d'aspect est un modèle réutilisable pour les aspects. Chaque aspect est une instance d'un type d'aspect. Cela s'apparente aux modèles de tags dans Data Catalog. Pour en savoir plus, consultez Types d'aspects.
Groupe d'entrées : un groupe d'entrées est un conteneur d'entrées qui sert d'unité de gestion pour ces entrées. Par exemple, utilisez un groupe d'entrées pour configurer le contrôle des accès Identity and Access Management, l'attribution de projet ou l'emplacement des entrées du groupe d'entrées. Cela s'apparente aux groupes d'entrées dans Data Catalog. Pour en savoir plus, consultez Groupes d'entrées.
Type d'entrée : un type d'entrée est un modèle permettant de créer des entrées. Il établit les éléments de métadonnées essentiels, présentés sous la forme d'une liste d'aspects requis pour les entrées de ce type. Pour en savoir plus, consultez Types d'entrées.
Figure 1. Entrées et groupes d'entrées 
Figure 2. Types d'aspect et types d'entrées
Voici quelques exemples d'utilisation des fonctionnalités de gestion des métadonnées dans Dataplex Universal Catalog :
- En tant qu'analyste de données ou analyste commercial, vous pouvez rechercher des entrées dans toute l'organisation et explorer les métadonnées qui leur sont associées. Pour en savoir plus, consultez Rechercher des éléments de données.
- En tant que propriétaire ou responsable des données, vous pouvez capturer des métadonnées techniques et métier supplémentaires en annotant vos entrées avec des aspects. Pour en savoir plus, consultez Gérer les aspects et enrichir les métadonnées. Pour gérer les termes commerciaux, consultez Gérer les glossaires.
- En tant que propriétaire ou responsable des données, vous pouvez assurer la cohérence de vos métadonnées en définissant des normes pour les annotations (à l'aide de types d'aspect), les glossaires d'entreprise (à l'aide de catégories et de termes commerciaux) et les entrées personnalisées (à l'aide de types d'entrée). Pour en savoir plus, consultez Gérer les aspects et enrichir les métadonnées et Gérer les glossaires d'entreprise.
- En tant qu'ingénieur des données, vous pouvez disposer d'un inventaire unifié de vos ressources, y compris les ressources Google Cloud et celles provenant de systèmes tiers. Les ressourcesGoogle Cloud sont collectées automatiquement par Dataplex Universal Catalog, tandis que les ressources nonGoogle Cloud sont collectées par vous. Pour en savoir plus, consultez Gérer les entrées et ingérer des sources personnalisées.
Pour les utilisateurs existants de Data Catalog
Si vous utilisez déjà Data Catalog, notez les points suivants :
- Les entrées personnalisées, le contexte de présentation, les glossaires et les groupes d'entrées que vous avez créés dans Data Catalog sont disponibles dans Dataplex Universal Catalog.
- En tant qu'administrateur, vous pouvez choisir de rendre le contenu des tags et des modèles de tags Data Catalog disponible simultanément dans Dataplex Universal Catalog. Pour en savoir plus, consultez Passer de Data Catalog à Dataplex Universal Catalog.
- Lorsque vous recherchez des éléments de données dans le catalogue universel Dataplex, les métadonnées créées directement dans le catalogue universel Dataplex et celles importées depuis Data Catalog dans le catalogue universel Dataplex sont incluses.
- Lorsque vous recherchez des éléments de données dans Data Catalog, seules les métadonnées créées dans Data Catalog sont incluses.
- Les descriptions de groupes d'entrées dans Data Catalog qui dépassent 1 024 caractères sont tronquées à 1 024 caractères dans Dataplex Universal Catalog.
- En tant qu'administrateur, pour rendre les glossaires et les liens associés entre les termes métier et les colonnes que vous avez créés dans Data Catalog disponibles dans Dataplex Universal Catalog, suivez la procédure de transition.
Pour savoir comment transférer votre contenu et votre utilisation Data Catalog autonomes vers Dataplex Universal Catalog, consultez Passer de Data Catalog à Dataplex Universal Catalog.
Comparaison entre Dataplex Universal Catalog et Data Catalog
Dataplex Universal Catalog fournit des fonctionnalités intégrées pour gérer vos métadonnées. Le stockage des métadonnées et les méthodes d'API sont intégrés à l'API Dataplex.
Voici les principales fonctionnalités de gestion des métadonnées dans Dataplex Universal Catalog :
Métamodèle plus robuste
- les entrées saisies au clavier ; Vous pouvez appliquer des normes minimales pour les métadonnées en définissant le contenu de métadonnées requis pour les entrées personnalisées.
- Métamodèle configurable par l'utilisateur pour les entrées personnalisées, qui permet de rendre l'ingestion personnalisée plus robuste et d'améliorer la cohérence et l'exhaustivité des métadonnées personnalisées.
- Prise en charge d'une plus grande variété et complexité de métadonnées, y compris la prise en charge des structures d'imbrication telles que les listes, les maps et les tableaux.
Amélioration de l'évolutivité, y compris la possibilité d'interagir avec toutes les métadonnées associées à une entrée par le biais d'opérations CRUD atomiques uniques et la possibilité de récupérer plusieurs annotations de métadonnées associées dans les réponses de recherche ou de liste.
Le tableau suivant compare les fonctionnalités de gestion des métadonnées de Dataplex Universal Catalog et de Data Catalog :
| Fonctionnalité | Catalogue universel Dataplex | Data Catalog |
|---|---|---|
| Sources Google Cloud acceptées | Toutes les sources décrites dans la section Sources Google Cloud prises en charge de ce document. | Toutes les sources décrites dans Entrées et groupes d'entrées. |
| Ingestion de sources personnalisées | Ingestion dans des entrées personnalisées avec une structure régie, définie par des types d'entrées. Les entrées et les groupes d'entrées personnalisés de Data Catalog sont disponibles dans Dataplex Universal Catalog sous le type d'entrée | Ingestion dans des entrées personnalisées génériques. |
| Enrichissement des métadonnées | Le contexte des métadonnées pour les entrées est capturé à l'aide de glossaires d'entreprise, d'aspects et de types d'aspects. | Le contexte des métadonnées des entrées est capturé à l'aide de glossaires d'entreprise, de tags et de modèles de tag. |
| Rechercher | La recherche est effectuée sur les éléments suivants :
Les résultats de recherche n'incluent que les ressources appartenant à la même organisation et au même périmètre VPC-SC que le projet dans lequel la recherche est effectuée. Lorsque vous utilisez la console Google Cloud , il s'agit du projet sélectionné dans la console. Notez que pour rechercher des entrées, vous devez disposer d'au moins l'un des rôles IAM suivants sur le projet utilisé pour la recherche : administrateur du catalogue Dataplex, éditeur du catalogue Dataplex ou lecteur du catalogue Dataplex. Les autorisations sur les résultats de recherche sont vérifiées indépendamment du projet sélectionné. |
La recherche est effectuée sur les éléments suivants :
|
| Traçabilité des données |
La traçabilité des données récupère les détails des entrées pour les nœuds d'éléments à l'aide de l'API Dataplex. La console Google Cloud affiche les aspects associés. |
La traçabilité des données récupère les détails des entrées pour les nœuds d'éléments à l'aide de l'API Data Catalog. |
| Glossaires d'entreprise |
Le glossaire d'entreprise vous permet de créer une taxonomie pour les termes commerciaux et de les associer à des composants et des colonnes de données. Vous pouvez utiliser la recherche pour découvrir les composants associés à un terme. |
Le glossaire d'entreprise vous permet de créer une taxonomie pour les termes commerciaux et de les associer à des colonnes. Vous pouvez utiliser la recherche pour découvrir les composants associés à un terme. |
Le tableau suivant décrit la correspondance entre les ressources de Dataplex Universal Catalog et celles de Data Catalog :
| Ressource Dataplex Universal Catalog | Ressource Data Catalog | Description |
|---|---|---|
Type d'aspect (global) |
Modèle de tag public | Les modèles de balises sont des ressources régionales. Toutefois, vous pouvez les utiliser pour créer des tags dans plusieurs régions. Les modèles de tags correspondent aux types d'aspect global dans Dataplex Universal Catalog. |
| Aspect facultatif | Tag public | Les tags publics dans Data Catalog correspondent à des aspects facultatifs dans Dataplex Universal Catalog. |
| Groupe d'entrées | Groupe d'entrées | Pour les sources Google Cloud , les groupes d'entrées système tels que @bigquery
sont établis par projet dans Dataplex Universal Catalog. |
| Aspects requis pour les entrées personnalisées | Entrée personnalisée | Data Catalog et Dataplex Universal Catalog partagent des concepts similaires pour les entrées personnalisées. Les propriétés d'entrée standards sont modélisées en tant qu'aspects requis dans Dataplex Universal Catalog. |
| Aspects requis pour l'entrée dans le système | Entrée système (Google Cloud) | Les métadonnées décrivant les entités intégrées, telles que Schema pour les tables BigQuery, sont capturées dans les aspects requis des types d'aspects définis par le système. |
| Glossaires d'entreprise | Glossaires d'entreprise | Utilisez des glossaires pour créer une taxonomie de termes commerciaux qui normalise le contexte commercial dans toute l'entreprise. |
Pour en savoir plus sur les fonctionnalités disponibles dans Data Catalog, mais non compatibles avec Dataplex Universal Catalog, consultez la section Fonctionnalités de gestion des métadonnées non compatibles avec Dataplex Universal Catalog de ce document.
Sources acceptées
- Découverte automatique des données Cloud Storage
- Les métadonnées des sources Google Cloud suivantes sont automatiquement ingérées dans Dataplex Universal Catalog :
- Échanges et fiches BigQuery Sharing (anciennement Analytics Hub)
- Ensembles de données, tables, modèles, routines, connexions et ensembles de données associés BigQuery
- Instances, clusters et tables Bigtable (y compris les détails des familles de colonnes)
- Dépôts Dataform et composants de code
- Instances, bases de données, schémas, tables et vues Cloud SQL : consultez Activer l'intégration Cloud SQL.
- Services, bases de données et tables Dataproc Metastore
- Sujets Pub/Sub
- Instances, bases de données, tables et vues Spanner
- Modèles, ensembles de données, groupes de caractéristiques, vues de caractéristiques et instances de boutique en ligne Vertex AI
Pour importer des métadonnées depuis une source tierce dans Dataplex Universal Catalog, vous pouvez utiliser un pipeline de connectivité géré.
Contraintes liées au projet et à l'emplacement
Les ressources de catalogue dans Dataplex Universal Catalog sont hébergées dans différents projets et emplacements. Les limites suivantes s'appliquent :
Lieu :
- L'emplacement d'une entrée doit correspondre à celui du type d'entrée, ou le type d'entrée doit être
global. - Un aspect ajouté à une entrée doit être basé sur un type d'aspect stocké au même emplacement que l'entrée, ou le type d'aspect doit être
global. - Un type d'entrée doit être composé de types d'aspect stockés au même emplacement que le type d'entrée.
- L'emplacement d'une entrée doit correspondre à celui du type d'entrée, ou le type d'entrée doit être
Projet :
- Si un type d'entrée fait référence à des types d'aspect personnalisés, ces types d'aspect doivent se trouver au même emplacement et dans le même projet que le type d'entrée.
Fonctionnalités de gestion des métadonnées non compatibles avec Dataplex Universal Catalog
Les fonctionnalités suivantes disponibles dans Data Catalog ne sont pas compatibles avec Dataplex Universal Catalog :
- Le concept d'aspects et de types d'aspects privés (qui correspondent aux tags et modèles de tags privés dans Data Catalog) n'existe pas dans Dataplex Universal Catalog.
- La recherche de tags de règles n'est pas compatible avec la recherche dans Dataplex Universal Catalog. Par conséquent, les prédicats
policytagetpolicytagidne fonctionnent pas dans la recherche Dataplex Universal Catalog. - Lorsque vous importez des groupes d'entrées personnalisées, des entrées personnalisées, des modèles de tags et des tags Data Catalog dans Dataplex Universal Catalog, leurs autorisations d'origine ne sont pas conservées. Vous devez configurer explicitement les autorisations IAM pour les métadonnées copiées avant de les utiliser.
- Terraform n'est pas compatible avec la gestion des aspects et des entrées personnalisées. Vous pouvez gérer vos métadonnées personnalisées à grande échelle de manière programmatique à l'aide d'un pipeline de connectivité géré ou des méthodes d'API d'importation de métadonnées. (La compatibilité de Terraform avec les groupes d'entrées, les types d'entrées et les types d'aspects est disponible. Pour en savoir plus, consultez Provisionner des ressources Dataplex Universal Catalog avec Terraform.)
- L'envoi des résultats d'inspection de la protection des données sensibles directement au catalogue dans Dataplex Universal Catalog n'est pas pris en charge. Vous pouvez plutôt envoyer les résultats de l'inspection de la protection des données sensibles à Data Catalog, puis transférer les résultats vers Dataplex Universal Catalog.
- Vous ne pouvez pas lister les types d'entrées et les types d'aspects dans plusieurs projets à l'aide de l'API. Vous ne pouvez limiter la requête de liste qu'à un seul projet.
- L'enregistrement de lacs, de zones, d'éléments et d'entités en tant qu'entrées Dataplex Universal Catalog n'est pas pris en charge. Cela signifie que les métadonnées Data Catalog associées aux lacs, aux zones, aux composants et aux entités ne sont pas transférées vers le catalogue dans Dataplex Universal Catalog. De plus, lorsque vous utilisez la recherche Dataplex Universal Catalog, la recherche de zones et d'entités n'est pas prise en charge, et le filtrage par lacs et zones n'est pas non plus pris en charge. Vous pouvez utiliser les lacs et les zones indépendamment du catalogue dans Dataplex Universal Catalog.
- La recherche d'administrateurs, qui garantit un rappel complet, n'est pas disponible. Vous pouvez exporter les métadonnées vers Cloud Storage, puis les interroger depuis BigQuery.
Pour comparer les fonctionnalités et les ressources compatibles avec Dataplex Universal Catalog et Data Catalog, consultez la section Comparaison entre Dataplex Universal Catalog et Data Catalog de ce document.
Tarifs
Dataplex Universal Catalog utilise le SKU de stockage des métadonnées pour facturer le stockage des métadonnées. Pour en savoir plus, consultez les tarifs de Dataplex Universal Catalog.
L'utilisation des éléments suivants est gratuite :
- Créer et gérer des ressources de catalogue dans Dataplex Universal Catalog
- Appels d'API Search pour Dataplex Universal Catalog
- Requêtes de recherche effectuées sur la page Dataplex Universal Catalog dans la consoleGoogle Cloud
Étapes suivantes
- Découvrez comment rechercher des ressources dans Dataplex Universal Catalog.
- Découvrez comment gérer les composants et enrichir les métadonnées.
- Découvrez comment gérer les entrées et ingérer des sources personnalisées.
- En savoir plus sur la transition de Data Catalog vers Dataplex Universal Catalog
- En savoir plus sur la migration des glossaires vers Dataplex Universal Catalog