Data Catalog peut importer et conserver des métadonnées à jour provenant de plusieurs sources de données Google Cloud, ainsi que d'un certain nombre de sources sur site populaires.
Une fois les métadonnées ingérées, Data Catalog effectue les opérations suivantes :
- Rend les métadonnées existantes visibles via la recherche. Pour en savoir plus, consultez la page Effectuer une recherche.
- Permet aux membres de votre organisation d'enrichir vos données avec des métadonnées métier supplémentaires via des tags. Pour en savoir plus, consultez la page Tags et modèles de tags.
Bien que l'intégration aux sources Google Cloud soit automatique, si vous souhaitez intégrer des sources personnalisées sur site que votre organisation utilise, vous pouvez effectuer les opérations suivantes:
- Configurez et exécutez des connecteurs issus de la communauté.
- Utilisez l'API Data Catalog pour les entrées personnalisées.
Avant de commencer
Si vous utilisez déjà Data Catalog, vous devez déjà disposer d'un projet dans lequel l'API Data Catalog est activée. Pour en savoir plus sur la manière recommandée d'utiliser plusieurs projets avec Data Catalog, consultez la page Utiliser des modèles de tags dans plusieurs projets.
Si vous interagissez avec Data Catalog pour la première fois, procédez comme suit :
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Data Catalog API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Data Catalog API.
Intégrer des sources de données Google Cloud
Analytics Hub
Lorsque vous vous abonnez à une fiche dans Analytics Hub, un ensemble de données associé est créé dans votre projet. Data Catalog génère automatiquement des entrées de métadonnées pour cet ensemble de données associé et toutes les tables qu'il contient. Pour en savoir plus sur les ensembles de données associés et les autres fonctionnalités d'Analytics Hub, consultez la section Présentation d'Analytics Hub.
Dans la recherche Data Catalog, les ensembles de données associés s'affichent comme des ensembles de données BigQuery standards, mais vous pouvez les filtrer à l'aide du prédicat type=dataset.linked. Pour en savoir plus, consultez Rechercher des éléments de données.
BigQuery et Pub/Sub
Si votre organisation utilise déjà BigQuery et Pub/Sub, vous pouvez immédiatement rechercher les métadonnées à partir de ces sources, en fonction de vos autorisations. Si vous ne voyez pas les entrées correspondantes dans les résultats de recherche, recherchez les rôles IAM dont vous et les utilisateurs de votre projet pourriez avoir besoin sur la page Gestion de l'authentification et des accès.
Bigtable
Lorsque vous stockez des données dans Bigtable, les métadonnées sont automatiquement synchronisées avec Data Catalog pour les ressources Bigtable suivantes:
- Instances
- Tables, y compris les détails de la famille de colonnes
Pour obtenir des conseils sur l'utilisation de Data Catalog pour la découverte et le taggage des données, consultez Gérer les éléments de données à l'aide de Data Catalog dans la documentation Bigtable.
Cloud SQL
Cloud SQL ne s'intègre pas à Data Catalog, mais s'intègre à Dataplex Catalog. Pour en savoir plus, consultez la page Intégrer vos sources de données à Dataplex Catalog.
Dataproc Metastore
Pour effectuer l'intégration à Dataproc Metastore, activez la synchronisation avec Data Catalog pour les services nouveaux ou existants, comme décrit dans la section Activer la synchronisation de Data Catalog.
Sensitive Data Protection
En outre, Data Catalog s'intègre à la protection des données sensibles, ce qui vous permet d'analyser des ressources Google Cloud spécifiques à la recherche de données sensibles et de renvoyer les résultats à Data Catalog sous la forme de tags.
Pour en savoir plus, consultez la page Envoyer les résultats des analyses Sensitive Data Protection à Data Catalog.
Spanner
Lorsque vous stockez des données dans Spanner, les métadonnées des ressources Spanner suivantes sont synchronisées avec Data Catalog:
- Instances
- Bases de données
- Tables et vues avec schéma de colonnes
Pour obtenir des conseils sur l'utilisation de Data Catalog pour la découverte et le taggage des données, consultez Gérer des éléments de données à l'aide de Data Catalog.
Vertex AI
Vertex AI synchronise les métadonnées des ressources suivantes avec Data Catalog:
- Modèles du Registre de modèles
- Ensembles de données
- Instances de magasins en ligne
- Vues des fonctionnalités
- Groupes de fonctionnalités
Intégrer des sources de données sur site
Pour intégrer des sources de données sur site, vous pouvez utiliser les connecteurs Python correspondants fournis par la communauté :
- Recherchez votre source de données dans le tableau suivant.
- Ouvrez le dépôt GitHub correspondant.
- Suivez les instructions de configuration du fichier README.
| Catégorie | Composant | Description | Dépôt |
|---|---|---|---|
| SGBDR | mysql-connector | Exemple de code pour une source de données MySQL | google-datacatalog-mysql-connector |
| postgresql-connector | Exemple de code pour une source de données PostgreSQL | google-datacatalog-postgresql-connector | |
| sqlserver-connector | Exemple de code pour une source de données SQL Server | google-datacatalog-sqlserver-connector | |
| redshift-connector | Exemple de code pour une source de données Redshift | google-datacatalog-redshift-connector | |
| oracle-connector | Exemple de code pour une source de données Oracle | google-datacatalog-oracle-connector | |
| teradata-connector | Exemple de code pour une source de données Teradata | google-datacatalog-teradata-connector | |
| vertica-connector | Exemple de code pour une source de données Vertica | google-datacatalog-vertica-connector | |
| greenplum-connector | Exemple de code pour une source de données Greenplum | google-datacatalog-greenplum-connector | |
| rdbmscsv-connector | Exemple de code pour l'ingestion CSV standard de SGBDR | google-datacatalog-rdbmscsv-connector | |
| saphana-connector | Exemple de code pour une source de données SAP HANA | google-datacatalog-saphana-connector | |
| BI | looker-connector | Exemple de code pour une source de données Looker | google-datacatalog-looker-connector |
| qlik-connector | Exemple de code pour une source de données Qlik Sense | google-datacatalog-qlik-connector | |
| tableau-connector | Exemple de code pour une source de données Tableau | google-datacatalog-tableau-connector | |
| Hive | hive-connector | Exemple de code pour une source de données Hive | google-datacatalog-hive-connector |
| apache-atlas-connector | Exemple de code pour une source de données Apache Atlas | google-datacatalog-apache-atlas-connector |
Intégrer des sources de données non compatibles
Si vous ne trouvez pas de connecteur pour votre source de données, vous pouvez toujours l'intégrer manuellement en créant des groupes d'entrées et des entrées personnalisées. Pour ce faire, vous pouvez procéder comme suit :
- Utilisez l'une des bibliothèques clientes Data Catalog dans l'un des langages suivants : C#, Go, Java, Node.js, PHP, Python ou Ruby.
- Vous pouvez également créer manuellement sur l'API Data Catalog.
Pour intégrer vos sources, commencez par lire l'article suivant : Entrées et groupes d'entrées, puis suivez les instructions de la page Créer des entrées Data Catalog personnalisées pour vos sources de données.
Étape suivante
- Obtenez plus d'informations sur Identity and Access Management.
- Découvrez comment effectuer une recherche.
- Suivez le guide de démarrage rapide pour ajouter des tags à des tables.