Gérer les éléments de données à l'aide de Data Catalog

Data Catalog catalogue automatiquement les métadonnées sur les ressources Bigtable. Cette fonctionnalité permet à votre organisation de rechercher et de gérer vos composants de données Bigtable.

Les métadonnées sont automatiquement synchronisées entre Bigtable et Data Catalog pour les ressources Bigtable suivantes :

  • Instances
  • Clusters
  • Tables, y compris les détails de la famille de colonnes

Data Catalog est un service de gestion des métadonnées entièrement géré. Il fournit des mécanismes unifiés de visualisation et d'ajout de tags pour les métadonnées techniques et métier. Pour en savoir plus sur Data Catalog et découvrir pourquoi vous devriez l'utiliser, consultez Qu'est-ce que Data Catalog ?.

Avantages de l'utilisation de Data Catalog avec Bigtable

Les informations de Data Catalog sur vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données.

Vous pouvez rechercher des entrées dans Data Catalog par nom de ressource ou par détails. Par exemple, vous pouvez rechercher le nom d'une instance pour trouver l'entrée correspondante ou rechercher une famille de colonnes pour trouver l'entrée d'une table. Vous pouvez également utiliser une recherche à facettes en appliquant des filtres pour affiner votre recherche. Pour en savoir plus, consultez Rechercher et afficher des éléments de données avec Data Catalog.

Le taggage des éléments de données peut vous aider à comprendre et à cataloguer les données disponibles dans vos tables Bigtable pour les rendre plus détectables et consultables par les autres utilisateurs de Data Catalog, et dans le cadre de votre patrimoine de données plus vaste. Vous pouvez ajouter vos propres métadonnées à vos métadonnées cataloguées à l'aide de tags, puis utiliser ces tags pour effectuer des recherches.

Premiers pas avec Data Catalog

Pour commencer à utiliser Data Catalog afin de gérer vos composants de données Bigtable, effectuez les tâches suivantes :

  1. Si vous n'avez jamais utilisé Data Catalog, activez l'API.

  2. Attribuez des rôles IAM aux comptes principaux qui doivent accéder aux entrées Bigtable dans Data Catalog.

  3. Pour savoir comment rechercher des éléments de données, consultez Effectuer une recherche avec Data Catalog.

  4. Consultez la syntaxe de recherche dans Data Catalog pour savoir comment trouver vos métadonnées.

  5. Consultez les concepts sur le taggage des entrées Data Catalog dans Tags et modèles de tags.

Méthodes de recherche de métadonnées Bigtable

Vous pouvez rechercher des métadonnées Bigtable synchronisées à l'aide de Data Catalog.

En plus des qualificateurs standards, vous pouvez rechercher des ressources Bigtable avec les éléments suivants :

  • Instance

    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable
    • Emplacement du cluster
    • ID du cluster

  • Table

    • ID de la table
    • Nom de la famille de colonnes
    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable

Rôles requis

L'affichage, l'ajout de tags et la recherche de ressources Bigtable dans Data Catalog ont des exigences d'autorisation différentes. En général, accordez aux comptes principaux de votre organisation le rôle minimal requis pour accomplir une tâche.

Autorisation d'afficher les tags publics et privés

Pour obtenir les autorisations nécessaires pour afficher les tags publics et privés sur les ressources Bigtable, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour afficher les tags publics et privés. Les autorisations requises sont les suivantes :

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Autorisation de rechercher des ressources Bigtable

Pour obtenir les autorisations nécessaires pour rechercher des ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour rechercher des ressources Bigtable. Les autorisations requises sont les suivantes :

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Autorisation d'associer des tags aux ressources Bigtable

Pour obtenir les autorisations nécessaires pour associer des tags aux ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour ajouter des tags publics et privés. Les autorisations requises sont les suivantes :

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

(Facultatif) Créer un rôle personnalisé

Vous pouvez créer un rôle personnalisé à attribuer aux utilisateurs qui ont besoin d'un accès complet à toutes les métadonnées Bigtable dans Data Catalog pour l'ensemble de votre projet ou de votre organisation. Vous pouvez ensuite faire de tout utilisateur ou compte de service ayant besoin d'accéder à ce rôle un compte principal du rôle personnalisé. Pour en savoir plus sur les rôles personnalisés, consultez Rôles et autorisations.

Choisissez un nom explicite pour le rôle, tel que "Éditeur Bigtable Data Catalog", puis n'attribuez que les comptes principaux qui ont besoin d'accéder au rôle. Pour obtenir des instructions de configuration, consultez Créer un rôle personnalisé.

Accordez les autorisations suivantes au rôle personnalisé :

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Pour en savoir plus sur les autorisations Data Catalog, consultez Rôles permettant de rechercher des ressourcesGoogle Cloud . Pour obtenir la description des autorisations Bigtable, consultez Autorisations.

Contraintes connues

La section suivante liste certaines contraintes que vous devez prendre en compte avant d'utiliser Data Catalog pour gérer vos métadonnées Bigtable.

Contraintes de localisation

Si votre organisation a configuré des contraintes de localisation, il est possible que les entrées de métadonnées de vos ressources Bigtable ne soient pas synchronisées avec Data Catalog. Toutes les entrées créées avant l'application des contraintes de localisation sont conservées par Data Catalog.

Pour permettre à Data Catalog de charger des ressources, nous vous recommandons d'ajouter la région multirégionale global à votre règle d'emplacement.

Exception concernant le nom de la famille de colonnes

L'API Data Catalog rejette les requêtes dont le nom de famille de colonnes inclut un point (.). Par exemple, si le nom de famille de colonnes est personal.info.

Étapes suivantes