Gérer des éléments de données à l'aide de Data Catalog

Data Catalog est une fonctionnalité de Dataplex qui catalogue automatiquement les métadonnées des ressources Bigtable. Cette fonctionnalité aide votre organisation à rechercher et à gérer vos composants de données Bigtable.

Les métadonnées sont automatiquement synchronisées entre Bigtable et Data Catalog pour les ressources Bigtable suivantes:

  • Instances
  • Clusters
  • Tables, y compris les détails de la famille de colonnes

Data Catalog est un service de gestion des métadonnées entièrement géré au sein de Dataplex. Il fournit des mécanismes unifiés de visualisation et d'ajout de tags pour les métadonnées techniques et métier. Pour en savoir plus sur Data Catalog et découvrir pourquoi vous devriez l'utiliser, consultez Qu'est-ce que Data Catalog ?.

Avantages de l'utilisation de Data Catalog avec Bigtable

Les informations de Data Catalog sur vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données.

Vous pouvez rechercher des entrées dans Data Catalog par nom de ressource ou par détails. Par exemple, vous pouvez rechercher un nom d'instance pour trouver l'entrée d'une instance ou une famille de colonnes pour trouver l'entrée d'un tableau. Vous pouvez également utiliser une recherche facettée, en appliquant des filtres pour affiner votre recherche. Pour en savoir plus, consultez Rechercher et afficher des éléments de données avec Data Catalog.

Le taggage des éléments de données peut vous aider à comprendre et à cataloguer les données disponibles dans vos tables Bigtable afin de les rendre plus visibles et plus faciles à rechercher par d'autres utilisateurs de Data Catalog et dans le cadre de votre ensemble de données plus vaste. Vous utilisez des tags pour ajouter vos propres métadonnées à vos métadonnées cataloguées, puis vous pouvez utiliser ces tags pour effectuer des recherches.

Premiers pas avec Data Catalog

Pour commencer à utiliser Data Catalog pour gérer vos éléments de données Bigtable, effectuez les tâches suivantes:

  1. Si vous ne connaissez pas Data Catalog, activez l'API.

  2. Accordez des rôles IAM aux principaux qui ont besoin d'accéder aux entrées Bigtable dans Data Catalog.

  3. Découvrez comment rechercher des éléments de données en consultant Effectuer une recherche avec Data Catalog.

  4. Consultez la syntaxe de recherche dans Data Catalog pour savoir comment trouver vos métadonnées.

  5. Découvrez les concepts sur l'ajout de tags aux entrées Data Catalog dans Tags et modèles de tags.

Méthodes de recherche de métadonnées Bigtable

Vous pouvez rechercher des métadonnées Bigtable synchronisées à l'aide de Data Catalog.

En plus des qualifiants standards, vous pouvez rechercher des ressources Bigtable avec les éléments suivants:

  • Instance

    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable
    • Emplacement du cluster
    • ID du cluster

  • Tableau

    • ID de la table
    • Nom de la famille de colonnes
    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable

Rôles requis

L'affichage, l'ajout de tags et la recherche de ressources Bigtable dans Data Catalog ont des exigences d'autorisation différentes. En règle générale, attribuez aux comptes principaux de votre organisation le rôle minimal requis pour accomplir une tâche.

Autorisation d'afficher les tags publics et privés

Pour obtenir les autorisations nécessaires pour afficher les tags publics et privés sur les ressources Bigtable, demandez à votre administrateur de vous accorder les rôles IAM suivants:

Ces rôles prédéfinis contiennent les autorisations requises pour afficher les balises publiques et privées. Les autorisations requises sont les suivantes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Autorisation de rechercher des ressources Bigtable

Pour obtenir les autorisations nécessaires pour rechercher des ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants:

Ces rôles prédéfinis contiennent les autorisations requises pour rechercher des ressources Bigtable. Les autorisations requises sont les suivantes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Autorisation d'associer des tags aux ressources Bigtable

Pour obtenir les autorisations nécessaires pour associer des tags aux ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants:

Ces rôles prédéfinis contiennent les autorisations requises pour ajouter des balises publiques et privées. Les autorisations requises sont les suivantes:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

(Facultatif) Créer un rôle personnalisé

Vous pouvez créer un rôle personnalisé à accorder aux utilisateurs qui ont besoin d'un accès complet à toutes les métadonnées Bigtable dans Data Catalog pour l'ensemble de votre projet ou de votre organisation. Vous pouvez ensuite définir n'importe quel compte utilisateur ou de service nécessitant un accès comme principal du rôle personnalisé. Pour en savoir plus sur les rôles personnalisés, consultez la section Rôles et autorisations.

Choisissez un nom pertinent pour le rôle, par exemple "Éditeur du catalogue de données Bigtable", puis n'attribuez le rôle qu'aux principaux qui en ont besoin. Pour obtenir des instructions de configuration, consultez la section Créer un rôle personnalisé.

Accordez les autorisations suivantes au rôle personnalisé:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Pour en savoir plus sur les autorisations Data Catalog, consultez la section Rôles pour rechercher des ressources Google Cloud. Pour en savoir plus sur les autorisations Bigtable, consultez la section Autorisations.

Contraintes connues

La section suivante liste certaines contraintes que vous devez prendre en compte avant d'utiliser Data Catalog pour gérer vos métadonnées Bigtable.

Contraintes de localisation

Si votre organisation a configuré des contraintes de localisation, il est possible que les entrées de métadonnées de vos ressources Bigtable ne soient pas synchronisées avec Data Catalog. Toutes les entrées créées avant l'application des contraintes de localisation sont conservées par Data Catalog.

Pour permettre à Data Catalog de charger des ressources, nous vous recommandons d'ajouter la région multirégionale global à votre règle d'emplacement.

Exception concernant le nom de la famille de colonnes

L'API Data Catalog rejette les requêtes dont le nom de famille de colonnes inclut un point (.). Par exemple, si le nom de famille de colonnes est personal.info.

Étape suivante