Utiliser le magasin d'attributs du catalogue universel Dataplex

Ce document explique comment utiliser le magasin d'attributs du catalogue universel Dataplex.

Migrer de l'Attribute Store vers les tags et les conditions IAM

Pour migrer depuis Attribute Store, vous devez remplacer la fonctionnalité Attribute Store par des tags, des tags de stratégie et des conditions IAM.

Présentation du magasin d'attributs

Le magasin d'attributs Dataplex Universal Catalog est une infrastructure extensible qui vous permet de spécifier des comportements liés aux règles sur les ressources associées. Les administrateurs Dataplex Universal Catalog peuvent utiliser l'Attribute Store pour définir la façon dont certaines données doivent être traitées, en associant des données à des attributs.

Avec le magasin d'attributs, vous pouvez ajouter plusieurs attributs à un objet, comme une colonne. Le magasin d'attributs fusionne les comportements de tous les attributs associés à un objet et les présente sous la forme d'une règle unique sur la ressource sous-jacente.

Vous pouvez définir des attributs pour les ensembles de données publiés. Les ensembles de données publiés font référence aux ensembles de données créés par Dataplex Universal Catalog à partir des tables découvertes dans un bucket.

Les comportements de règle suivants sont acceptés :

  • Spécifications des ressources : spécifient l'accès à une ressource, telle qu'une table
  • Spécifications de colonne : spécifient l'accès à une colonne d'une table BigQuery

Vous pouvez utiliser le magasin d'attributs pour définir une hiérarchie d'attributs appelée taxonomie. Dans une taxonomie, un attribut enfant hérite des spécifications de la hiérarchie des attributs parents. Les spécifications du parent et de l'enfant sont fusionnées dans une liste unifiée, qui est propagée à la ressource.

Vous pouvez utiliser le magasin d'attributs Dataplex Universal Catalog pour effectuer les opérations suivantes :

  • créer des taxonomies ;
  • Créez des attributs et organisez-les dans une hiérarchie.
  • Associez un ou plusieurs attributs à des tables.
  • Associez un ou plusieurs attributs à des colonnes.

Terminologie

Cette section décrit la terminologie utilisée dans ce document.

Taxonomie des attributs

Une taxonomie de données est une hiérarchie d'attributs. Dans une taxonomie, les attributs des nœuds parents permettent aux attributs situés en dessous (attributs enfants) d'hériter des spécifications de comportement des attributs parents et de les ajouter aux leurs.

Par exemple : Si un attribut nommé PII possède une spécification de ressource group-a@company.com et qu'un attribut enfant PII nommé Social Security numbers possède une spécification de ressource group-b@company.com, les spécifications de ressource appliquées aux règles auxquelles l'attribut Social Security numbers est associé seront group-a@company.com et group-b@company.com.

Lorsque vous définissez un attribut, vous pouvez choisir s'il s'agit d'un attribut parent ou enfant. Lorsque vous définissez un attribut enfant, vous devez spécifier son attribut parent.

Spécifications des colonnes

Spécifications de comportement pour les colonnes. Elle spécifie les personnes ou les groupes qui ont accès en lecture aux colonnes. Si vous associez un attribut contenant une spécification de colonne à la colonne d'une table, un tag avec stratégie de colonne BigQuery est ajouté à cette colonne.

Spécifications des ressources

Autorisations accordées aux personnes ou aux groupes pour accéder aux ressources (tables). Si vous associez un attribut à une spécification de ressource, Dataplex Universal Catalog propage les rôles IAM aux utilisateurs spécifiés pour leur permettre d'accéder aux tables associées à l'attribut.

Avant de commencer

Limites

Dataplex Universal Catalog propage les règles de spécification de colonne en tant que tags avec stratégie BigQuery. BigQuery limite le nombre de tags avec stratégie à un par colonne. Si un tag de règle existe déjà sur une colonne, Dataplex Universal Catalog génère une erreur dans le journal de gouvernance de l'onglet Gérer.

Quotas

Voici les quotas et limites qui s'appliquent au magasin d'attributs Dataplex Universal Catalog :

Limite Par défaut
Nombre maximal de taxonomies dans une région 100
Nombre maximal d'attributs dans toutes les taxonomies d'une région 10 000
Nombre maximal d'attributs pouvant être associés à une ressource (table) 50
Nombre maximal d'attributs pouvant être associés à une colonne 100
Profondeur maximale par arbre d'attributs dans une taxonomie d'attributs 4

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser le magasin d'attributs Dataplex Universal Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser le magasin d'attributs du catalogue universel Dataplex. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser le magasin d'attributs Dataplex Universal Catalog :

  • Gérer les taxonomies et les attributs :
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • Affichez les liaisons associées aux ressources et aux attributs :
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Créez et gérez des ressources de liaison dans un projet : dataplex.dataattributebindings.*
  • Gérez les spécifications d'accès aux ressources et aux données :
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Exemples de cas d'utilisation

Prenons l'exemple d'une entreprise nommée ACME qui dispose de trois types de données :

  • Red données sensibles
  • Données Green restreintes, mais moins sensibles
  • Données non classées

L'administrateur Dataplex Universal Catalog de ACME crée l'ensemble d'attributs suivant :

  • Attribut : Red

    • Spécifications de la colonne : secrets_team@acme avec autorisation de lecture
    • Spécifications des ressources : secrets_team@acme et tenured_employees@acme avec autorisation de lecture

  • Attribut : Green

    • Spécifications de la colonne : full_time_employees@acme avec autorisation de lecture
    • Spécifications des ressources : full_time_employees@acme avec autorisation de modification

Cette image contient les spécifications de colonne et de ressource pour les attributs "Rouge" et "Vert".

Les attributs Red et Green contrôlent le comportement d'accès aux ressources (tables) en fonction des attributs associés aux tables et à leurs colonnes.

Prenons l'exemple d'une table contenant les colonnes suivantes :

  • ID
  • Code postal
  • Nom
  • Adresse
  • $Value

Cas d'utilisation 1 : Associer le même attribut à la table et à une colonne

Cette image montre l'attribut "Rouge" associé à la table et à la colonne "Nom".

Si vous associez l'attribut Red à la table et à sa colonne Name, Dataplex Universal Catalog propage les règles suivantes :

  • Les employés des groupes secrets_team@acme et tenured_employees@acme peuvent lire la table, consulter ses métadonnées et l'interroger.
  • Seuls les employés du groupe secrets_team@acme peuvent interroger la colonne Name, car elle est également protégée par des spécifications de colonne.

Cas d'utilisation 2 : Combiner des attributs

Voici quelques exemples d'associations :

  • Associez les attributs Red et Green à la table.
  • Associez les attributs Red et Green à la colonne Nom.
  • Associez l'attribut Red à la colonne $Value.

Cette image montre les attributs "Rouge" et "Vert" associés à la table et à la colonne "Nom", et l'attribut "Rouge" associé à la colonne "$value".

Dans ce cas, Dataplex Universal Catalog propage les règles suivantes :

  • Les employés des groupes secrets_team@acme, tenured_employees@acme et full_time_employees@acme peuvent accéder à la table. En effet, Dataplex Universal Catalog fusionne les spécifications de ressources des attributs Red et Green.
  • Les employés des groupes secrets_team@acme et full_time_employees@acme peuvent accéder à la colonne Nom. En effet, Dataplex Universal Catalog fusionne les spécifications de colonne des attributs Red et Green.
  • Seuls les employés de secrets_team@acme peuvent interroger la colonne $Value.

Cas d'utilisation 3 : Organiser les attributs dans une hiérarchie

Vous pouvez organiser les attributs dans une hiérarchie en spécifiant leurs sous-types. Considérez l'ensemble d'attributs suivant :

Attribut parent 1 :
Attribut : PII

  • Spécifications des colonnes : secrets_team@acme
  • Spécifications des ressources : secrets_team@acme et tenured_employees@acme

Attribut enfant de PII :
Attribut : Email

  • Spécifications des colonnes : email_comm@acme
  • Spécifications des ressources : email_comm@acme

Attribut parent 2 :
Attribut : Financial

  • Spécifications des colonnes : full_time_employees@acme
  • Spécifications des ressources : full_time_employees@acme

Cette image montre un exemple de hiérarchie d'attributs.

Voici quelques exemples d'associations :

  • Associez les attributs Email et Financial à la table.
  • Associez les attributs Email et Financial à la colonne Nom.
  • Associez l'attribut PII à la colonne $Value.

Cette image montre comment les attributs d'une hiérarchie peuvent être associés à la table et aux colonnes.

Dans ce cas, Dataplex Universal Catalog propage les règles suivantes :

  • Les employés des groupes secrets_team@acme, tenured_employees@acme, full_time_employees@acme et email_comm@acme peuvent accéder à la table. En effet, Dataplex Universal Catalog fusionne les spécifications de ressources des attributs Financial et Email, et l'attribut Email hérite des spécifications de l'attribut PII.
  • Les employés des groupes secrets_team@acme, email_comm@acme et full_time_employees@acme peuvent accéder à la colonne Nom. En effet, Dataplex Universal Catalog fusionne les spécifications de colonne des attributs Financial et Email.
  • Seuls les employés de secrets_team@acme peuvent interroger la colonne $Value.

Configurer les attributs

Pour créer un attribut, vous devez d'abord créer une taxonomie, puis créer les attributs de données parents et enfants.

Créer une taxonomie d'attributs de données

  1. Dans la console Google Cloud , accédez à la page Attribute Store du catalogue universel Dataplex.

    Accéder à l'attribut store

  2. Cliquez sur Créer une taxonomie.

  3. Saisissez le nom, l'ID et la description de la taxonomie.

  4. Sélectionnez une région.

  5. Cliquez sur Envoyer.

    La nouvelle taxonomie s'affiche sur la page Taxonomies de données.

Créer un attribut parent

  1. Dans la console Google Cloud , accédez à la page Attribute Store du catalogue universel Dataplex.

    Accéder à l'attribut store

  2. Sur la page Taxonomies de données, cliquez sur la taxonomie dans laquelle vous souhaitez créer l'attribut parent.

  3. Sur la page Détails de la taxonomie, cliquez sur Ajouter un attribut de données.

  4. Sélectionnez Créer un attribut de données parent.

  5. Saisissez un nom, un ID et une description pour l'attribut parent.

  6. Facultatif : Configurez les spécifications des attributs.

    1. Configurez les spécifications des ressources :

      1. Cliquez sur Gérer les autorisations pour Ressource.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la ressource.
      4. Sélectionnez les Rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

    2. Configurez les spécifications de colonne :

      1. Cliquez sur Gérer les autorisations pour Colonne.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la colonne.
      4. Sélectionnez les Rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

  7. Cliquez sur Créer.

Créer un attribut enfant

  1. Dans la console Google Cloud , accédez à la page Attribute Store du catalogue universel Dataplex.

    Accéder à l'attribut store

  2. Sur la page Taxonomies de données, cliquez sur la taxonomie dans laquelle vous souhaitez créer l'attribut enfant.

  3. Sur la page Détails de la taxonomie, cliquez sur Ajouter un attribut de données.

  4. Sélectionnez Créer un attribut de données enfant.

  5. Sélectionnez un attribut de données parent pour l'attribut enfant que vous créez.

  6. Saisissez un nom, un ID et une description pour l'attribut enfant.

  7. Facultatif : Configurez les spécifications des attributs.

    1. Configurez les spécifications des ressources :

      1. Cliquez sur Gérer les autorisations pour Ressource.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la ressource.
      4. Sélectionnez les Rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

    2. Configurez les spécifications de colonne :

      1. Cliquez sur Gérer les autorisations pour Colonne.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la colonne.
      4. Sélectionnez les Rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

  8. Cliquez sur Créer.

Mettre à jour les ressources du magasin d'attributs

Modifier les détails de la taxonomie

  1. Dans la console Google Cloud , accédez à la page Attribute Store du catalogue universel Dataplex.

    Accéder à l'attribut store

  2. Cliquez sur la taxonomie que vous souhaitez modifier.

  3. Cliquez sur Modifier.

  4. Modifiez le nom et la description de la taxonomie si nécessaire.

  5. Cliquez sur Envoyer.

Modifier les détails d'un attribut

  1. Dans la console Google Cloud , accédez à la page Attribute Store du catalogue universel Dataplex.

    Accéder à l'attribut store

  2. Cliquez sur la taxonomie contenant l'attribut que vous souhaitez modifier.

  3. Cliquez sur l'attribut que vous souhaitez modifier.

  4. Pour modifier le nom et la description de l'attribut, cliquez sur Modifier.

    1. Si vous mettez à jour un attribut parent, vous pouvez le remplacer par un attribut enfant et inversement. Sélectionnez les options en conséquence.
    2. Modifiez le nom et la description de l'attribut si nécessaire.
    3. Cliquez sur Mettre à jour.

  5. Pour mettre à jour les spécifications de ressource pour l'attribut, cliquez sur  Modifier pour Spécifications de ressource.

    1. Pour ajouter un principal, procédez comme suit :

      1. Cliquez sur Ajouter.
      2. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la ressource.
      3. Sélectionnez les rôles requis.
      4. Cliquez sur Enregistrer.

    2. Pour modifier un principal existant, procédez comme suit :

      1. Pour le compte principal que vous souhaitez modifier, cliquez sur Modifier.
      2. Sélectionnez les rôles requis.
      3. Cliquez sur Enregistrer.

    3. Pour supprimer un principal existant, procédez comme suit :

      1. Sélectionnez le compte principal que vous souhaitez supprimer.
      2. Cliquez sur Supprimer.

  6. Pour mettre à jour les spécifications de colonne de l'attribut, cliquez sur Modifier pour Spécifications de colonne.

    1. Pour ajouter un principal, procédez comme suit :

      1. Cliquez sur Ajouter.
      2. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la colonne.
      3. Sélectionnez les rôles requis.
      4. Cliquez sur Enregistrer.

    2. Pour modifier un principal existant, procédez comme suit :

      1. Pour le compte principal que vous souhaitez modifier, cliquez sur Modifier.
      2. Sélectionnez les rôles requis.
      3. Cliquez sur Enregistrer.

    3. Pour supprimer un principal existant, procédez comme suit :

      1. Sélectionnez le compte principal que vous souhaitez supprimer.
      2. Cliquez sur Supprimer.

Associer des attributs à des ressources

Associer un attribut à une table

  1. Dans la console Google Cloud , accédez à la page Attribute Store du catalogue universel Dataplex.

    Accéder à l'attribut store

  2. Cliquez sur la taxonomie contenant l'attribut.

  3. Cliquez sur l'attribut auquel vous souhaitez associer un tableau.

  4. Cliquez sur l'onglet Ressources.

  5. Cliquez sur Ajouter des ressources.

  6. Sélectionnez un tableau dans la liste.

  7. Cliquez sur Sélectionner.

Associer un attribut à une colonne

  1. Dans la console Google Cloud , accédez à la page Rechercher de Data Catalog.

    Accéder à la recherche

  2. Recherchez et sélectionnez la table pour laquelle vous souhaitez associer un attribut à une colonne.

  3. Cliquez sur l'onglet Tags de colonne et de schéma.

  4. Dans la colonne à laquelle vous souhaitez associer un attribut, dans Tags avec stratégie, cliquez sur Ajouter.

  5. Sélectionnez la taxonomie qui contient l'attribut.

  6. Sélectionnez l'attribut.

  7. Cliquez sur Joindre.

Étapes suivantes