Cette page explique comment ajouter, mettre à niveau et supprimer des buckets Cloud Storage et des ensembles de données BigQuery en tant qu'éléments dans des zones Dataplex Universal Catalog existantes.
Présentation
Un élément fait référence aux données stockées dans Cloud Storage ou BigQuery. Vous pouvez mapper les données stockées dans des projets Google Cloud distincts en tant qu'éléments dans une même zone d'un lac. Vous pouvez associer des buckets Cloud Storage ou des ensembles de données BigQuery existants pour les gérer depuis le lac.
Avant de commencer
Si vous ne l'avez pas déjà fait, créez un lac et une zone dans ce lac.
La plupart des commandes
gcloud lakesnécessitent un emplacement. Vous pouvez le spécifier à l'aide de l'option--location.
Rôles requis
Pour supprimer des composants, accordez les rôles IAM contenant les autorisations
dataplex.lakes.delete,dataplex.zones.deleteoudataplex.assets.delete. Les rôlesroles/dataplex.adminetroles/dataplex.editorspécifiques à Dataplex Universal Catalog permettent d'accorder ces autorisations.Pour ajouter des composants, accordez les rôles IAM contenant les autorisations
create–dataplex.lakes.create,dataplex.zones.createoudataplex.assets.create. Les rôlesroles/dataplex.adminetroles/dataplex.editorcontiennent ces autorisations.Vous pouvez également accorder des autorisations à des utilisateurs ou à des groupes à l'aide des anciens rôles
roles/owneretroles/editor.Vous devez autoriser le service Dataplex Universal Catalog sur les ressources qui sont associées au lac Dataplex Universal Catalog. L'autorisation est accordée automatiquement et implicitement pour les ressources du projet dans lequel le lac est créé. Pour les autres projets, autorisez explicitement le service Dataplex Universal Catalog sur les ressources.
Pour en savoir plus, consultez IAM et contrôle des accès Dataplex Universal Catalog.
Attribuer des rôles pour les buckets Cloud Storage
Pour associer un bucket Cloud Storage d'un autre projet à votre lac, vous devez accorder au compte de service Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, récupéré sur la page des détails du lac dans la console) le rôle de compte de service Dataplex Universal Catalog (roles/dataplex.serviceAgent) dans le projet contenant le bucket. Ce rôle fournit au service Dataplex Universal Catalog le rôle d'administrateur requis au niveau du bucket afin que les autorisations puissent être définies sur le bucket lui-même.
Attribuer des rôles pour les ensembles de données BigQuery
Pour associer un ensemble de données BigQuery d'un autre projet à votre lac, vous devez accorder au compte de service Dataplex Universal Catalog le rôle Administrateur BigQuery sur l'ensemble de données.
Points à prendre en compte concernant VPC Service Controls
Dataplex Universal Catalog ne viole pas les périmètres VPC Service Controls. Avant d'ajouter un composant au lac, assurez-vous que le bucket ou l'ensemble de données sous-jacent se trouve dans le même réseau VPC Service Controls que le lac.
Pour en savoir plus, consultez VPC Service Controls avec Dataplex Universal Catalog.
Ajouter un élément
S'il n'y a pas de chevauchement entre la région du lac Dataplex Universal Catalog et celle d'un des buckets Cloud Storage, vous ne pouvez pas ajouter le bucket à une zone de votre lac.
Pour en savoir plus sur l'emplacement régional d'un composant Cloud Storage et sur la façon dont Dataplex Universal Catalog gère l'emplacement d'un bucket lors de la création du dataset de publication, consultez Ressources régionales.
Pour ajouter un composant, procédez comme suit :
Console
Dans la console Google Cloud , accédez à la page Lacs de Dataplex Universal Catalog.
Cliquez sur le lac auquel vous souhaitez ajouter un bucket Cloud Storage ou un ensemble de données BigQuery. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données à laquelle vous souhaitez ajouter l'élément. La page de la zone de données s'ouvre.
Dans l'onglet Éléments, cliquez sur + Ajouter des éléments. La page Ajouter des composants s'ouvre.
Cliquez sur Ajouter un élément.
Dans le champ Type, sélectionnez Ensemble de données BigQuery ou Bucket Cloud Storage.
Dans le champ Nom à afficher, saisissez le nom du nouvel élément.
Dans le champ ID, saisissez un ID unique pour le composant.
Facultatif : saisissez une description.
Dans le champ Ensemble de données ou Bucket (selon le type de votre composant), cliquez sur Parcourir pour trouver et sélectionner votre bucket Cloud Storage ou votre ensemble de données BigQuery.
Facultatif : Si votre type de composant est Bucket Cloud Storage et que vous souhaitez que Dataplex Universal Catalog gère le composant, cochez la case Passer à la gestion. Si vous choisissez cette option, vous n'avez pas besoin de mettre à niveau le composant séparément. Cette option n'est pas disponible pour les ensembles de données BigQuery.
Cliquez sur Continuer.
Choisissez les autres valeurs de paramètre. Pour en savoir plus sur les paramètres de sécurité, consultez Sécurité du lac de données.
Cliquez sur Envoyer.
Vérifiez que vous êtes revenu sur la page de la zone de données et que le nouvel élément apparaît dans la liste des éléments.
REST
Pour ajouter un élément, utilisez la méthode lakes.zones.assets.create.
Une fois l'ajout réussi, la zone de données passe automatiquement à l'état actif. En cas d'échec, la zone de données est restaurée à son état opérationnel précédent.
Mettre à niveau un bucket Cloud Storage
Lorsque vous ajoutez un bucket Cloud Storage en tant qu'élément, Dataplex Universal Catalog publie automatiquement les tables externes BigQuery pour les tables hébergées dans l'élément.
Lorsque vous mettez à niveau un bucket Cloud Storage, Dataplex Universal Catalog supprime les tables externes associées et crée des tables BigLake. Les tables BigLake offrent une sécurité plus précise, y compris au niveau des lignes et des colonnes, ainsi que le masquage dynamique des données.
Pour mettre à niveau un élément de bucket Cloud Storage, procédez comme suit :
Console
Dans la console Google Cloud , accédez à la page Lacs de Dataplex Universal Catalog.
Cliquez sur le nom du lac. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données. La page de la zone de données s'ouvre.
Dans l'onglet Composants, cliquez sur le nom du composant que vous souhaitez mettre à niveau.
Cliquez sur Passer à la version gérée.
REST
Pour mettre à niveau un élément de bucket, utilisez la méthode lakes.zones.assets.patch.
Rétrograder un élément de bucket Cloud Storage
Lorsque vous rétrogradez un élément de bucket Cloud Storage, Dataplex Universal Catalog supprime les tables BigLake associées et crée des tables externes.
Console
Dans la console Google Cloud , accédez à la page Lacs de Dataplex Universal Catalog.
Cliquez sur le nom du lac. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données. La page de la zone de données s'ouvre.
Dans l'onglet Composants, cliquez sur le nom du composant que vous souhaitez mettre à niveau.
Cliquez sur Rétrograder depuis la version gérée.
REST
Pour rétrograder un élément de bucket, utilisez la méthode lakes.zones.assets.patch. Assurez-vous de définir le champ readAccessMode sur DIRECT dans ResourceSpec.
Supprimer un composant
Supprimez le composant de la zone ou du lac de données avant de l'associer à un autre.
Pour supprimer un composant :
Console
Dans la console Google Cloud , accédez à la page Lacs de Dataplex Universal Catalog.
Cliquez sur le lac à partir duquel vous souhaitez supprimer un bucket Cloud Storage ou un ensemble de données BigQuery. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données dont vous souhaitez supprimer le bucket Cloud Storage ou l'ensemble de données BigQuery. La page de la zone de données s'ouvre.
Dans l'onglet Éléments, cochez la case située à gauche du nom de l'élément pour le sélectionner.
Cliquez sur Supprimer l'élément.
Dans la boîte de dialogue de confirmation, cliquez sur Supprimer.
REST
Pour supprimer un bucket, utilisez la méthode lakes.zones,assets.delete.
Étapes suivantes
- En savoir plus sur la découverte de données
- Découvrez comment créer un lac.
- En savoir plus sur Cloud Audit Logging