Ce document fournit des conseils et des bonnes pratiques pour utiliser Dataplex Universal Catalog.
Choisir un projet pour votre lac
Lorsque vous sélectionnez le projet dans lequel héberger votre lac, tenez compte des facteurs suivants :
Le projet doit appartenir au même périmètre VPC Service Controls que les données destinées à se trouver dans le lac.
Le compte de service du lac de données nécessite des autorisations d'administrateur sur les buckets Cloud Storage ou les ensembles de données BigQuery. Le catalogue universel Dataplex crée des tables externes dans BigQuery pour les tables découvertes dans Cloud Storage. Dataplex Universal Catalog met également à disposition les métadonnées des table BigQuery et les tables découvertes dans le bucket Cloud Storage, dans un service Dataproc Metastore. Dataproc Metastore se trouve dans le projet de lac de données.
Paramètres et limites de Cloud Storage
Région : Dataplex Universal Catalog accepte les buckets monorégionaux et multirégionaux dans certaines régionsGoogle Cloud .
Classe de stockage : les buckets Cloud Storage de toutes les classes de stockage sont acceptés (Standard, Nearline, Coldline, Archive). Des frais de récupération de données supplémentaires peuvent s'appliquer pour accéder aux données Nearline, Coldline ou Archive, ou les analyser.
LCA de bucket : Dataplex Universal Catalog n'est compatible qu'avec les buckets Cloud Storage dotés de contrôles d'accès uniformes. Les contrôles ultraprécis des accès ne sont pas compatibles.
Paiements du demandeur : les buckets Cloud Storage pour lesquels la fonctionnalité Paiements du demandeur est activée ne sont pas compatibles.
Conseils sur la sécurité et les autorisations
Dataplex Universal Catalog nécessite d'ajouter les comptes de service Dataplex Universal Catalog en tant que compte de service administratif sur les buckets et ensembles de données gérés.
Le catalogue universel Dataplex permet aux analystes d'accéder aux buckets Cloud Storage et aux ensembles de données BigQuery dans de nombreux projets. Pour activer cet accès, Dataplex Universal Catalog nécessite d'ajouter les comptes de service Dataplex Universal Catalog avec des contrôles administratifs à ces projets.
Pour Discovery, Dataplex Universal Catalog ajoute le compte de service Dataproc Metastore aux buckets Cloud Storage. Si vous possédez votre propre cluster Dataproc Metastore, vous pouvez faire en sorte que le lac Dataplex Universal Catalog utilise votre service Dataproc Metastore. Cette option est disponible lorsque vous créez votre lac.
Si vous choisissez d'ajouter un bucket Cloud Storage avec un accès précis à un lac, Dataplex Universal Catalog fournira un accès complet à ce bucket via le lac, car les autorisations Dataplex Universal Catalog sont propagées à tous les objets du bucket. Si vous avez besoin d'un accès précis, nous vous recommandons de répartir les données de votre bucket dans plusieurs buckets.