Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Dieses Dokument enthält Anleitungen und Best Practices für die Verwendung von Dataplex Universal Catalog.
Projekt für den Data Lake auswählen
Berücksichtigen Sie bei der Auswahl des Projekts, in dem Ihr Data Lake gehostet werden soll, die folgenden Faktoren:
Das Projekt muss zum selben VPC Service Controls-Perimeter gehören wie die Daten, die sich im Data Lake befinden sollen.
Das Dienstkonto für den Data Lake benötigt Administratorberechtigungen für die Cloud Storage-Buckets oder BigQuery-Datasets.
Im Dataplex Universal Catalog werden externe Tabellen in BigQuery für Tabellen erstellt, die in Cloud Storage erkannt werden. Der Dataplex Universal Catalog stellt auch BigQuery-Tabellenmetadaten und Tabellen, die im Cloud Storage-Bucket erkannt wurden, in einem Dataproc Metastore-Dienst zur Verfügung. Der Dataproc Metastore befindet sich im Data Lake-Projekt.
Cloud Storage-Einstellungen und ‑Einschränkungen
Region: Dataplex Universal Catalog unterstützt Single-Region- und Multi-Region-Buckets in einigen Google Cloud Regionen.
Speicherklasse: Cloud Storage-Buckets aller Speicherklassen werden unterstützt (Standard, Nearline, Coldline, Archive).
Für den Zugriff auf oder das Scannen von Nearline-, Coldline- oder Archive-Daten können zusätzliche Kosten für den Datenabruf anfallen.
Bucket-ACL: Dataplex Universal Catalog unterstützt nur Cloud Storage-Buckets mit einheitlichen Zugriffssteuerungen.
Detaillierte Zugriffssteuerungen werden nicht unterstützt.
„Anforderer bezahlt“: Cloud Storage-Buckets, für die die Funktion Anforderer bezahlt aktiviert ist, werden nicht unterstützt.
Leitfaden zu Sicherheit und Berechtigungen
Für Dataplex Universal Catalog müssen die Dienstkonten von Dataplex Universal Catalog als administratives Dienstkonto für verwaltete Buckets und Datasets hinzugefügt werden.
Mit dem Dataplex Universal Catalog können Analysten auf Cloud Storage-Buckets und BigQuery-Datasets in vielen Projekten zugreifen. Damit dieser Zugriff möglich ist, müssen die Dataplex Universal Catalog-Dienstkonten mit administrativen Berechtigungen für diese Projekte hinzugefügt werden.
Für Discovery fügt Dataplex Universal Catalog das Dataproc Metastore-Dienstkonto den Cloud Storage-Buckets hinzu. Wenn Sie einen eigenen Dataproc Metastore-Cluster haben, können Sie den Dataplex Universal Catalog-Lake Ihren Dataproc Metastore-Dienst verwenden lassen. Diese Option ist verfügbar, wenn Sie den Lake erstellen.
Wenn Sie einem Lake einen Cloud Storage-Bucket mit feingranularem Zugriff hinzufügen, bietet Dataplex Universal Catalog über den Lake vollen Zugriff auf diesen Bucket, da die Berechtigungen von Dataplex Universal Catalog auf alle Objekte im Bucket übertragen werden. Wenn Sie einen detaillierten Zugriff benötigen, empfiehlt es sich, die Daten in Ihrem Bucket in mehrere Buckets aufzuteilen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-05 (UTC)."],[[["\u003cp\u003eDataplex lakes must reside within a project that shares the same VPC Service Controls perimeter as the data, and the lake service account needs admin permissions on the associated Cloud Storage buckets or BigQuery datasets.\u003c/p\u003e\n"],["\u003cp\u003eDataplex supports single region and multi-region Cloud Storage buckets of all storage classes, but only with uniform access controls and without the Requester Pays feature enabled.\u003c/p\u003e\n"],["\u003cp\u003eTo allow access to Cloud Storage buckets and BigQuery datasets across multiple projects, Dataplex service accounts require administrative controls on those projects.\u003c/p\u003e\n"],["\u003cp\u003eDataplex provides full access to any Cloud Storage bucket with fine-grained access added to a lake, recommending data be split into multiple buckets for fine-grained access needs.\u003c/p\u003e\n"],["\u003cp\u003eAvoid restricting VPC peering with organization policy constraints as it can cause errors with Dataproc Metastore.\u003c/p\u003e\n"]]],[],null,["# Best practices for Dataplex Universal Catalog\n\nThis document provides guidance and best practices for using\nDataplex Universal Catalog.\n\nChoose a project for your lake\n------------------------------\n\nWhen you select the project in which to host your lake, consider the following\nfactors:\n\n- The project must belong to the same\n [VPC Service Controls perimeter](/vpc-service-controls/docs/service-perimeters)\n as the data destined to be within the lake.\n\n- The lake service account requires administrator permissions on the\n Cloud Storage buckets or BigQuery datasets.\n Dataplex Universal Catalog creates external tables in BigQuery for\n tables discovered in Cloud Storage. Dataplex Universal Catalog also makes\n available BigQuery table metadata, and tables discovered in the\n Cloud Storage bucket, in a Dataproc Metastore service. The\n Dataproc Metastore is located within the data lake project.\n\nCloud Storage settings and limitations\n--------------------------------------\n\n- Region: Dataplex Universal Catalog supports single region and\n multi-region buckets in some [Google Cloud regions](/dataplex/docs/locations).\n\n- Storage class: Cloud Storage buckets of all\n [storage classes](/storage/docs/storage-classes) are supported\n (Standard, Nearline, Coldline, Archive).\n Additional data retrieval costs might incur for accessing or scanning\n Nearline, Coldline, or Archive data.\n\n- Bucket ACL: Dataplex Universal Catalog supports Cloud Storage buckets with\n [uniform access controls](/storage/docs/uniform-bucket-level-access) only.\n Fine-grained access controls aren't supported.\n\n- Requester Pays: Cloud Storage buckets with the\n [Requester Pays](/storage/docs/requester-pays) feature enabled aren't\n supported.\n\nSecurity and permissions guidance\n---------------------------------\n\nDataplex Universal Catalog requires adding the Dataplex Universal Catalog\n[service accounts](/dataplex/docs/iam-and-access-control#service-accounts)\nas an administrative service account on managed buckets and datasets.\n\nDataplex Universal Catalog enables analysts to access Cloud Storage buckets\nand BigQuery datasets across many projects. To enable this access,\nDataplex Universal Catalog requires adding the Dataplex Universal Catalog service\naccounts with administrative controls to these projects.\n\nFor Discovery, Dataplex Universal Catalog adds the\nDataproc Metastore service account to the Cloud Storage\nbuckets. If you have your own Dataproc Metastore cluster, you\nmight want to make the Dataplex Universal Catalog lake use your\nDataproc Metastore service, which is an option when you create\nyour lake.\n| **Note:** Don't set the [organization policy constraints](/resource-manager/docs/organization-policy/org-policy-constraints) to restrict VPC peering. If you specify `constraints/compute.restrictVpcPeering`, your Dataproc Metastore creation request fails with an `INVALID_ARGUMENT` error.\n\nIf you choose to add a Cloud Storage bucket with\n[fine-grained](/storage/docs/access-control) access to a lake,\nDataplex Universal Catalog will provide full access to that bucket through the lake\nbecause Dataplex Universal Catalog permissions are propagated to all objects in the\nbucket. If you require fine-grained access, it's recommended that you split\nthe data in your bucket into multiple buckets.\n\nWhat's next\n-----------\n\n- [Build a data mesh](/dataplex/docs/build-a-data-mesh)\n- [Create a lake](/dataplex/docs/create-lake)\n- [Secure your lake](/dataplex/docs/lake-security)"]]
