Daten-Assets in einem Lake verwalten

Auf dieser Seite wird erläutert, wie Sie Cloud Storage-Buckets und BigQuery-Datasets als Assets in vorhandenen Dataplex Universal Catalog-Zonen hinzufügen, aktualisieren und entfernen.

Übersicht

Ein Asset entspricht Daten, die entweder in Cloud Storage oder BigQuery gespeichert sind. Sie können Daten, die in separaten Google Cloud Projekten als Assets gespeichert sind, einer einzelnen Zone in einem Lake zuordnen. Sie können vorhandene Cloud Storage-Buckets oder BigQuery-Datasets anhängen, die im Lake verwaltet werden sollen.

Hinweise

  • Falls noch nicht geschehen, erstellen Sie einen Lake und eine Zone in diesem Lake.

  • Für die meisten gcloud lakes-Befehle ist ein Speicherort erforderlich. Sie können den Speicherort mit dem Flag --location angeben.

Erforderliche Rollen

  • Um Assets zu entfernen, weisen Sie die IAM-Rollen mit den Berechtigungen dataplex.lakes.delete, dataplex.zones.delete oder dataplex.assets.delete zu. Mit den Dataplex Universal Catalog-spezifischen Rollen roles/dataplex.admin und roles/dataplex.editor können Sie diese Berechtigungen erteilen.

  • Wenn Sie Assets hinzufügen möchten, weisen Sie die IAM-Rollen mit den Berechtigungen create–dataplex.lakes.create, dataplex.zones.create oder dataplex.assets.create zu. Die Rollen roles/dataplex.admin und roles/dataplex.editor enthalten diese Berechtigungen.

  • Mithilfe der Legacy-Rollen roles/owner und roles/editor können Sie auch Nutzern oder Gruppen eine Berechtigung erteilen.

  • Sie müssen den Dataplex Universal Catalog-Dienst für Ressourcen autorisieren, die an den Dataplex Universal Catalog-Lake angehängt werden. Die Autorisierung wird automatisch und implizit für Ressourcen in dem Projekt erteilt, in dem der Lake erstellt wird. Autorisieren Sie für andere Projekte den Dataplex Universal Catalog-Dienst explizit für Ressourcen.

Weitere Informationen finden Sie unter IAM und Zugriffssteuerung für Dataplex Universal Catalog.

Rollen für Cloud Storage-Buckets zuweisen

Wenn Sie einen Cloud Storage-Bucket aus einem anderen Projekt an Ihren Lake anhängen möchten, müssen Sie dem Dataplex Universal Catalog-Dienstkonto (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, das Sie auf der Seite mit den Lake-Details in der Console abrufen können) die Dataplex Universal Catalog-Dienstkontorolle (roles/dataplex.serviceAgent) in dem Projekt zuweisen, das den Bucket enthält. Diese Rolle stellt dem Dataplex Universal Catalog-Dienst die erforderliche Administratorrolle für den Bucket zur Verfügung, damit Berechtigungen für den Bucket selbst festgelegt werden können.

Rollen für BigQuery-Datasets zuweisen

Wenn Sie ein BigQuery-Dataset aus einem anderen Projekt an Ihren Lake anhängen möchten, müssen Sie dem Dataplex Universal Catalog-Dienstkonto die Rolle „BigQuery-Administrator“ für das Dataset zuweisen.

VPC Service Controls – Überlegungen

Dataplex Universal Catalog verstößt nicht gegen VPC Service Controls-Perimeter. Bevor Sie dem Lake ein Asset hinzufügen, müssen Sie darauf achten, dass sich der zugrunde liegende Bucket oder das zugrunde liegende Dataset im selben VPC Service Controls-Netzwerk wie der Lake befindet.

Weitere Informationen finden Sie unter VPC Service Controls mit Dataplex Universal Catalog.

Asset hinzufügen

Wenn es keine Überschneidung zwischen der Region des Dataplex Universal Catalog-Lake und der Region eines der Cloud Storage-Buckets gibt, können Sie den Bucket nicht einer Zone in Ihrem Lake hinzufügen.

Weitere Informationen zum Regionsstandort eines Cloud Storage-Assets und dazu, wie Dataplex Universal Catalog den Standort eines Buckets beim Erstellen des Veröffentlichungs-Datasets verarbeitet, finden Sie unter Regionale Ressourcen.

So fügen Sie ein Asset hinzu:

Konsole

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Lakes auf.

    Zu „Lakes“

  2. Klicken Sie auf den Data Lake, dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset hinzufügen möchten. Die Seite für den See wird geöffnet.

  3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, der Sie das Asset hinzufügen möchten. Die Seite „Data Zone“ für diese Data Zone wird geöffnet.

  4. Klicken Sie auf dem Tab Assets auf + Assets hinzufügen. Die Seite Assets hinzufügen wird geöffnet.

  5. Klicken Sie auf Asset hinzufügen.

  6. Wählen Sie im Feld Typ entweder BigQuery-Dataset oder Cloud Storage-Bucket aus.

  7. Geben Sie im Feld Anzeigename einen Namen für das neue Asset ein.

  8. Geben Sie im Feld ID eine eindeutige ID für das Asset ein.

  9. Optional: Geben Sie eine Beschreibung ein.

  10. Klicken Sie im Feld Dataset oder Bucket (je nach Art des Assets) auf Durchsuchen, um Ihren Cloud Storage-Bucket oder Ihr BigQuery-Dataset zu suchen und auszuwählen.

  11. Optional: Wenn Ihr Asset-Typ Cloud Storage-Bucket ist und Sie möchten, dass Dataplex Universal Catalog das Asset verwaltet, wählen Sie das Kästchen Auf „Verwaltet“ upgraden aus. Wenn Sie diese Option auswählen, müssen Sie das Asset nicht separat aktualisieren. Diese Option ist für BigQuery-Datasets nicht verfügbar.

  12. Klicken Sie auf Weiter.

  13. Wählen Sie die restlichen Parameterwerte aus. Weitere Informationen zu Sicherheitseinstellungen finden Sie unter Lake-Sicherheit.

  14. Klicken Sie auf Senden.

  15. Achten Sie darauf, dass Sie wieder auf die Seite der Datenzone zurückgekehrt sind und Ihr neues Asset in der Asset-Liste angezeigt wird.

REST

Verwenden Sie zum Hinzufügen eines Assets die Methode lakes.zones.assets.create.

Wenn das Hinzufügen erfolgreich ist, wechselt die Datenzone automatisch in den aktiven Status. Wenn er fehlschlägt, wird die Datenzone auf ihren vorherigen fehlerfreien Zustand zurückgesetzt.

Cloud Storage-Bucket-Asset upgraden

Wenn Sie ein Asset vom Typ „Cloud Storage-Bucket“ hinzufügen, veröffentlicht Dataplex Universal Catalog automatisch externe BigQuery-Tabellen für die im Asset gehosteten Tabellen.

Wenn Sie ein Cloud Storage-Bucket-Asset aktualisieren, werden die angehängten externen Tabellen aus Dataplex Universal Catalog entfernt und BigLake-Tabellen erstellt. BigLake-Tabellen unterstützen eine bessere detaillierte Sicherheit, einschließlich Sicherheit auf Zeilen- und Spaltenebene sowie dynamische Datenmaskierung.

So führen Sie ein Upgrade für ein Cloud Storage-Bucket-Asset durch:

Konsole

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Lakes auf.

    Zu „Lakes“

  2. Klicken Sie auf den Namen des Data Lakes. Die Seite für den See wird geöffnet.

  3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite für die Datenzone wird geöffnet.

  4. Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.

  5. Klicken Sie auf Auf verwaltetes Konto umstellen.

REST

Verwenden Sie die Methode lakes.zones.assets.patch, um ein Bucket-Asset zu aktualisieren.

Cloud Storage-Bucket-Asset downgraden

Wenn Sie ein Cloud Storage-Bucket-Asset downgraden, werden die angehängten BigLake-Tabellen aus Dataplex Universal Catalog entfernt und externe Tabellen erstellt.

Konsole

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Lakes auf.

    Zu „Lakes“

  2. Klicken Sie auf den Namen des Data Lakes. Die Seite für den See wird geöffnet.

  3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite für die Datenzone wird geöffnet.

  4. Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.

  5. Klicken Sie auf Aus verwalteten Modus downgraden.

REST

Verwenden Sie zum Herunterstufen eines Bucket-Assets die Methode lakes.zones.assets.patch. Achten Sie darauf, dass Sie das Feld readAccessMode in ResourceSpec auf DIRECT setzen.

Asset entfernen

Entfernen Sie das Asset aus der Datenzone oder dem Data Lake, bevor Sie es an eine andere Datenzone oder einen anderen Data Lake anhängen.

So entfernen Sie ein Asset:

Konsole

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Lakes auf.

    Zu „Lakes“

  2. Klicken Sie auf den Data Lake, aus dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen möchten. Die Lake-Seite für diesen Lake wird geöffnet.

  3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, aus der Sie den Cloud Storage-Bucket oder das BigQuery-Dataset entfernen möchten. Die Seite „Data zone“ (Datenzone) für diese Datenzone wird geöffnet.

  4. Wählen Sie auf dem Tab Assets das Asset aus, indem Sie das Kästchen links neben dem Asset-Namen aktivieren.

  5. Klicken Sie auf Asset löschen.

  6. Klicken Sie im Dialogfeld zur Bestätigung auf Löschen.

REST

Verwenden Sie die Methode lakes.zones, assets.delete,um einen Bucket zu entfernen.

Nächste Schritte