Projektübergreifende Bereitstellung einrichten

Sie können eine projektübergreifende Bereitstellung für Dataproc Metastore einrichten, um die folgenden Ressourcen zu trennen:

  • Der Dataproc Metastore-Dienst
  • Der Dataproc-Cluster, der mit dem Dataproc Metastore-Dienst verbunden ist.
  • Das vom Dataproc-Cluster verwendete Netzwerk.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc-Metastores und eines Dataproc-Clusters benötigen:

  • So gewähren Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen: Dataproc Metastore Editor (roles/metastore.editor) für das Metastore-Projekt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter Zugriff mit IAM verwalten.

Projektübergreifende Bereitstellungen

Eine projektübergreifende Bereitstellung für Dataproc Metastore kann aus den folgenden Konfigurationen bestehen:

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster (Clusterprojekt).
    • Projekt 2 enthält den Dataproc Metastore-Dienst und das Netzwerk (Metastore-Projekt und Netzwerkprojekt).

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster.
    • Projekt 2 enthält den Dataproc Metastore-Dienst und das Netzwerk (Metastore-Projekt und Netzwerkprojekt).

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster und den Dataproc Metastore-Dienst (Clusterprojekt und Metastore-Projekt).
    • Projekt 2 enthält das Netzwerk (Netzwerkprojekt).

  • Drei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster (Clusterprojekt).
    • Projekt 2 enthält den Dataproc Metastore-Dienst (Metastore-Projekt).
    • Projekt 3 enthält das Netzwerk (Netzwerkprojekt).

Das folgende Diagramm bietet einen Überblick über die möglichen Projektkonfigurationen, die Sie verwenden können.

Übersicht über die möglichen Projektkonfigurationen bei der Bereitstellung eines Dataproc Metastore- und eines Dataproc-Clusters

Projektübergreifende Berechtigungen

Bevor Sie projektübergreifende Berechtigungen einrichten, sollten Sie prüfen, ob sie für Ihre Konfiguration erforderlich sind:

Sie müssen zusätzliche projektübergreifende Berechtigungen einrichten.

  • Wenn sich Ihr Dataproc-Cluster und Ihr Dataproc Metastore-Dienst in separaten Projekten befinden

  • Wenn sich Ihr Dataproc Metastore-Dienst und Ihr Netzwerk in separaten Projekten befinden.

Projektübergreifende Berechtigungen einrichten

Wenn sich das Clusterprojekt und das Metastore-Projekt in separaten Projekten befinden, gewähren Sie die folgenden Rollen:

  • roles/metastore.user für das Dataproc-Dienst-Agent-Konto des Clusterprojekts (enthalten in der IAM-Richtlinie des Metastore-Projekts). Diese Konfiguration gilt sowohl für Thrift- als auch für gRPC-Endpunktprotokolle.

Wenn sich das Netzwerkprojekt und das Metastore-Projekt in separaten Projekten befinden, erteilen Sie die folgenden Rollen:

  • roles/metastore.serviceAgent dem Metastore-Projekt-Dienst-Agent (in der IAM-Richtlinie des Netzwerkprojekts enthalten) zuzuweisen. Diese Konfiguration gilt nur für das Thrift-Endpunktprotokoll.

Console

So finden Sie Ihre Projektnummer:

  1. Rufen Sie den Tab Einstellungen auf der Seite „IAM & Verwaltung“ auf.

  2. Wählen Sie in der Projektliste oben auf der Seite das Projekt aus, das Sie zum Erstellen des Dataproc-Clusters verwenden möchten.

  3. Notieren Sie die Projektnummer.

Konfigurieren Sie die Berechtigungen:

  1. Rufen Sie den Tab IAM auf.

  2. Wählen Sie in der Projektliste oben auf der Seite das Metastore-Projekt aus.

  3. Klicken Sie auf Hinzufügen.

  4. Geben Sie das Dienstkonto in das Feld Neue Hauptkonten ein.

  5. Wählen Sie im Menü „Rollen“ die Option Dataproc Metastore > Dataproc Metastore-Betrachter aus.

  6. Klicken Sie auf Hinzufügen.

Nachdem Sie die vorherigen Schritte ausgeführt haben, können Sie einen Dataproc-Cluster erstellen, der an einen Dataproc Metastore-Dienst angehängt ist. Dazu muss die Netzwerk- oder Subnetzwerkkonfiguration des Dataproc-Clusters mit dem Netzwerk oder Subnetzwerk des Dataproc Metastore übereinstimmen.

Beispiel:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Nächste Schritte