Dataproc- oder selbstverwalteten Cluster anhängen

Nachdem Sie einen Dataproc Metastore-Dienst erstellt haben, können Sie einen der folgenden Dienste anhängen:

Nachdem Sie eine Verbindung zu einem dieser Dienste hergestellt haben, wird bei der Abfrageausführung Ihr Dataproc Metastore-Dienst als Hive-Metastore verwendet.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc-Metastores und eines Dataproc-Clusters benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen eines Dataproc-Metastores und eines Dataproc-Clusters erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore und einen Dataproc-Cluster zu erstellen:

  • So erstellen Sie einen Dataproc Metastore: metastore.services.create für das Nutzerkonto oder Dienstkonto
  • So erstellen Sie einen Dataproc-Cluster: dataproc.clusters.create für das Nutzerkonto oder Dienstkonto
  • Zugriff auf das Hive-Warehouse-Verzeichnis: orgpolicy.policy.get1,resourcemanager.projects.get,resourcemanager.projects.list,storage.objects.*,storage.multipartUploads.* Dataproc-VM-Dienstkonto

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter Zugriff mit IAM verwalten.

Dataproc-Cluster

Dataproc ist ein verwalteter Apache Spark- und Apache Hadoop-Dienst, mit dem Sie Open-Source-Datentools für Batchverarbeitung, Abfragen, Streaming und maschinelles Lernen nutzen können.

Hinweise

Bevor Sie einen Dataproc-Cluster erstellen und anhängen, prüfen Sie, welches Endpunktprotokoll Ihr Dataproc Metastore-Dienst verwendet. Dieses Protokoll definiert, wie Ihre Hive Metastore-Clients auf Metadaten zugreifen, die in Ihrem Dataproc Metastore gespeichert sind. Diese Wahl kann sich auch auf die Funktionen auswirken, die Sie in Ihren Dienst einbinden und verwenden können.

Apache Thrift

Wenn Sie das Apache Thrift-Endpunktprotokoll verwenden, beachten Sie die folgenden Netzwerkanforderungen:

  • Standardmäßig sollten Sie Ihren Dataproc-Cluster und den Dataproc Metastore-Dienst im selben Netzwerk erstellen. Ihr Dataproc-Cluster kann auch ein Subnetz des Netzwerks des Dataproc Metastore-Dienstes verwenden.

  • Wenn Ihr Dataproc-Cluster zu einem anderen Projekt als dem Netzwerk gehört, müssen Sie freigegebene Netzwerkberechtigungen konfigurieren.

  • Wenn Ihr Dataproc-Cluster zu einem anderen Projekt als Ihrem Dataproc Metastore-Dienst gehört, müssen Sie zusätzliche Berechtigungen einrichten, bevor Sie einen Dataproc-Cluster erstellen.

gRPC

Wenn Sie das gRPC-Endpunktprotokoll verwenden, beachten Sie die folgenden Netzwerkanforderungen:

Cluster erstellen und Dataproc Metastore anhängen

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc-Cluster erstellen und über einen Dataproc Metastore-Dienst eine Verbindung dazu herstellen. In dieser Anleitung wird davon ausgegangen, dass Sie bereits einen Dataproc Metastore-Dienst erstellt haben.

  • Bevor Sie Ihren Dataproc-Cluster erstellen, prüfen Sie, ob das ausgewählte Dataproc-Image mit der Hive-Metastore-Version kompatibel ist, die Sie beim Erstellen Ihres Dataproc-Metastores ausgewählt haben. Weitere Informationen finden Sie in der Liste der Dataproc-Image-Versionen.

  • Erstellen Sie den Dataproc-Cluster in derselben Region wie den Dataproc Metastore-Dienst, um die Netzwerkverbindung zu optimieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen.

    Öffnen Sie Cluster erstellen.

  2. Geben Sie im Feld Clustername einen Namen für den Cluster ein.

  3. Wählen Sie in den Menüs Region und Zone dieselbe Region aus, in der Sie Ihren Dataproc Metastore-Dienst erstellt haben. Sie können eine beliebige Zone auswählen.

  4. Klicken Sie auf den Tab Cluster anpassen.

  5. Wählen Sie im Abschnitt Netzwerkkonfiguration dasselbe Netzwerk aus, in dem Sie den Dataproc Metastore-Dienst erstellt haben.

  6. Wählen Sie im Abschnitt Dataproc Metastore den Dataproc Metastore-Dienst aus, den Sie anhängen möchten. Wenn Sie noch keinen erstellt haben, können Sie Neuen Dienst erstellen auswählen.

  7. Optional: Wenn Ihr Dataproc Metastore-Dienst das gRPC-Endpunktprotokoll verwendet:

    1. Klicken Sie auf den Tab Sicherheit verwalten.
    2. Wählen Sie im Abschnitt Project Access (Projektzugriff) die Option Enables the cloud-platform scope for this cluster (Aktiviert den Bereich „cloud-platform“ für diesen Cluster) aus.

  8. Konfigurieren Sie die verbleibenden Dienstoptionen nach Bedarf.

  9. Klicken Sie auf Erstellen, um den Cluster zu erstellen.

    Der neue Cluster wird nun in der Liste „Cluster“ angezeigt. Der Cluster verbleibt solange im Status Wird bereitgestellt, bis er zur Verwendung bereit ist. Wenn die Workstation einsatzbereit ist, ändert sich der Status in Wird ausgeführt.

gcloud-CLI

Führen Sie den folgenden gcloud dataproc clusters create-Befehl aus, um einen Cluster zu erstellen und einen Dataproc Metastore anzuhängen:

gcloud dataproc clusters create CLUSTER_NAME \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
    --region=LOCATION \
    --scopes=SCOPES

Ersetzen Sie Folgendes:

  • CLUSTER_NAME: Der Name des neuen Dataproc-Clusters.
  • PROJECT_ID: die Projekt-ID des Projekts, in dem Sie Ihren Dataproc Metastore-Dienst erstellt haben.
  • LOCATION: der Region, in der Sie Ihren Dataproc Metastore-Dienst erstellt haben.
  • SERVICE: Der Name des Dataproc Metastore-Dienstes, den Sie an den Cluster anhängen.
  • SCOPES: Optional. Wenn Ihr Dataproc Metastore-Dienst das gRPC-Endpunktprotokoll verwendet, verwenden Sie cloud-platform.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Clusters mit dem APIs Explorer.

Cluster mit Dataproc-Clustereigenschaften anhängen

Sie können einen Dataproc-Cluster auch mithilfe von Dataproc-Properties an einen Dataproc Metastore anhängen. Dazu gehören die Dataproc Metastore-Ressourcen ENDPOINT_URI und WAREHOUSE_DIR.

Folgen Sie dieser Anleitung, wenn für Ihren Dataproc Metastore-Dienst Private Service Connect verwendet wird oder Sie einen Dataproc-Cluster an die zusätzliche Version Ihres Dataproc Metastore-Dienstes anhängen möchten.

Es gibt zwei Möglichkeiten, einen Dataproc-Cluster mithilfe der Eigenschaften ENDPOINT_URI und WAREHOUSE_DIR anzuhängen:

Option 1: Beim Erstellen eines Dataproc-Clusters

Verwenden Sie beim Erstellen eines Dataproc-Clusters das Flag „properties“ mit der folgenden Hive-Konfiguration.

gcloud dataproc clusters create CLUSTER_NAME \
     --properties="hive:hive.metastore.uris=ENDPOINT_URI,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR/hive-warehouse"

Ersetzen Sie Folgendes:

  • CLUSTER_NAME: der Name Ihres neuen Dataproc-Clusters.
  • ENDPOINT_URI: Der Endpunkt-URI Ihres Dataproc Metastore-Dienstes.
  • WAREHOUSE_DIR: Der Speicherort Ihres Hive-Lagerverzeichnisses.

Option 2: Datei hive-site.xml aktualisieren

Sie können auch einen Dataproc-Cluster anhängen, indem Sie die Datei hive-site.xml des Clusters direkt ändern.

  1. Stellen Sie über SSH eine Verbindung zum .*-m-Cluster her.

  2. Öffnen Sie die Datei /etc/hive/conf/hive-site.xml und ändern Sie die folgenden Zeilen:

    <property>
   <name>hive.metastore.uris</name>
   <!-- Update this value. -->
   <value>ENDPOINT_URI</value>
</property>
<!-- Add this property entry. -->
<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>WAREHOUSE_DIR</value>
</property>

    Ersetzen Sie Folgendes:

  3. Starten Sie HiveServer2 neu:

    sudo systemctl restart hive-server2.service

Selbstverwaltete Cluster

Ein selbstverwalteter Cluster kann eine Apache Hive-Instanz, eine Apache Spark-Instanz oder ein Presto-Cluster sein.

Selbstverwalteten Cluster anhängen

Legen Sie in der Clientkonfigurationsdatei die folgenden Werte fest:

hive.metastore.uris=ENDPOINT_URI
hive.metastore.warehouse.dir=WAREHOUSE_DIR

Ersetzen Sie Folgendes:

Nächste Schritte