Dataproc Metastore-Dienst erstellen

Console

1. Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.

   Zu Dataproc Metastore

2. Klicken Sie in der Navigationsleiste auf + Erstellen.

   Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

3. Wählen Sie Dataproc Metastore 2 aus.

4. Wählen Sie im Abschnitt Preise und Kapazität eine Instanzgröße aus.

   Weitere Informationen finden Sie unter Preismodelle und Skalierungskonfigurationen.

5. Geben Sie im Feld Name des Dienstkontos einen eindeutigen Namen für den Dienst ein.

   Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

6. Wählen Sie den Speicherort der Daten aus.

   Weitere Informationen zur Auswahl der richtigen Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.

7. Übernehmen Sie für die verbleibenden Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

8. Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

   Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status Wird erstellt wird angezeigt, bis der Dienst einsatzbereit ist. Wenn er bereit ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

gcloud-CLI

Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dataproc Metastore-Metastore-Dienst 2 mit den bereitgestellten Standardeinstellungen zu erstellen:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Ersetzen Sie Folgendes:

• SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.

• LOCATION: Die Google Cloud Region, in der Sie Ihren Dataproc Metastore erstellen möchten. Sie können auch einen Standardstandort festlegen.

  Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

• INSTANCE_SIZE: die Instanzgröße Ihres multiregionalen Dataproc Metastore. Beispiel: small, medium oder large. Wenn Sie einen Wert für INSTANCE_SIZE angeben, geben Sie keinen Wert für SCALING_FACTOR an.

• SCALING_FACTOR: der Skalierungsfaktor Ihres Dataproc Metastore-Dienstes. Beispiel: 0.1 Wenn Sie einen Wert für SCALING_FACTOR angeben, geben Sie keinen Wert für INSTANCE_SIZE an.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Console

1. Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.

   Zu Dataproc Metastore

2. Klicken Sie in der Navigationsleiste auf + Erstellen.

   Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

3. Wählen Sie Dataproc Metastore 1 aus.

4. Geben Sie im Feld Name des Dienstkontos einen eindeutigen Namen für den Dienst ein.

   Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

5. Wählen Sie den Speicherort der Daten aus.

   Weitere Informationen zur Auswahl der richtigen Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.

6. Übernehmen Sie für die verbleibenden Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

7. Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

   Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status Wird erstellt wird angezeigt, bis der Dienst einsatzbereit ist. Wenn er bereit ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

gcloud-CLI

Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen einfachen Metastore-Dienst mit den bereitgestellten Standardeinstellungen zu erstellen:

gcloud metastore services create SERVICE \
  --location=LOCATION

Ersetzen Sie Folgendes:

• SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.

• LOCATION: Die Google Cloud Region, in der Sie Ihren Dataproc Metastore erstellen möchten. Sie können auch einen Standardstandort festlegen.

  Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Console

Jetzt loslegen

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

   Dataproc Metastore öffnen

2. Klicken Sie im Navigationsmenü auf + Erstellen.

   Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

3. Wählen Sie die Metastore-Version aus, die Sie verwenden möchten: Dataproc Metastore 1 oder Dataproc Metastore 2.

   Dienstinformationen

   

   1. Optional: Für Dataproc Metastore 2. Wählen Sie im Abschnitt Preise und Kapazität eine Instanzgröße aus.

      Weitere Informationen finden Sie unter Preismodelle und Skalierungskonfigurationen.

   2. Geben Sie im Feld Name des Dienstkontos einen eindeutigen Namen für den Dienst ein.

      Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

   3. Wählen Sie den Speicherort der Daten aus.

      Weitere Informationen zur Auswahl der richtigen Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.

   4. Wählen Sie die Hive-Metastore-Version aus.

      Wenn dieser Wert nicht geändert wird, verwendet Ihr Dienst die aktuelle unterstützte Version von Hive (derzeit Version 3.1.2).

      Weitere Informationen zum Auswählen der richtigen Version finden Sie unter Versionsrichtlinie.

   5. Wählen Sie die Release-Version aus.

      Wenn dieser Wert nicht geändert wird, verwendet Ihr Metastore den Wert Stable. Weitere Informationen finden Sie unter Release-Version.

   6. Geben Sie den TCP-Port ein.

      Der TCP-Port, mit dem sich Ihr Thrift-Endpunkt verbindet. Wenn dieser Wert nicht geändert wird, wird die Portnummer 9083 verwendet. Wenn Sie Ihren Endpunkt in gRPC ändern, wird dieser Wert automatisch in 443 geändert und kann nicht mehr geändert werden.

   7. Optional: Für Dataproc Metastore 1. Wählen Sie die Dienststufe aus.

      Die Serviceebene beeinflusst die Kapazität Ihres Dienstes. Weitere Informationen finden Sie unter Dienstebene.

   Endpunktprotokoll

   • Optional: Wählen Sie ein Endpunktprotokoll aus.

     Die standardmäßig ausgewählte Option ist Apache Thrift. Weitere Informationen zu den verschiedenen Endpunkten finden Sie unter Endpunktprotokoll auswählen.

   Netzwerkkonfiguration

   1. Wählen Sie eine Netzwerkkonfiguration aus.

      Standardmäßig wird Ihr Dienst nur in einem VPC-Netzwerk bereitgestellt und verwendet das default-Netzwerk. Das default-Netzwerk ermöglicht es Ihrem Dienst nur, eine Verbindung zu anderen Diensten im selben Projekt herzustellen.

      Wenn Sie Ihre Netzwerkeinstellungen von den Standardeinstellungen ändern, können Sie Folgendes tun:

      • Verbinden Sie Ihren Dataproc Metastore-Dienst mit Dataproc Metastore-Diensten in anderen Projekten.
      • Dataproc Metastore-Dienst mit anderenGoogle Cloud -Diensten wie Dataproc-Clustern verwenden

   2. Optional: Klicken Sie auf Freigegebenes VPC-Netzwerk verwenden und geben Sie die Projekt-ID und den VPC-Netzwerknamen ein.

   3. Optional: Klicken Sie auf Dienste in mehreren VPC-Subnetzwerken zugänglich machen und wählen Sie die Subnetzwerke aus. Sie können bis zu fünf Subnetzwerke angeben.

   4. Klicken Sie auf Fertig.

   Metadatenintegration

   • Optional: Aktivieren Sie die Data Catalog-Synchronisierung.

     Weitere Informationen finden Sie unter Dataproc Metastore mit Data Catalog synchronisieren.

   Wartungsfenster

   • Optional: Wählen Sie den Wochentag und die Tageszeit für das Wartungsfenster aus.

     Weitere Informationen finden Sie unter Wartungsfenster.

   Sicherheit

   1. Optional: Kerberos aktivieren

      1. Klicken Sie auf die Ein/Aus-Schaltfläche, um Kerberos zu aktivieren.
      2. Wählen Sie die Secret-Ressourcen-ID aus oder geben Sie sie ein.
      3. Wählen Sie die neueste oder eine ältere Secret-Version aus.

      4. Geben Sie das Kerberos-Hauptkonto ein.

         Dies ist das Hauptkonto, das für diesen Dataproc Metastore-Dienst zugewiesen ist.

      5. Wechseln Sie zur Datei krb5 config.

   2. Optional: Wählen Sie einen Verschlüsselungstyp aus.

      • Die standardmäßig ausgewählte Option ist Google-managed encryption key.

      • Klicken Sie auf Vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden, um einen vom Kunden verwalteten Schlüssel auszuwählen.

        Weitere Informationen finden Sie unter vom Kunden verwaltete Verschlüsselungsschlüssel verwenden.

   Metastore-Konfigurationsüberschreibungen

   • Optional: Wenn Sie eine Zuordnung auf den Hive-Metastore anwenden möchten, klicken Sie auf + Überschreibungen hinzufügen.

   Konfiguration der Zusatzversion

   • Optional: Wenn Sie eine Konfiguration für eine zusätzliche Version hinzufügen möchten, klicken Sie auf Aktivieren.

     Weitere Informationen finden Sie unter Zusätzliche Versionen.

   Datenbanktyp

   • Optional: Wählen Sie einen Datenbanktyp aus.

     Wählen Sie für Datenbanktyp die Option MySQL oder Spanner aus. MySQL ist der Standarddatenbanktyp.

     Weitere Informationen zur Auswahl eines bestimmten Datenbanktyps finden Sie unter Datenbanktypen.

   Labels

   • Optional: Wenn Sie optionale Labels hinzufügen oder entfernen möchten, die Ihre Metadaten beschreiben, klicken Sie auf + Labels hinzufügen.

Dienst starten

Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status Wird erstellt wird angezeigt, bis der Dienst einsatzbereit ist. Wenn er bereit ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Metastore zu erstellen:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --instance-size=INSTANCE_SIZE \
     --scaling-factor=SCALING_FACTOR \
     --port=PORT \
     --tier=TIER \
     --endpoint-protocol=ENDPOINT_PROTOCOL \
     --database-type=DATABASE_TYPE \
     --hive-metastore-version=HIVE_METASTORE_VERSION \
     --data-catalog-sync=DATA_CATALOG_SYNC \
     --release-channel=RELEASE_CHANNEL \
     --hive-metastore-configs=METADATA_OVERRIDE \
     --labels=LABELS \
     --auxiliary-versions=AUXILIARY_VERSION \
     --network=NETWORK \
     --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
     --kerberos-principal=KERBEROS_PRINCIPAL \
     --krb5-config=KRB5_CONFIG \
     --keytab=CLOUD_SECRET \
     --encryption-kms-key=KMS_KEY

   Ersetzen Sie Folgendes:

   Diensteinstellungen:

   • SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.
   • LOCATION: Die Google Cloud Region, in der Sie Ihren Dataproc Metastore erstellen möchten. Sie können auch einen Standardstandort festlegen.
   • PORT: Optional: Der TCP-Port, den Ihr Thrift-Endpunkt verwendet. Wenn nicht festgelegt, wird Port 9083 verwendet. Wenn Sie einen gRPC-Endpunkt verwenden, ändert sich die Portnummer automatisch in 443.
   • TIER: Optional für Dataproc Metastore 1: Die Dienststufe Ihres neuen Dienstes. Wenn nicht festgelegt, wird der Wert Developer verwendet.
   • ENDPOINT_PROTOCOL: Optional: Wählen Sie das Endpunktprotokoll für Ihren Dienst aus.
   • DATABASE_TYPE: Optional: Wählen Sie den Datenbanktyp für Ihren Dienst aus. Weitere Informationen zur Auswahl eines bestimmten Datenbanktyps finden Sie unter Datenbanktypen.
   • DATA_CATALOG_SYNC: Optional: Aktivieren Sie die Funktion Data Catalog-Synchronisierung.
   • HIVE_METASTORE_VERSION: Optional: Die Hive-Metastore-Version, die Sie mit Ihrem Dienst verwenden möchten. Beispiel: 3.1.2 Wenn nichts anderes festgelegt wird, wird die neueste Version von Hive verwendet.
   • RELEASE_CHANNEL (optional): Die Release-Version des Dienstes. Wenn nicht festgelegt, wird der Wert Stable verwendet.
   • METADATA_OVERRIDE: Optional: Die Überschreibungskonfigurationen für den Hive-Metastore, die Sie auf Ihren Dienst anwenden möchten. Verwenden Sie eine durch Kommas getrennte Liste im folgenden Format: k1=v1,k2=v2,k3=v3.
   • LABELS: Optional: Schlüssel/Wert-Paare, mit denen Sie Ihrem Dienst zusätzliche Metadaten hinzufügen können. Verwenden Sie eine durch Kommas getrennte Liste im folgenden Format: k1=v1,k2=v2,k3=v3. Dataproc Metastore
   • AUXILIARY_VERSION: Optional: Aktivieren Sie zusätzliche Versionen. Weitere Informationen finden Sie unter Zusätzliche Versionen.

   Skalierungseinstellungen:

   • INSTANCE_SIZE: Optional für Dataproc Metastore 2: die Instanzgröße Ihres multiregionalen Dataproc Metastore. Beispiel: small, medium oder large. Wenn Sie einen Wert für INSTANCE_SIZE angeben, geben Sie keinen Wert für SCALING_FACTOR an.
   • SCALING_FACTOR: Optional für Dataproc Metastore 2: Der Skalierungsfaktor Ihres Dataproc Metastore-Dienstes. Beispiel: 0.1 Wenn Sie einen Wert für SCALING_FACTOR angeben, geben Sie keinen Wert für INSTANCE_SIZE an.

   Netzwerkeinstellungen:

   • NETWORK: Der Name des VPC-Netzwerk, das Sie mit Ihrem Dienst verbinden. Wenn nicht festgelegt, wird der Wert default verwendet.

     Wenn Sie ein VPC-Netzwerk verwenden, das zu einem anderen Projekt als Ihr Dienst gehört, müssen Sie den gesamten relativen Ressourcennamen angeben. Beispiel: projects/HOST_PROJECT/global/networks/NETWORK_ID

   • SUBNET1, SUBNET2: Optional: Eine Liste von Subnetzwerken, die auf Ihren Dienst zugreifen können. Sie können die ID, die vollständig qualifizierte URL oder den relativen Namen des Subnetzwerks verwenden. Sie können bis zu fünf Subnetzwerke angeben.

   Kerberos-Einstellungen:

   • KERBEROS_PRINCIPAL: Optional: Ein Kerberos-Hauptkonto, das sowohl auf dem Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat das Format „primary/instance@REALM“, aber es gibt kein genaues Format.
   • KRB5_CONFIG: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.
   • CLOUD_SECRET: Optional: Der relative Ressourcenname einer Secret-Version von Secret Manager.
   • KMS_KEY (optional): Verweist auf die ID der Schlüsselressource.

2. Prüfen Sie, ob die Erstellung erfolgreich war.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

   Dataproc Metastore öffnen

2. Klicken Sie in der Navigationsleiste auf + Erstellen.

3. Geben Sie in Metastore config overrides (Überschreibungen der Metastore-Konfiguration) die folgenden Werte ein:

   • Schlüssel: hive.metastore.warehouse.dir.
   • Wert: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

4. Konfigurieren Sie die verbleibenden Dienstoptionen nach Bedarf oder verwenden Sie die angegebenen Standardeinstellungen.

5. Klicken Sie auf Senden.

   Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob der Dienst erfolgreich erstellt wurde.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dataproc Metastore-Dienst mit einer Hive-Überschreibung zu erstellen:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
   

   Ersetzen Sie Folgendes:

   • SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.
   • LOCATION: Die Google Cloud Region, in der Sie Ihren Dataproc Metastore erstellen möchten. Sie können auch einen Standardstandort festlegen.
   • CUSTOMER_DIR: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

2. Prüfen Sie, ob die Erstellung erfolgreich war.

Console

1. Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.

   Zu Dataproc Metastore

2. Klicken Sie in der Navigationsleiste auf + Erstellen.

   Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

3. Wählen Sie Dataproc Metastore 2 aus.

4. Wählen Sie im Abschnitt Preise und Kapazität die Option Enterprise – Einzelne Region aus.

5. Klicken Sie unter Instanzgröße auf Autoscaling aktivieren.

6. Wählen Sie unter Instanzgröße mit dem Schieberegler eine minimale und maximale Instanzgröße aus.

7. Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

   Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status Wird erstellt wird angezeigt, bis der Dienst einsatzbereit ist. Wenn er bereit ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Ersetzen Sie Folgendes:

• MIN_INSTANCES Optional: Die Mindestanzahl von Instanzen, die in Ihrer Autoscaling-Konfiguration verwendet werden sollen. Wenn diese Werte nicht angegeben sind, wird der Standardwert 0.1 verwendet.
• MAX_INSTANCESOptional: Die maximale Anzahl von Instanzen, die in Ihrer Autoscaling-Konfiguration verwendet werden sollen. Wenn diese Werte nicht angegeben sind, wird der Standardwert 6 verwendet.