Dataproc Metastore-Dienst aktualisieren

Auf dieser Seite wird erläutert, wie Sie einen Dataproc Metastore-Dienst aktualisieren.

Sie können Ihren Dataproc Metastore-Dienst aktualisieren, um Konfigurationseinstellungen zu ändern oder optionale Funktionen zu aktivieren oder zu deaktivieren.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigung zum Aktualisieren eines Dataproc Metastore-Dienstes zu erhalten. Dabei wird das Prinzip der geringsten Berechtigung angewendet:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung metastore.services.update, die zum Aktualisieren eines Dataproc-Metastore-Dienstes erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter IAM-Rollen und -Berechtigungen für Dataproc Metastore.

Dienst aktualisieren

Sie können die folgenden Dataproc Metastore-Parameter aktualisieren.

  • Portnummer Aktualisieren Sie die TCP-Portnummer der Apache Thrift-Schnittstelle.
  • Dienstebene Zwischen der Dienstebene Entwickler und der Dienstebene Enterprise wechseln Diese Stufen wirken sich auf die Kapazität des Dienstes aus.
  • Data Catalog-Synchronisierung Aktivieren oder deaktivieren Sie die Synchronisierungsfunktion für Data Catalog.
  • Wartungsfenster. Ändern Sie die Häufigkeit des Wartungsfensters, einschließlich Wochentag und Uhrzeit.
  • Kerberos. Aktivieren oder deaktivieren Sie die Kerberos-Authentifizierung. Wenn die Funktion zuvor aktiviert war, können Sie Ihre Kerberos-Konfigurationsdateien aktualisieren.
  • Hive-Metastore-Konfigurationen Aktualisieren Sie den Speicherort Ihres Hive-Lagerverzeichnisses.
  • Konfiguration der Zusatzversion (Vorabversion) Aktivieren, deaktivieren oder fügen Sie zusätzliche Zusatzversionen hinzu.
  • Labels. Sie können optionale Labels hinzufügen oder entfernen, die Ihre Metadaten beschreiben.
  • Skalierungsfaktor Ändern Sie den Skalierungsfaktor. Sie können die automatische Skalierung aktivieren oder deaktivieren und die minimalen oder maximalen Skalierungsfaktoren aktualisieren.

Dienst aktualisieren

Beachten Sie vor dem Ausführen eines Updates Folgendes:

  • Sie können jeweils nur einen Aktualisierungsjob für jeden Dataproc Metastore-Dienst ausführen.
  • Sie können mehrere Parameter in einem einzigen Update-Job aktualisieren.
  • Sie können Ihren Dataproc Metastore auch während der Aktualisierung verwenden.

Wenn die Aktualisierung erfolgreich war, wechselt Dataproc Metastore automatisch in den Status aktiv. Wenn die Aktualisierung fehlschlägt, wird der Dataproc Metastore-Dienst auf seinen vorherigen, fehlerfreien Zustand zurückgesetzt.

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst aktualisieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

    Die Seite Dienst bearbeiten wird geöffnet.

  4. Wählen Sie die Werte aus, die Sie für Ihren Dienst aktualisieren möchten.

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich aktualisiert wurde.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • PORT: Optional: Der TCP-Port der Thrift-Schnittstelle, die Sie mit Ihrem Dataproc Metastore-Dienst verwenden.
    • TIER: Optional: Die Stufenkapazität Ihres Dataproc Metastore-Dienstes.
    • MAINTENANCE_WINDOW_DAY: Optional: Der Wochentag, an dem das Wartungsfenster beginnt.
    • MAINTENANCE_WINDOW_HOUR (optional): Die Stunde des Tages, zu der das Wartungsfenster beginnt.
    • KERBEROS_PRINCIPAL: Optional: Ein Kerberos-Hauptkonto, das sowohl auf dem Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat das Format „primary/instance@REALM“, aber es gibt kein genaues Format.
    • KEYTAB: Optional: Eine Kerberos-Keytab-Datei, die zum Authentifizieren eines Dienstprinzipals mit einem Kerberos-Key Distribution Center verwendet wird.
    • KRB5_CONFIG: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.
    • [KEY, ...]: Optional: Die Hive-Metastore-Konfigurationen, die Sie aktualisieren möchten. Wenn in diesem Feld eine Variable vorhanden ist, wird ihr Wert aktualisiert. Andernfalls wird eine neue Variable erstellt. Wenn dieses Flag festgelegt ist, wird auch -clear-hive-metastore-configs automatisch festgelegt.
    • [KEY, ...]: Optional: Die Hive-Metastore-Konfigurationen, die Sie entfernen möchten.
    • [KEY=VALUE, ...]: Optional: Die Labels oder die Schlüssel/Wert-Paar-Konfigurationen für den Hive-Metastore, die Sie aktualisieren möchten.
    • [KEY, ...]: Optional: Die Labels oder die Schlüssel/Wert-Paar-Konfigurationen für den Hive-Metastore, die Sie entfernen möchten.

  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

REST

Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu aktualisieren.

Hive Metastore-Lagerkonfiguration aktualisieren

Wenn sich Ihr Hive-Warehouse-Verzeichnis in Cloud Storage befindet, sollten Sie eine Überschreibung der Metastore-Konfiguration festlegen. Dadurch wird Ihr bestimmtes Data Warehouse als standardmäßiges Warehouse-Verzeichnis für Dataproc Metastore festgelegt.

Bevor Sie diese Überschreibung festlegen, prüfen Sie, ob Ihr Dataproc Metastore-Dienst Lese- und Schreibberechtigungen für den Zugriff auf das Warehouse-Verzeichnis hat. Weitere Informationen finden Sie unter Hive-Lagerverzeichnis.

In der folgenden Anleitung wird gezeigt, wie Sie eine Hive Metastore-Konfigurationsüberschreibung aktualisieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite „Dataproc Metastore“:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten.

    Die Seite Dienstdetails wird geöffnet.

  3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

    Die Seite Dienst bearbeiten wird geöffnet.

  4. Geben Sie unter Metastore-Konfigurationsüberschreibungen Folgendes ein:

    • Schlüssel: Geben Sie den folgenden Wert ein: hive.metastore.warehouse.dir.
    • Wert: Der Cloud Storage-Speicherort Ihres Speicherverzeichnisses. Beispiel: gs://my-bucket/path/to/location

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich aktualisiert wurde.

gcloud

  1. Führen Sie den folgenden gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • CUSTOMER_DIR: Der Cloud Storage-Speicherort Ihres Speicherverzeichnisses. Beispiel: gs://my-bucket/path/to/location

  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

Nächste Schritte