Dataproc Metastore-Dienst aktualisieren

Auf dieser Seite wird erläutert, wie Sie einen Dataproc Metastore-Dienst aktualisieren.

Sie können Ihren Dataproc Metastore-Dienst aktualisieren, um Konfigurationseinstellungen zu ändern oder optionale Funktionen zu aktivieren oder zu deaktivieren.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigung zu erhalten, die Sie zum Aktualisieren eines Dataproc Metastore-Dienstes benötigen. Dabei gilt das Prinzip der geringsten Berechtigung:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung metastore.services.update, die zum Aktualisieren eines Dataproc Metastore-Dienstes erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc Metastore-IAM – Übersicht.

Dienst aktualisieren

Sie können die folgenden Dataproc Metastore-Parameter aktualisieren.

  • Portnummer Aktualisieren Sie die TCP-Portnummer der Apache Thrift-Schnittstelle.
  • Service-Tier Wechseln Sie zwischen dem Developer- und dem Enterprise-Dienstleistungsniveau. Diese Stufen wirken sich auf die Kapazität des Dienstes aus.
  • Data Catalog-Synchronisierung. Aktivieren oder deaktivieren Sie die Data Catalog-Synchronisierungsfunktion.
  • Wartungsfenster. Ändern Sie die Häufigkeit des Wartungsfensters, einschließlich Wochentag und Tageszeit.
  • Kerberos Aktivieren oder deaktivieren Sie die Kerberos-Authentifizierung. Wenn die Funktion zuvor aktiviert war, können Sie Ihre Kerberos-Konfigurationsdateien aktualisieren.
  • Hive-Metastore-Konfigurationen. Aktualisieren Sie den Speicherort Ihres Hive-Warehouse-Verzeichnisses.
  • Konfiguration der Zusatzversion (Vorschau). Zusätzliche Zusatzversionen aktivieren, deaktivieren oder hinzufügen
  • Labels. Sie können optionale Labels hinzufügen oder entfernen, um Ihre Metadaten zu beschreiben.
  • Skalierungsfaktor: Ändern Sie den Skalierungsfaktor. Sie können die automatische Skalierung aktivieren oder deaktivieren und die minimalen oder maximalen Skalierungsfaktoren aktualisieren.

Dienst aktualisieren

Beachten Sie vor dem Ausführen eines Updates Folgendes:

  • Sie können jeweils nur einen Aktualisierungsjob für jeden Dataproc Metastore-Dienst ausführen.
  • Sie können mehrere Parameter in einem einzigen Aktualisierungsjob aktualisieren.
  • Sie können Ihren Dataproc Metastore weiterhin verwenden, während er aktualisiert wird.

Wenn das Update erfolgreich ist, wechselt Dataproc Metastore automatisch in den Status active. Wenn das Update fehlschlägt, wird der Dataproc Metastore-Dienst auf seinen vorherigen fehlerfreien Zustand zurückgesetzt.

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst aktualisieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Die Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

    Die Seite Dienst bearbeiten wird geöffnet.

  4. Wählen Sie die Werte aus, die Sie für Ihren Dienst aktualisieren möchten.

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob der Dienst erfolgreich aktualisiert wurde.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • PORT: Optional: Der TCP-Port der Thrift-Schnittstelle, die Sie mit Ihrem Dataproc Metastore-Dienst verwenden.
    • TIER: Optional: Die Stufenkapazität Ihres Dataproc Metastore-Dienstes.
    • MAINTENANCE_WINDOW_DAY (optional): Der Wochentag, an dem das Servicefenster beginnt.
    • MAINTENANCE_WINDOW_HOUR (optional): Die Stunde des Tages, zu der das Servicefenster beginnt.
    • KERBEROS_PRINCIPAL: Optional: Ein Kerberos-Hauptkonto, das sowohl auf dem Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat das Format „primary/instance@REALM“, aber es gibt kein genaues Format.
    • KEYTAB: Optional: Eine Kerberos-Keytab-Datei, die zum Authentifizieren eines Diensthauptkontos mit einem Kerberos-Key Distribution Center verwendet wird.
    • KRB5_CONFIG: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.
    • [KEY, ...]: Optional: Die Hive-Metastore-Konfigurationen, die Sie aktualisieren möchten. Wenn in diesem Feld eine Variable vorhanden ist, wird ihr Wert aktualisiert. Andernfalls wird eine neue Variable erstellt. Wenn dieses Flag festgelegt ist, wird auch -clear-hive-metastore-configs automatisch festgelegt.
    • [KEY, ...]: Optional: Die Hive-Metastore-Konfigurationen, die Sie entfernen möchten.
    • [KEY=VALUE, ...]: Optional: Die Labels oder Schlüssel/Wert-Paar-Konfigurationen für den Hive-Metastore, die Sie aktualisieren möchten.
    • [KEY, ...]: Optional: Die Labels oder Schlüssel/Wert-Paar-Konfigurationen für den Hive-Metastore, die Sie entfernen möchten.

  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

REST

Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu aktualisieren.

Hive-Metastore-Warehouse-Konfiguration aktualisieren

Wenn sich Ihr Hive-Warehouse-Verzeichnis in Cloud Storage befindet, sollten Sie eine Überschreibung der Metastore-Konfiguration festlegen. Durch diese Überschreibung wird Ihr Data Warehouse als standardmäßiges Warehouse-Verzeichnis für Dataproc Metastore festgelegt.

Bevor Sie diese Überschreibung festlegen, müssen Sie dafür sorgen, dass Ihr Dataproc Metastore-Dienst Lese- und Schreibberechtigungen für Objekte hat, um auf das Warehouse-Verzeichnis zuzugreifen. Weitere Informationen finden Sie unter Hive-Warehouse-Verzeichnis.

In der folgenden Anleitung wird gezeigt, wie Sie eine Hive Metastore-Konfigurationsüberschreibung aktualisieren.

Console

  1. Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten.

    Die Seite Dienstdetails wird geöffnet.

  3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

    Die Seite Dienst bearbeiten wird geöffnet.

  4. Geben Sie unter Metastore-Konfigurationsüberschreibungen Folgendes ein:

    • Schlüssel: Geben Sie den folgenden Wert ein: hive.metastore.warehouse.dir.
    • Wert: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob der Dienst erfolgreich aktualisiert wurde.

gcloud

  1. Führen Sie den folgenden gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • CUSTOMER_DIR: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

Nächste Schritte