Metadaten aus Dataproc Metastore exportieren

Auf dieser Seite wird beschrieben, wie Sie Metadaten aus Dataproc Metastore exportieren.

Mit der Funktion zum Exportieren von Metadaten können Sie Ihre Metadaten in einem portablen Speicherformat speichern.

Nachdem Sie die Daten exportiert haben, können Sie die Metadaten in einen anderen Dataproc Metastore-Dienst oder einen selbstverwalteten Hive Metastore (HMS) importieren.

Metadaten exportieren

Wenn Sie Metadaten aus Dataproc Metastore exportieren, speichert der Dienst die Daten in einem der folgenden Dateiformate:

  • Eine Reihe von Avro-Dateien, die in einem Ordner gespeichert sind.
  • Eine einzelne MySQL-Dumpdatei, die in einem Cloud Storage-Ordner gespeichert ist.

Avro

Avro-basierte Exporte werden nur für die Hive-Versionen 2.3.6 und 3.1.2 unterstützt. Wenn Sie Avro-Dateien exportieren, erstellt Dataproc Metastore für jede Tabelle in Ihrer Datenbank eine <table-name>.avro-Datei.

Für den Export von Avro-Dateien kann Ihr Dataproc Metastore-Dienst den MySQL- oder Spanner-Datenbanktyp verwenden.

MySQL

MySQL-basierte Exporte werden für alle Hive-Versionen unterstützt. Wenn Sie MySQL-Dateien exportieren, erstellt Dataproc Metastore eine einzelne SQL-Datei, die alle Tabelleninformationen enthält.

Damit Sie MySQL-Dateien exportieren können, muss für Ihren Dataproc Metastore-Dienst der MySQL-Datenbanktyp verwendet werden. Der Spanner-Datenbanktyp unterstützt keine MySQL-Importe.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Exportieren von Metadaten in Dataproc Metastore benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Exportieren von Metadaten in Dataproc Metastore erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Metadaten in Dataproc Metastore zu exportieren:

  • So exportieren Sie Metadaten: metastore.services.export im Metastore-Dienst
  • Wenn Sie das Cloud Storage-Objekt für den Export von MySQL- und Avro-Daten verwenden möchten, gewähren Sie Ihrem Nutzerkonto und dem Dataproc Metastore-Dienst-Agenten die Berechtigung: storage.objects.create für den Cloud Storage-Bucket.

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc Metastore-IAM – Übersicht.

Metadaten exportieren

Beachten Sie vor dem Exportieren Ihrer Metadaten die folgenden Hinweise:

  • Während ein Export ausgeführt wird, können Sie einen Dataproc Metastore-Dienst nicht aktualisieren, z. B. Konfigurationseinstellungen ändern. Sie können ihn jedoch weiterhin für normale Vorgänge verwenden, z. B. um über angehängte Dataproc- oder selbstverwaltete Cluster auf seine Metadaten zuzugreifen.
  • Mit der Funktion zum Exportieren von Metadaten werden nur Metadaten exportiert. Daten, die von Apache Hive in internen Tabellen erstellt werden, werden nicht in den Export repliziert.

So exportieren Sie Metadaten aus einem Dataproc Metastore-Dienst:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, aus dem Sie Metadaten exportieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie in der Navigationsleiste auf Exportieren.

    Die Seite Metadaten exportieren wird geöffnet.

  4. Wählen Sie im Bereich Ziel entweder MySQL oder Avro aus.

  5. Klicken Sie im Feld Ziel-URI auf Durchsuchen und wählen Sie den Cloud Storage-URI aus, in den Sie die Dateien exportieren möchten.

    Sie können den Speicherort des Buckets auch in das dafür vorgesehene Textfeld eingeben. Verwenden Sie das folgende Format: bucket/object oder bucket/folder/object.

  6. Klicken Sie auf Senden, um den Export zu starten.

    Wenn der Export abgeschlossen ist, wird er auf der Seite Dienstdetails auf dem Tab Import/Export in einer Tabelle angezeigt.

    Wenn der Export abgeschlossen ist, wechselt Dataproc Metastore automatisch wieder in den aktiven Status, unabhängig davon, ob der Export erfolgreich war oder nicht.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services export gcs-Befehl aus, um Metadaten aus einem Dienst zu exportieren:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Ersetzen Sie Folgendes:

    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • bucket-name/path/to/folder: Der Cloud Storage-Zielordner, in dem Sie den Export speichern möchten.
    • DUMP_TYPE: der Typ des Datenbankdumps, der beim Export generiert werden soll. Zulässige Werte sind mysql und avro. Der Standardwert ist mysql.

  2. Prüfen Sie, ob der Export erfolgreich war.

    Wenn der Export abgeschlossen ist, wechselt Dataproc Metastore automatisch wieder in den aktiven Status, unabhängig davon, ob der Export erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Exportieren von Metadaten in einen Dienst mit dem APIs Explorer.

Wenn der Export abgeschlossen ist, kehrt der Dienst automatisch in den aktiven Zustand zurück, unabhängig davon, ob er erfolgreich war oder nicht.

Exportverlauf ansehen

So rufen Sie den Exportverlauf eines Dataproc Metastore-Dienstes in derGoogle Cloud -Konsole auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Import/Export.

    Ihr Exportverlauf wird in der Tabelle Exportverlauf angezeigt.

    Im Verlauf werden die letzten 25 Exporte angezeigt.

Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der zugehörige Exportverlauf gelöscht.

Häufige Probleme beheben

Zu den häufigsten Problemen zählen folgende:

Weitere Informationen zur Behebung häufiger Probleme finden Sie unter Fehlerszenarien für Import und Export.

Nächste Schritte