Metadaten aus Dataproc Metastore exportieren

Auf dieser Seite wird erläutert, wie Sie Metadaten aus Dataproc Metastore exportieren.

Mit der Exportfunktion für Metadaten können Sie Ihre Metadaten in einem portablen Speicherformat speichern.

Nachdem Sie Ihre Daten exportiert haben, können Sie die Metadaten in einen anderen Dataproc Metastore-Dienst oder einen selbstverwalteten Hive Metastore (HMS) importieren.

Metadaten exportieren

Wenn Sie Metadaten aus Dataproc Metastore exportieren, speichert der Dienst die Daten in einem der folgenden Dateiformate:

  • Eine Reihe von Avro-Dateien, die in einem Ordner gespeichert sind.
  • Eine einzelne MySQL-Dumpdatei, die in einem Cloud Storage-Ordner gespeichert ist.

Avro

Avro-basierte Exporte werden nur für die Hive-Versionen 2.3.6 und 3.1.2 unterstützt. Wenn Sie Avro-Dateien exportieren, erstellt Dataproc Metastore für jede Tabelle in Ihrer Datenbank eine <table-name>.avro-Datei.

Für den Export von Avro-Dateien kann der Dataproc Metastore-Dienst den Datenbanktyp „MySQL“ oder „Spanner“ verwenden.

MySQL

MySQL-basierte Exporte werden für alle Hive-Versionen unterstützt. Wenn Sie MySQL-Dateien exportieren, erstellt Dataproc Metastore eine einzelne SQL-Datei mit allen Tabelleninformationen.

Wenn Sie MySQL-Dateien exportieren möchten, muss Ihr Dataproc Metastore-Dienst den MySQL-Datenbanktyp verwenden. Der Spanner-Datenbanktyp unterstützt keine MySQL-Importe.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Exportieren von Metadaten in den Dataproc Metastore benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Exportieren von Metadaten in den Dataproc Metastore erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Metadaten in Dataproc Metastore zu exportieren:

  • So exportieren Sie Metadaten: metastore.services.export im Metastore-Dienst
  • Wenn Sie das Cloud Storage-Objekt für den Export von MySQL- und Avro-Daten verwenden möchten, gewähren Sie Ihrem Nutzerkonto und dem Dataproc Metastore-Dienst-Agent: storage.objects.create für den Cloud Storage-Bucket

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter IAM-Rollen und -Berechtigungen für Dataproc Metastore.

Metadaten exportieren

Beachten Sie vor dem Exportieren Ihrer Metadaten Folgendes:

  • Während ein Export ausgeführt wird, können Sie keinen Dataproc Metastore-Dienst aktualisieren, z. B. keine Konfigurationseinstellungen ändern. Sie können es jedoch weiterhin für den normalen Betrieb verwenden, z. B. um über angehängte Dataproc- oder selbstverwaltete Cluster auf die Metadaten zuzugreifen.
  • Mit der Metadatenexportfunktion werden nur Metadaten exportiert. Daten, die von Apache Hive in internen Tabellen erstellt werden, werden nicht im Export repliziert.

Führen Sie die folgenden Schritte aus, um Metadaten aus einem Dataproc Metastore-Dienst zu exportieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, aus dem Sie Metadaten exportieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie in der Navigationsleiste auf Exportieren.

    Die Seite Metadaten exportieren wird geöffnet.

  4. Wählen Sie im Bereich Ziel entweder MySQL oder Avro aus.

  5. Klicken Sie im Feld Ziel-URI auf Durchsuchen und wählen Sie den Cloud Storage-URI aus, unter dem Sie Ihre Dateien exportieren möchten.

    Sie können den Speicherort des Buckets auch in das dafür vorgesehene Textfeld eingeben. Verwenden Sie das folgende Format: bucket/object oder bucket/folder/object.

  6. Klicken Sie auf Senden, um den Export zu starten.

    Wenn der Export abgeschlossen ist, wird er in einer Tabelle auf der Seite Dienstdetails auf dem Tab Import/Export angezeigt.

    Nach Abschluss des Exports wechselt Dataproc Metastore automatisch in den aktiven Status, unabhängig davon, ob der Export erfolgreich war oder nicht.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services export gcs-Befehl aus, um Metadaten aus einem Dienst zu exportieren:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Ersetzen Sie Folgendes:

    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • bucket-name/path/to/folder: der Cloud Storage-Zielordner, in dem der Export gespeichert werden soll.
    • DUMP_TYPE: Der Typ des Datenbankdumps, der durch den Export generiert werden soll. Zulässige Werte: mysql und avro. Der Standardwert ist mysql.

  2. Prüfen Sie, ob der Export erfolgreich war.

    Nach Abschluss des Exports kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob der Export erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Exportieren von Metadaten in einen Dienst mit dem APIs Explorer.

Wenn der Export abgeschlossen ist, wechselt der Dienst automatisch in den aktiven Zustand, unabhängig davon, ob er erfolgreich war oder nicht.

Exportverlauf ansehen

So rufen Sie den Exportverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Importieren/Exportieren.

    Der Exportverlauf wird in der Tabelle Exportverlauf angezeigt.

    Im Verlauf werden die letzten 25 Exporte angezeigt.

Wenn Sie einen Dataproc Metastore-Dienst löschen, werden auch alle zugehörigen Exportverläufe gelöscht.

Häufige Probleme beheben

Zu den häufigsten Problemen gehören:

Weitere Informationen zur Behebung häufiger Probleme finden Sie unter Import- und Exportfehler.

Nächste Schritte