Selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren

Auf dieser Seite erfahren Sie, wie Sie Ihren externen selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren. Dazu erstellen Sie eine MySQL-Dumpdatei und importieren die Metadaten in einen vorhandenen Dataproc Metastore-Dienst.

Hinweise

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Dataproc Metastore API.

    Enable the API

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc-Metastores und zum Importieren eines MySQL-Metastores benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen eines Dataproc-Metastores und zum Importieren eines MySQL-Metastores erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen eines Dataproc Metastores und zum Importieren eines MYSQL-Metastores erforderlich:

  • So erstellen Sie einen Dienst: metastore.services.create für das Projekt.
  • So importieren Sie Metadaten: metastore.imports.create für das Projekt.
  • So verwenden Sie das Cloud Storage-Objekt (SQL-Dumpdatei) für den Import:
    • storage.objects.get auf dem Dataproc Metastore-Dienst-Agenten. z. B. service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com.
    • storage.objects.get für das Nutzerkonto.

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und ‑Berechtigungen finden Sie unter Dataproc-Zugriff mit IAM verwalten.

Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst erstellen, in den Sie Ihre SQL-Dumpdatei migrieren können.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dienst erstellen:

    Zur Seite „Dienst erstellen“

    Die Seite „Dienst erstellen“.
    Dataproc Metastore – Seite „Dienst erstellen“

  2. Geben Sie im Feld Name des Dienstkontos example-service ein.

  3. Wählen Sie den Speicherort der Daten aus. Informationen zur Auswahl einer Region finden Sie unter Cloud-Standorte.

  4. Übernehmen Sie für die anderen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

  5. Klicken Sie auf die Schaltfläche Senden, um den Dienst zu erstellen und zu starten.

Der neue Dienst wird in der Dienstliste angezeigt.

gcloud

Führen Sie den folgenden Befehl gcloud metastore services create aus, um einen Dienst zu erstellen:

 gcloud metastore services create example-service \
     --location=LOCATION

Ersetzen Sie LOCATION durch die Compute Engine-Region, in der Sie den Dienst erstellen möchten. Dataproc Metastore muss in der Region verfügbar sein.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Migration vorbereiten

Sie müssen jetzt die in Ihrer Hive-Metastore-Datenbank gespeicherten Metadaten für den Import vorbereiten. Erstellen Sie dazu eine MySQL-Dumpdatei und legen Sie sie in einen Cloud Storage-Bucket ab.

Informationen zur Vorbereitung der Migration finden Sie unter Importdateien vor dem Import vorbereiten.

Metadaten importieren

Nachdem Sie die Dumpdatei vorbereitet haben, importieren Sie sie in Ihren Dataproc Metastore-Dienst.

Eine Anleitung zum Importieren von Metadaten in den example-service-Dienst finden Sie unter Dateien in Dataproc Metastore importieren.

Dataproc-Cluster erstellen und anhängen

Nachdem Sie die Metadaten in den Dataproc Metastore-Dienst example-service importiert haben, erstellen Sie und hängen Sie einen Dataproc-Cluster an, der den Dienst als Hive-Metastore verwendet.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
  3. In the project list, select the project that you want to delete, and then click Delete.
  4. In the dialog, type the project ID, and then click Shut down to delete the project.

Alternativ können Sie die Ressourcen löschen, die in dieser Anleitung verwendet werden:

  1. Löschen Sie den Dataproc Metastore-Dienst.

    Console

    1. Öffnen Sie in der Google Cloud Console die Seite „Dataproc Metastore“:

      Dataproc Metastore in der Google Cloud Console öffnen

    2. Klicken Sie links neben dem Dienstnamen auf das Kästchen für example-service.

    3. Klicken Sie oben auf der Seite Dataproc Metastore auf Löschen, um den Dienst zu löschen.

    4. Klicken Sie im Dialogfeld auf Löschen, um den Löschvorgang zu bestätigen.

    Ihr Dienst wird nicht mehr in der Dienstliste angezeigt.

    gcloud

    Führen Sie den folgenden Befehl gcloud metastore services delete aus, um einen Dienst zu löschen:

     gcloud metastore services delete example-service \
     --location=LOCATION

    Ersetzen Sie LOCATION durch die Compute Engine-Region, in der Sie den Dienst erstellt haben.

    REST

    Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu löschen.

    Alle Löschvorgänge werden sofort ausgeführt.

  2. Löschen Sie den Cloud Storage-Bucket für den Dataproc Metastore-Dienst.

Nächste Schritte