Dataproc Metastore-Dienst sichern

Auf dieser Seite wird beschrieben, wie Sie eine Sicherung eines Dataproc Metastore-Dienstes erstellen.

Bei einer Sicherung wird ein Snapshot Ihres Dienstes erstellt, in dem die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten gespeichert werden.

Nachdem Sie ein Back-up erstellt haben, können Sie die Funktion Aus einem Back-up wiederherstellen verwenden, um einen neuen Dataproc Metastore-Dienst mit den im Snapshot gespeicherten Daten zu füllen.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Sichern eines Dataproc Metastore-Dienstes benötigen:

  • Um die vollständige Kontrolle über Dataproc Metastore-Ressourcen zu gewähren, damit ein Back-up erstellt werden kann, muss entweder:
  • So gewähren Sie Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen: Dataproc Metastore Metadata Operator (roles/metastore.metadataOperator) für den Metadatendienst
  • So verwenden Sie das Cloud Storage-Objekt, in dem geplante Sicherungen gespeichert werden: Cloud Storage-Objekt-Nutzer (roles/storage.objectUser) für den Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Sichern eines Dataproc Metastore-Dienstes erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst zu sichern:

  • So sichern Sie einen Metadatendienst: metastore.backups.create
  • So verwenden Sie das Cloud Storage-Objekt:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc Metastore-IAM – Übersicht.

Überlegungen zur Sicherung

Beachten Sie vor dem Ausführen eines Sicherungsvorgangs Folgendes:

  • Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen gleichzeitig erstellen und speichern. Wenn Sie versuchen, mehr als sieben Sicherungen zu erstellen, schlägt der Sicherungsvorgang fehl. Wenn Sie ein weiteres Back-up erstellen möchten, müssen Sie zuerst eine Ihrer gespeicherten Back-up-Dateien manuell löschen.
  • Während ein Sicherungsvorgang ausgeführt wird, können Sie Ihren Dataproc Metastore-Dienst nicht aktualisieren. Sie können beispielsweise keine Konfigurationseinstellungen ändern. Sie können Ihren Dienst jedoch weiterhin für normale Vorgänge verwenden, z. B. für den Zugriff auf Metadaten von angehängten Dataproc- oder selbstverwalteten Clustern.
  • Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, z. B. täglich.

Sicherung erstellen

So sichern Sie einen Dataproc Metastore-Dienst:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie sichern möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Abbildung 1. Die Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie oben auf der Seite auf Sicherung.

    Die Seite Sicherung wird geöffnet.

  4. Geben Sie den Namen der Sicherung ein.

  5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

  6. Klicken Sie auf Sichern, um die Sicherung zu starten.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Wenn die Sicherung abgeschlossen ist, wechselt Dataproc Metastore automatisch wieder in den aktiven Status, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um einen Dataproc Metastore-Dienst zu sichern:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Ersetzen Sie Folgendes:

    • BACKUP: Die ID oder voll qualifizierte Kennzeichnung für die Sicherung.
    • LOCATION: die Google Cloud -Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • DESCRIPTION: Eine Beschreibung Ihrer Sicherung.

  2. Prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Wenn die Sicherung abgeschlossen ist, wechselt Dataproc Metastore automatisch wieder in den aktiven Status, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Sichern von Metadaten aus einem Dienst mit dem APIs Explorer.

Wenn die Sicherung abgeschlossen ist, wechselt Dataproc Metastore automatisch wieder in den aktiven Status, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

Sicherungsverlauf ansehen

So rufen Sie den Sicherungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud -Konsole auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Sicherung/Wiederherstellung.

    Ihr Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

    Im Verlauf werden die letzten sieben Sicherungen angezeigt.

    Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der zugehörige Sicherungsverlauf gelöscht.

Sicherung löschen

So löschen Sie ein Dataproc Metastore-Backup in der Google Cloud Console:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
  2. Klicken Sie in der Navigationsleiste auf Sicherung/Wiederherstellung.
  3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche „Einstellungen“.
  4. Klicken Sie auf Löschen.

Sicherung planen

Sicherungen können so geplant werden, dass sie in vom Nutzer angegebenen Cronjob-Intervallen ausgeführt werden, z. B. täglich, wöchentlich oder monatlich. Ein Cron-Zeitplan verwendet das Unix-Cron-Stringformat (* * * * *), das aus fünf Feldern in einer Zeile besteht, die angeben, wann der Job ausgeführt werden soll.

Sie können beispielsweise ein benutzerdefiniertes Intervall festlegen, um jede Woche eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr PST.

Überlegungen zu geplanten Sicherungen

  • Für geplante Sicherungen muss ein Sicherungsspeicherort angegeben werden, der ein Cloud Storage-Pfad sein muss.
  • Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
  • Geplante Sicherungen werden standardmäßig in der UTC-Zeitzone konfiguriert. Sie können die Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
  • Geplante Back-ups können in stündlichen, täglichen, wöchentlichen oder monatlichen Intervallen ausgeführt werden. Das Mindestintervall, das Sie festlegen können, beträgt 4 Stunden.

Geplante Sicherung erstellen

Sicherungszeitpläne können beim erstmaligen Erstellen des Dienstes oder später beim Aktualisieren des Dienstes festgelegt werden.

So erstellen Sie einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 2 aus.

  4. Stellen Sie unter Geplante Sicherungen den Schieberegler auf Aktivieren ein.

  5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

    1. Wählen Sie unter Repeats (Wiederholungen) die Häufigkeit aus, z. B. Daily (Täglich) oder Weekly (Wöchentlich).
    2. Wählen Sie unter Um die Uhrzeit für die Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

  7. Übernehmen Sie für die übrigen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

  8. Klicken Sie auf Senden.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Ersetzen Sie Folgendes:

    • SERVICE: Die ID oder voll qualifizierte Kennzeichnung für die Sicherung.
    • LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: Die Häufigkeit Ihrer Sicherung im Cron-Zeitformat. Ein Cron-Wert von 0 0 * * * plant beispielsweise eine tägliche Sicherung.
    • SCHEDULED_BACKUP_LOCATION: Der Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location

    oder

    Sie können auch eine Sicherung planen, indem Sie die oben genannten Werte in einer Konfigurationsdatei speichern:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: Ein Pfad zu einer JSON-Datei mit den Sicherungskonfigurationswerten enabled, cront_schedule, time_zone und backup_location.

    Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, die geplante Sicherungen aktiviert, den Sicherungszeitplan auf stündlich festlegt, die Zeitzone als PST angibt und den Sicherungsspeicherort als Cloud Storage-Bucket definiert. Sie können Zeitzonen aus der Liste der häufig verwendeten Zeitzonen der tz-Datenbank auswählen.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung mit dem APIs Explorer.

Geplante Sicherung aktualisieren

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 zu aktualisieren, der mit einer geplanten Sicherung konfiguriert ist:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, für den Sie eine Sicherung planen möchten.

  3. Stellen Sie unter Geplante Sicherungen den Schalter auf Aktiviert ein.

  4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

    1. Wählen Sie unter Repeats (Wiederholungen) die Häufigkeit aus, z. B. Daily (Täglich) oder Weekly (Wöchentlich).
    2. Wählen Sie unter Um die Uhrzeit für die Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups update-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Ersetzen Sie Folgendes:

    • SERVICE: Die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
    • LOCATION: die Google Cloud -Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: Die Häufigkeit Ihrer Sicherung im Cron-Zeitformat. Ein Cron-Wert von 0 0 * * * plant beispielsweise eine tägliche Sicherung.
    • SCHEDULED_BACKUP_LOCATION: Der Cloud Storage-Speicherort Ihres geplanten Backups. Beispiel: gs://my-bucket/path/to/location

    Sie können eine geplante Sicherung auch mit den oben genannten Werten aktualisieren, die in einer Konfigurationsdatei gespeichert sind:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: Ein Pfad zu einer JSON-Datei mit der Sicherungskonfiguration.

    Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, in der eine geplante Sicherung deaktiviert wird.

    {
"enabled": false,
}

REST

Folgen Sie der API-Anleitung, um eine geplante Sicherung mithilfe des APIs Explorers zu aktualisieren.

Geplante Sicherung ansehen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung aufzurufen:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie oben auf der Seite auf Sicherung.

    Die Seite Sicherung wird geöffnet und zeigt Ihre geplanten Sicherungen an. Die Sicherungen werden im Cloud Storage-Bucket gespeichert, den Sie in der Konfiguration für geplante Sicherungen angegeben haben.

gcloud-CLI

  1. Führen Sie folgenden Befehl gcloud storage ls aus:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Ersetzen Sie Folgendes:

    • BUCKET_NAME: Der Pfad zum Cloud Storage-Bucket, in dem die geplante Sicherung gespeichert ist, die Sie aufrufen möchten.
    • SERVICE: Die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
    • LOCATION: Die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung zum Anzeigen einer geplanten Sicherung mit dem APIs Explorer.

Häufige Probleme beheben

Nächste Schritte