Mencadangkan layanan Metastore Dataproc

Halaman ini menjelaskan cara membuat cadangan layanan Dataproc Metastore.

Pencadangan mengambil snapshot layanan Anda, menyimpan setelan konfigurasi saat ini dan semua metadata yang disimpan.

Setelah membuat cadangan, Anda dapat menggunakan fitur Pulihkan dari cadangan untuk mengisi layanan Dataproc Metastore baru dengan data yang disimpan dalam snapshot.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mencadangkan layanan Dataproc Metastore, minta administrator Anda untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mencadangkan layanan Dataproc Metastore. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mencadangkan layanan Dataproc Metastore:

  • Untuk mencadangkan layanan metadata: metastore.backups.create
  • Untuk menggunakan objek Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Pertimbangan pencadangan

Sebelum menjalankan operasi pencadangan, perhatikan pertimbangan berikut:

  • Untuk setiap layanan Dataproc Metastore, Anda dapat membuat dan menyimpan hingga tujuh cadangan sekaligus. Jika Anda mencoba melebihi tujuh cadangan, proses pencadangan akan gagal. Jika ingin membuat cadangan lain, Anda harus menghapus salah satu file cadangan tersimpan secara manual terlebih dahulu.
  • Saat operasi pencadangan sedang berjalan, Anda tidak dapat memperbarui layanan Dataproc Metastore, misalnya, Anda tidak dapat mengubah setelan konfigurasi. Namun, Anda tetap dapat menggunakan layanan untuk operasi normal, seperti mengakses metadata dari cluster Dataproc terlampir atau cluster yang dikelola sendiri.
  • Anda dapat membuat cadangan terjadwal yang berjalan pada berbagai interval cron, seperti setiap hari.

Membuat cadangan

Untuk mencadangkan layanan Dataproc Metastore, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

    Membuka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda cadangkan.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Gambar 1. Halaman detail layanan Dataproc Metastore

  3. Di bagian atas halaman, klik Cadangkan.

    Halaman Backup akan terbuka.

  4. Masukkan Nama cadangan.

  5. Opsional: Masukkan Deskripsi cadangan.

  6. Untuk memulai operasi pencadangan, klik Cadangkan.

    Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil dicadangkan.

    Setelah pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

gcloud CLI

  1. Untuk mencadangkan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups create berikut:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Ganti kode berikut:

    • BACKUP: ID atau ID yang memenuhi syarat sepenuhnya untuk cadangan.
    • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • SERVICE: nama layanan Dataproc Metastore Anda.
    • DESCRIPTION: deskripsi cadangan Anda.

  2. Pastikan layanan Anda berhasil dicadangkan.

    Setelah pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

REST

Ikuti petunjuk API untuk mencadangkan metadata dari layanan menggunakan APIs Explorer.

Setelah pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

Melihat histori pencadangan

Untuk melihat histori pencadangan layanan Dataproc Metastore di konsol Google Cloud , selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud console, buka halaman Dataproc Metastore.

  2. Di menu navigasi, klik Backup/Restore.

    Histori pencadangan Anda akan muncul dalam tabel di bagian Pencadangan.

    Histori menampilkan hingga 7 cadangan terbaru.

    Menghapus layanan Dataproc Metastore juga akan menghapus semua histori pencadangan terkait.

Menghapus cadangan

Untuk menghapus cadangan Dataproc Metastore di konsol Google Cloud , selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataproc Metastore.
  2. Di menu navigasi, klik Backup/Restore.
  3. Temukan cadangan yang ingin Anda hapus, lalu klik tombol setelan.
  4. Klik Hapus.

Menjadwalkan pencadangan

Pencadangan dapat dijadwalkan untuk berjalan pada interval tugas cronyang ditentukan pengguna, termasuk berjalan setiap hari, setiap minggu, atau setiap bulan. Jadwal cron menggunakan format string unix-cron (* * * * *) yang merupakan sekumpulan lima kolom dalam satu baris, yang menunjukkan kapan tugas harus dijalankan.

Misalnya, Anda dapat menetapkan interval kustom untuk membuat cadangan setiap minggu, seperti membuat cadangan setiap hari Rabu pukul 14.00 PST.

Pertimbangan pencadangan terjadwal

  • Pencadangan terjadwal harus menentukan lokasi pencadangan, yang harus berupa jalur Cloud Storage.
  • Cadangan terjadwal selalu dibuat dalam format file Avro.
  • Pencadangan terjadwal dikonfigurasi di zona waktu UTC secara default. Anda dapat mengubah zona waktu saat membuat cadangan untuk pertama kalinya.
  • Pencadangan terjadwal dapat disetel untuk berjalan pada interval per jam, harian, mingguan, atau bulanan. Interval per jam minimum yang dapat Anda tetapkan adalah 4 jam.

Membuat pencadangan terjadwal

Jadwal pencadangan dapat ditetapkan saat Anda membuat layanan untuk pertama kalinya atau ditambahkan nanti saat Anda memperbarui layanan.

Untuk membuat layanan Dataproc Metastore 2 dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di Google Cloud console, buka halaman Dataproc Metastore.

  2. Di bagian atas halaman Dataproc Metastore, klik tombol Create.

    Halaman Create service akan terbuka.

  3. Pilih Dataproc Metastore 2.

  4. Di bagian Scheduled Backups, setel tombol ke Enable.

  5. Di bagian Lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.

  6. Opsional: di bagian jadwal, pilih opsi berikut:

    1. Untuk Ulangi, pilih pengulangan, seperti Harian atau Mingguan.
    2. Untuk Pada waktu, pilih waktu pengulangan, seperti 00.00.
    3. Untuk Zona waktu, pilih zona waktu yang sesuai, seperti UTC-8.

  7. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

  8. Klik Kirim.

gcloud CLI

  1. Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups create berikut:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Ganti kode berikut:

    • SERVICE: ID atau ID yang memenuhi syarat sepenuhnya untuk cadangan.
    • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • SCHEDULED_BACKUP_CRON: frekuensi pencadangan Anda, yang ditentukan dalam format waktu cron. Misalnya, nilai cron 0 0 * * * menjadwalkan pencadangan harian.
    • SCHEDULED_BACKUP_LOCATION: lokasi Cloud Storage tempat cadangan Anda disimpan. Contoh: gs://my-bucket/path/to/location.

    atau

    Anda juga dapat menjadwalkan pencadangan dengan menyimpan nilai sebelumnya dalam file konfigurasi:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ganti kode berikut:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: jalur ke file JSON yang berisi nilai konfigurasi cadangan enabled, cront_schedule, time_zone, dan backup_location.

    Contoh berikut menunjukkan file konfigurasi pencadangan yang mengaktifkan pencadangan terjadwal, menetapkan jadwal pencadangan ke setiap jam, menentukan zona waktu sebagai PST, dan menentukan lokasi pencadangan sebagai bucket Cloud Storage. Anda dapat memilih zona waktu dari daftar zona waktu database tz umum.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Ikuti petunjuk API untuk membuat pencadangan terjadwal menggunakan APIs Explorer.

Memperbarui pencadangan terjadwal

Untuk mengupdate layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di Google Cloud console, buka halaman Dataproc Metastore.

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda jadwalkan pencadangannya.

  3. Di bagian Scheduled Backups, tetapkan tombol ke Enabled.

  4. Di bagian lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.

  5. Opsional: Di bagian Jadwalkan, pilih nilai untuk kolom berikut:

    1. Untuk Ulangi, pilih pengulangan, seperti Harian atau Mingguan.
    2. Untuk Pada waktu, pilih waktu pengulangan, seperti 00.00.
    3. Untuk Zona waktu, pilih zona waktu yang sesuai, seperti UTC-8.

gcloud CLI

  1. Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups update berikut:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Ganti kode berikut:

    • SERVICE: ID atau ID yang memenuhi syarat sepenuhnya untuk pencadangan terjadwal.
    • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • SCHEDULED_BACKUP_CRON: frekuensi pencadangan Anda, yang ditentukan dalam format waktu cron. Misalnya, nilai cron 0 0 * * * menjadwalkan pencadangan harian.
    • SCHEDULED_BACKUP_LOCATION: lokasi Cloud Storage pencadangan terjadwal Anda. Contoh: gs://my-bucket/path/to/location.

    Anda juga dapat memperbarui cadangan terjadwal menggunakan nilai sebelumnya yang disimpan dalam file konfigurasi:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ganti kode berikut:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: jalur ke file JSON yang berisi konfigurasi pencadangan.

    Contoh berikut menunjukkan file konfigurasi pencadangan yang menonaktifkan pencadangan terjadwal.

    {
"enabled": false,
}

REST

Ikuti petunjuk API untuk memperbarui pencadangan terjadwal menggunakan APIs Explorer.

Melihat pencadangan terjadwal

Untuk melihat layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di Google Cloud console, buka halaman Dataproc Metastore.

  2. Di bagian atas halaman, klik Cadangkan.

    Halaman Pencadangan akan terbuka dan menampilkan pencadangan terjadwal Anda. Perhatikan bahwa cadangan sebenarnya disimpan di bucket Cloud Storage yang Anda berikan dalam konfigurasi cadangan terjadwal.

gcloud CLI

  1. Jalankan perintah gcloud storage ls berikut:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Ganti kode berikut:

    • BUCKET_NAME: jalur ke bucket Cloud Storage yang menyimpan cadangan terjadwal yang ingin Anda lihat.
    • SERVICE: ID atau ID yang memenuhi syarat sepenuhnya untuk pencadangan terjadwal.
    • LOCATION: Google Cloud region tempat layanan Dataproc Metastore Anda berada.

REST

Ikuti petunjuk API untuk melihat cadangan terjadwal dengan menggunakan APIs Explorer.

Memecahkan masalah umum

Langkah berikutnya