Memperbarui layanan Metastore Dataproc

Halaman ini menjelaskan cara memperbarui layanan Dataproc Metastore.

Anda dapat memperbarui layanan Dataproc Metastore untuk mengubah setelan konfigurasi, atau untuk mengaktifkan atau menonaktifkan fitur opsional.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk memperbarui layanan Dataproc Metastore, minta administrator untuk memberi Anda peran IAM berikut di project Anda, berdasarkan prinsip hak istimewa paling rendah:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin metastore.services.update , yang diperlukan untuk memperbarui layanan Dataproc Metastore.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Tentang memperbarui layanan

Anda dapat mengupdate parameter Dataproc Metastore berikut.

  • Transfer nomor. Perbarui nomor port TCP antarmuka Apache Thrift.
  • Tingkatan layanan. Beralih antara tingkat layanan Developer atau tingkat layanan Enterprise. Tingkatan ini memengaruhi kapasitas layanan.
  • Sinkronisasi Data Catalog. Aktifkan atau nonaktifkan fitur sinkronisasi Katalog Data.
  • Masa pemeliharaan. Ubah frekuensi masa pemeliharaan Anda, termasuk Hari dalam seminggu dan Jam dalam sehari.
  • Kerberos. Aktifkan atau nonaktifkan autentikasi Kerberos. Jika sebelumnya diaktifkan, Anda dapat memperbarui file konfigurasi Kerberos.
  • Konfigurasi metastore Hive. Perbarui lokasi direktori gudang Hive Anda.
  • Konfigurasi versi tambahan (Pratinjau). Aktifkan, nonaktifkan, atau tambahkan versi tambahan.
  • Label. Tambahkan atau hapus label opsional yang mendeskripsikan metadata Anda.
  • Faktor penskalaan. Ubah faktor penskalaan. Anda dapat mengaktifkan atau menonaktifkan penskalaan otomatis dan memperbarui faktor penskalaan minimum atau maksimum.

Mengupdate layanan

Sebelum menjalankan update, perhatikan pertimbangan berikut:

  • Anda hanya dapat menjalankan satu tugas update dalam satu waktu (untuk setiap layanan Dataproc Metastore).
  • Anda dapat memperbarui beberapa parameter dalam satu tugas pembaruan.
  • Anda tetap dapat menggunakan Dataproc Metastore saat diupdate.

Jika update berhasil, Dataproc Metastore akan otomatis memasuki status aktif. Jika update gagal, layanan Dataproc Metastore akan di-rollback ke status sehat sebelumnya.

Petunjuk berikut menunjukkan cara mengupdate layanan Dataproc Metastore.

Konsol

  1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

    Membuka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda perbarui.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Halaman detail Layanan Dataproc Metastore

  3. Di tab Konfigurasi, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Pilih nilai yang ingin Anda perbarui untuk layanan Anda.

  5. Klik Kirim.

    Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil diupdate.

gcloud CLI

  1. Untuk mengupdate layanan, jalankan perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Ganti kode berikut:

    • SERVICE: Nama layanan Dataproc Metastore Anda.
    • LOCATION: Google Cloud Region tempat layanan Dataproc Metastore Anda berada.
    • PORT: Opsional: Port TCP antarmuka Thrift yang Anda gunakan dengan layanan Dataproc Metastore.
    • TIER: Opsional: Kapasitas tingkat layanan Dataproc Metastore Anda.
    • MAINTENANCE_WINDOW_DAY: Opsional: Hari dalam seminggu saat periode layanan dimulai.
    • MAINTENANCE_WINDOW_HOUR: Opsional: Jam dalam sehari saat periode layanan dimulai.
    • KERBEROS_PRINCIPAL: Opsional: Principal Kerberos yang ada di keytab dan KDC. Principal umum berbentuk "primary/instance@REALM", tetapi tidak ada format yang tepat.
    • KEYTAB: Opsional: File keytab Kerberos yang digunakan untuk mengautentikasi nama utama layanan dengan Key Distribution Center Kerberos.
    • KRB5_CONFIG: Opsional: File krb5.config menentukan KDC dan informasi realm Kerberos, yang mencakup lokasi KDC dan default untuk realm dan aplikasi Kerberos.
    • [KEY, ...]: Opsional: Konfigurasi metastore Hive yang ingin Anda perbarui. Jika variabel ada di kolom ini, nilainya akan diperbarui. Jika tidak, variabel baru akan dibuat. Jika tanda ini disetel, -clear-hive-metastore-configs juga akan disetel secara otomatis.
    • [KEY, ...]: Opsional: Konfigurasi metastore Hive yang ingin Anda hapus.
    • [KEY=VALUE, ...]: Opsional: Konfigurasi pasangan nilai kunci metastore Hive atau label yang ingin Anda perbarui.
    • [KEY, ...]: Opsional: Label atau konfigurasi pasangan nilai kunci metastore Hive yang ingin Anda hapus.

  2. Verifikasi bahwa update berhasil.

REST

Ikuti petunjuk API untuk memperbarui layanan menggunakan APIs Explorer.

Memperbarui konfigurasi gudang Hive Metastore

Jika direktori warehouse Hive Anda ada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi Metastore. Penggantian ini menetapkan data warehouse spesifik Anda sebagai direktori warehouse default untuk Dataproc Metastore

Sebelum Anda menyetel penggantian ini, pastikan layanan Dataproc Metastore Anda memiliki izin baca dan tulis objek untuk mengakses direktori gudang data. Untuk mengetahui informasi selengkapnya, lihat Direktori gudang Hive.

Petunjuk berikut menunjukkan cara memperbarui penggantian konfigurasi Hive Metastore.

Konsol

  1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

    Membuka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda perbarui.

    Halaman Detail layanan akan terbuka.

  3. Di tab Konfigurasi, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Di Penggantian konfigurasi metastore, masukkan berikut ini:

    • Kunci: Masukkan nilai berikut: hive.metastore.warehouse.dir.
    • Nilai: Lokasi Cloud Storage dari direktori gudang Anda. Contoh: gs://my-bucket/path/to/location.

  5. Klik Kirim.

    Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil diupdate.

gcloud

  1. Untuk mengupdate layanan, jalankan perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ganti kode berikut:

    • SERVICE: Nama layanan Dataproc Metastore Anda.
    • LOCATION: Google Cloud Region tempat layanan Dataproc Metastore Anda berada.
    • CUSTOMER_DIR: Lokasi Cloud Storage dari direktori gudang Anda. Contoh: gs://my-bucket/path/to/location

  2. Verifikasi bahwa update berhasil.

Langkah berikutnya