Versi tambahan

Halaman ini menjelaskan cara menggunakan fitur versi tambahan dengan Dataproc Metastore.

Versi tambahan memungkinkan Anda menghubungkan dua versi metastore Hive yang berbeda ke satu layanan Dataproc Metastore. Konfigurasi ini memungkinkan Anda mendukung beberapa mesin pemrosesan data yang perlu berjalan di berbagai versi metastore Hive.

Misalnya, dengan menggunakan versi tambahan, Anda dapat menghubungkan beberapa cluster Dataproc ke layanan Dataproc Metastore yang sama. Dalam konfigurasi ini, satu cluster dapat menjalankan Dataproc versi 2.0, sedangkan cluster lainnya menjalankan Dataproc versi 1.5. Cluster Dataproc 2.0 dapat terhubung ke endpoint yang mengekspos Hive versi 3.1.2, sedangkan cluster Dataproc 1.5 terhubung ke endpoint yang mengekspos Hive versi 2.3.6.

Cara kerja versi tambahan

Saat Anda mengaktifkan versi tambahan, Dataproc Metastore mengekspos endpoint terpisah untuk setiap versi metastore Hive. Namun, kedua endpoint terus berbagi database metadata yang sama.

Fitur ini tidak memungkinkan Anda menggunakan berbagai set metadata dengan satu layanan Dataproc Metastore. Sebagai gantinya, fitur ini menawarkan cara bagi Anda untuk memperluas dan meningkatkan kompatibilitas antar-layanan Anda.

Pertimbangan

Umum

• Anda hanya dapat membuat satu versi tambahan untuk setiap layanan Dataproc Metastore.

• Versi tambahan harus dikonfigurasi untuk menggunakan versi metastore Hive yang lebih rendah daripada versi utama.

• Versi tambahan mempertahankan file log yang terpisah dari versi utama. Untuk men-debug masalah metastore Hive, Anda dapat menggunakan Cloud Logging.

Dukungan fitur

• Versi tambahan tidak mendukung fitur berikut:

  • Impor metadata, Ekspor metadata

  • Mencadangkan dari metastore, Memulihkan metastore dari cadangan

    Fitur terkait metadata (impor/ekspor/pencadangan/pemulihan) hanya dapat digunakan dengan versi utama, karena metadata backend di antara kedua versi tersebut dibagikan.

• Beberapa metode Hive mungkin tidak kompatibel antara versi tambahan dan versi utama. Kompatibilitas ini bergantung pada versi Hive yang Anda gunakan untuk versi utama dan tambahan serta metode yang kompatibel antara versi Hive.

• Tidak semua fungsi instance Dataproc Metastore utama didukung oleh versi tambahan. Misalnya, penyisipan rekaman ke dalam tabel transaksional Hive tidak didukung dengan klien Hive 2 yang berinteraksi dengan versi tambahan 2.3.6. Namun, operasi ini didukung dengan klien Hive 3 yang berinteraksi dengan versi utama 3.1.2.

  Jika fitur dalam versi Hive yang lebih rendah tidak digunakan lagi dalam versi Hive yang lebih tinggi, maka versi tambahan yang lebih rendah yang sesuai tidak akan mendukung fitur yang tidak digunakan lagi. Misalnya, Hive 2 mendukung indeks, tetapi versi tambahan yang menjalankan Hive 2.3.6 tidak akan mendukung indeks jika versi utama menjalankan Hive 3.1.2.

• Pembuatan tabel transaksional menggunakan versi tambahan atau penyisipan data apa pun dalam tabel transaksional di versi tambahan dicegah.

Properti yang dibagikan antar-versi

Saat Anda membuat versi tambahan, beberapa properti dibagikan dan tetap sama antara versi tambahan dan versi utama. Properti lainnya tidak dibagikan dan terpisah di antara kedua versi.

Tabel berikut mencantumkan perbedaan ini.

* Penggantian konfigurasi Hive tetap terpisah antara versi tambahan dan versi utama. Namun, versi tambahan mereferensikan daftar gabungan penggantian (primer+tambahan). Dalam hal ini, konfigurasi tambahan lebih diutamakan daripada konfigurasi utama.

Sebelum memulai

• Mengaktifkan Dataproc Metastore

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore yang menggunakan versi tambahan, minta administrator untuk memberi Anda peran IAM berikut di project Anda, berdasarkan prinsip hak istimewa paling rendah:

• Memberikan kontrol penuh atas resource Dataproc Metastore (roles/metastore.editor)
• Memberikan akses penuh ke semua resource Dataproc Metastore, termasuk administrasi kebijakan IAM (roles/metastore.admin)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin metastore.services.create yang diperlukan untuk membuat Dataproc Metastore yang menggunakan versi tambahan.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat versi tambahan untuk layanan baru

Contoh berikut menunjukkan versi singkat langkah-langkah yang Anda ikuti untuk mengaktifkan versi tambahan. Untuk mengetahui petunjuk langkah demi langkah lengkap tentang seluruh proses yang harus Anda ikuti, lihat Membuat Dataproc Metastore.

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

Memperbarui versi tambahan untuk layanan yang ada

Petunjuk berikut menunjukkan cara memperbarui layanan Dataproc Metastore yang ada yang menggunakan versi tambahan.

Saat menjalankan operasi update, Anda dapat menyelesaikan tugas berikut:

• Menambahkan versi tambahan baru.
• Menghapus versi tambahan yang ada.

• Menambahkan atau mengubah penggantian versi tambahan yang ada.

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

Langkah berikutnya

• Membuat layanan
• Memperbarui dan menghapus layanan