Melampirkan cluster Dataproc atau cluster mandiri

Setelah membuat layanan Dataproc Metastore, Anda dapat melampirkan salah satu layanan berikut:

• Cluster Dataproc.
• Instance Apache Hive yang dikelola sendiri, instance Apache Spark, atau cluster Presto.

Setelah Anda menghubungkan salah satu layanan ini, layanan tersebut akan menggunakan layanan Dataproc Metastore Anda sebagai metastore Hive-nya selama eksekusi kueri.

Sebelum memulai

• Aktifkan Dataproc Metastore di project Anda.
• Buat layanan Dataproc Metastore.
• Pahami persyaratan jaringan khusus untuk project Anda.

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore dan cluster Dataproc, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk memberikan kontrol penuh atas resource Dataproc Metastore, lakukan salah satu hal berikut:
  • Dataproc Metastore Editor (roles/metastore.editor) di akun pengguna atau akun layanan
  • Admin Dataproc Metastore (roles/metastore.admin) pada akun pengguna atau akun layanan
• Untuk membuat cluster Dataproc: (roles/dataproc.worker) di akun layanan VM Dataproc
• Untuk memberikan izin baca dan tulis ke direktori gudang Hive: (roles/storage.objectAdmin) pada akun layanan VM Dataproc

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat Dataproc Metastore dan cluster Dataproc. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Cluster Dataproc

Dataproc adalah layanan Apache Spark dan Apache Hadoop terkelola yang memungkinkan Anda memanfaatkan alat data open source untuk batch processing, pembuatan kueri, streaming, dan machine learning.

Pertimbangan

Sebelum membuat dan melampirkan cluster Dataproc, periksa protokol endpoint yang digunakan oleh layanan Dataproc Metastore Anda. Protokol ini menentukan cara klien Hive Metastore Anda mengakses metadata yang disimpan di Dataproc Metastore Anda. Pilihan ini juga dapat memengaruhi fitur yang dapat Anda integrasikan dan gunakan dengan layanan Anda.

Membuat cluster dan melampirkan Dataproc Metastore

Petunjuk berikut menunjukkan cara membuat cluster Dataproc dan terhubung ke cluster tersebut dari layanan Dataproc Metastore. Petunjuk ini mengasumsikan bahwa Anda telah Membuat layanan Dataproc Metastore.

• Sebelum membuat cluster Dataproc, pastikan image Dataproc yang Anda pilih kompatibel dengan versi metastore Hive yang Anda pilih saat membuat Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat Daftar versi Image Dataproc.

• Untuk mengoptimalkan konektivitas jaringan, buat cluster Dataproc di region yang sama dengan layanan Dataproc Metastore Anda.

gcloud dataproc clusters create CLUSTER_NAME \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
    --region=LOCATION \
    --scopes=SCOPES

Melampirkan cluster menggunakan properti cluster Dataproc

Anda juga dapat melampirkan cluster Dataproc ke Dataproc Metastore menggunakan properti Dataproc. Properti ini mencakup ENDPOINT_URI dan WAREHOUSE_DIR Dataproc Metastore.

Gunakan petunjuk ini jika layanan Dataproc Metastore Anda menggunakan Private Service Connect atau jika Anda ingin melampirkan cluster Dataproc ke versi tambahan layanan Dataproc Metastore Anda.

Ada dua cara untuk melampirkan cluster Dataproc menggunakan properti ENDPOINT_URI dan WAREHOUSE_DIR:

Opsi 1: Saat membuat cluster Dataproc

Saat membuat cluster Dataproc, gunakan tanda properti dengan konfigurasi Hive berikut.

gcloud dataproc clusters create CLUSTER_NAME \
     --properties="hive:hive.metastore.uris=ENDPOINT_URI,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR/hive-warehouse"

Ganti kode berikut:

• CLUSTER_NAME: nama cluster Dataproc baru Anda.
• ENDPOINT_URI: Endpoint URI layanan Dataproc Metastore Anda.
• WAREHOUSE_DIR: Lokasi direktori gudang Hive Anda.

Opsi 2: Perbarui file hive-site.xml

Anda juga dapat melampirkan cluster Dataproc dengan langsung mengubah file hive-site.xml cluster.

1. Hubungkan ke cluster .*-m menggunakan SSH.

2. Buka file /etc/hive/conf/hive-site.xml dan ubah baris berikut:

   <property>
      <name>hive.metastore.uris</name>
      <!-- Update this value. -->
      <value>ENDPOINT_URI</value>
   </property>
   <!-- Add this property entry. -->
   <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>WAREHOUSE_DIR</value>
   </property>
   

   Ganti kode berikut:

   • ENDPOINT_URI: Endpoint URI layanan Dataproc Metastore Anda.
   • WAREHOUSE_DIR: Lokasi direktori gudang Hive.

3. Mulai ulang HiveServer2:

   sudo systemctl restart hive-server2.service
   

Cluster yang dikelola sendiri

Cluster yang dikelola sendiri dapat berupa instance Apache Hive, instance Apache Spark, atau cluster Presto.

Melampirkan cluster yang dikelola sendiri

Tetapkan nilai berikut dalam file konfigurasi klien Anda:

hive.metastore.uris=ENDPOINT_URI
hive.metastore.warehouse.dir=WAREHOUSE_DIR

Ganti kode berikut:

• ENDPOINT_URI: Endpoint URI layanan Dataproc Metastore Anda.
• WAREHOUSE_DIR: Lokasi direktori gudang Hive.

Langkah berikutnya

• Panduan memulai deployment Dataproc Metastore
• Ringkasan Dataproc Metastore
• Ringkasan Dataproc