Membuat layanan Metastore Dataproc

Konsol

1. Di konsol Google Cloud , buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Buat.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Harga dan Kapasitas, pilih ukuran instance.

   Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

5. Di kolom Service name, masukkan nama unik untuk layanan Anda.

   Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

6. Pilih Lokasi data.

   Untuk mengetahui informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

7. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

8. Untuk membuat dan memulai layanan, klik Submit.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Setelah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan metastore Dataproc Metastore 2 menggunakan default yang diberikan, jalankan perintah gcloud metastore services create berikut:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Ganti kode berikut:

• SERVICE: Nama layanan Dataproc Metastore baru Anda.

• LOCATION: Region Google Cloud tempat Anda ingin membuat Dataproc Metastore. Anda juga dapat menyetel lokasi default.

  Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

• INSTANCE_SIZE: ukuran instance Dataproc Metastore multi-regional Anda. Misalnya, small, medium atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan tentukan nilai untuk SCALING_FACTOR.

• SCALING_FACTOR: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan APIs Explorer.

Konsol

1. Di konsol Google Cloud , buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Buat.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 1.

4. Di kolom Service name, masukkan nama unik untuk layanan Anda.

   Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

5. Pilih Lokasi data.

   Untuk mengetahui informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

6. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

7. Untuk membuat dan memulai layanan, klik Submit.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Setelah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan metastore dasar menggunakan default yang disediakan, jalankan perintah gcloud metastore services create berikut:

gcloud metastore services create SERVICE \
  --location=LOCATION

Ganti kode berikut:

• SERVICE: Nama layanan Dataproc Metastore baru Anda.

• LOCATION: Region Google Cloud tempat Anda ingin membuat Dataproc Metastore. Anda juga dapat menyetel lokasi default.

  Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

REST

Ikuti petunjuk API untuk membuat layanan dengan menggunakan APIs Explorer.

Konsol

Mulai

1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

   Membuka Dataproc Metastore

2. Di menu navigasi, klik +Buat.

   Dialog Create Metastore service akan terbuka.

3. Pilih versi Metastore yang ingin Anda gunakan, Dataproc Metastore 1 atau Dataproc Metastore 2.

   Info layanan

   

   1. (Opsional): Untuk Dataproc Metastore 2. Di bagian Harga dan Kapasitas, pilih ukuran instance.

      Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

   2. Di kolom Service name, masukkan nama unik untuk layanan Anda.

      Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

   3. Pilih Lokasi data.

      Untuk mengetahui informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

   4. Pilih Versi metastore Hive.

      Jika nilai ini tidak diubah, layanan Anda akan menggunakan Hive versi terbaru yang didukung (saat ini versi 3.1.2).

      Untuk mengetahui informasi selengkapnya tentang cara memilih versi yang benar, lihat Kebijakan versi.

   5. Pilih Saluran rilis.

      Jika nilai ini tidak diubah, metastore Anda akan menggunakan nilai Stable. Untuk mengetahui informasi selengkapnya, lihat Saluran rilis.

   6. Masukkan Port TCP.

      Port TCP yang terhubung ke endpoint Thrift Anda. Jika nilai ini tidak diubah, nomor port 9083 akan digunakan. Jika Anda mengubah endpoint ke gRPC, nilai ini akan otomatis berubah menjadi 443 dan tidak dapat diubah.

   7. (Opsional) Untuk Dataproc Metastore 1. Pilih Tingkat layanan.

      Paket layanan memengaruhi kapasitas layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Tingkat Layanan.

   Protokol endpoint

   • Opsional: Pilih protokol endpoint.

     Opsi yang dipilih secara default adalah Apache Thrift. Untuk mengetahui informasi selengkapnya tentang berbagai endpoint, lihat Memilih protokol endpoint.

   Konfigurasi jaringan

   1. Pilih Konfigurasi Jaringan.

      Secara default, layanan Anda hanya diekspos di satu jaringan VPC dan menggunakan jaringan default. Jaringan default hanya mengizinkan layanan Anda terhubung ke layanan lain dalam project yang sama.

      Ubah setelan jaringan Anda dari default untuk menyelesaikan tindakan berikut:

      • Hubungkan layanan Dataproc Metastore Anda ke layanan Dataproc Metastore di project lain.
      • Gunakan layanan Dataproc Metastore Anda dengan layananGoogle Cloud lain, seperti cluster Dataproc.

   2. Opsional: Klik Use shared VPC network, lalu masukkan Project ID dan VPC network name.

   3. Opsional: Klik Buat layanan dapat diakses di beberapa subnetwork VPC dan pilih Subnetwork. Anda dapat menentukan hingga lima subnetwork.

   4. Klik Selesai.

   Integrasi metadata

   • Opsional: Aktifkan sinkronisasi Data Catalog.

     Untuk mengetahui informasi selengkapnya, lihat Sinkronisasi Dataproc Metastore ke Data Catalog.

   Masa pemeliharaan

   • Opsional: Pilih Hari dalam seminggu dan Jam dalam sehari untuk periode pemeliharaan.

     Untuk mengetahui informasi selengkapnya, lihat Masa pemeliharaan.

   Keamanan

   1. Opsional: Aktifkan Kerberos.

      1. Untuk mengaktifkan Kerberos, klik tombol.
      2. Pilih atau masukkan ID resource rahasia Anda.
      3. Pilih untuk menggunakan versi secret terbaru atau pilih versi secret lama yang akan digunakan.

      4. Masukkan Kerberos principal.

         Ini adalah akun utama yang dialokasikan untuk layanan Dataproc Metastore ini.

      5. Cari file krb5 config.

   2. Opsional: Pilih jenis enkripsi.

      • Opsi yang dipilih secara default adalah Google-managed encryption key.

      • Untuk memilih kunci yang dikelola pelanggan, klik Gunakan kunci enkripsi yang dikelola pelanggan (CMEK).

        Untuk informasi selengkapnya, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

   Penggantian konfigurasi Metastore

   • Opsional: Untuk menerapkan pemetaan ke Hive Metastore, klik + Tambahkan Penggantian.

   Konfigurasi versi tambahan

   • Opsional: Untuk menambahkan konfigurasi versi Tambahan, klik Aktifkan.

     Untuk mengetahui informasi selengkapnya, lihat Versi tambahan.

   Jenis database

   • Opsional: Pilih jenis database.

     Untuk Database type, pilih MySQL atau Spanner. MySQL adalah jenis database default.

     Untuk mengetahui informasi selengkapnya tentang cara memilih jenis database tertentu, lihat Jenis database.

   Label

   • Opsional: Untuk menambahkan atau menghapus label opsional yang mendeskripsikan metadata Anda, klik + Tambahkan Label.

Mulai layanan

Untuk membuat dan memulai layanan, klik Submit.

Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Setelah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

1. Untuk membuat metastore, jalankan perintah gcloud metastore services create berikut:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --instance-size=INSTANCE_SIZE \
     --scaling-factor=SCALING_FACTOR \
     --port=PORT \
     --tier=TIER \
     --endpoint-protocol=ENDPOINT_PROTOCOL \
     --database-type=DATABASE_TYPE \
     --hive-metastore-version=HIVE_METASTORE_VERSION \
     --data-catalog-sync=DATA_CATALOG_SYNC \
     --release-channel=RELEASE_CHANNEL \
     --hive-metastore-configs=METADATA_OVERRIDE \
     --labels=LABELS \
     --auxiliary-versions=AUXILIARY_VERSION \
     --network=NETWORK \
     --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
     --kerberos-principal=KERBEROS_PRINCIPAL \
     --krb5-config=KRB5_CONFIG \
     --keytab=CLOUD_SECRET \
     --encryption-kms-key=KMS_KEY

   Ganti kode berikut:

   Setelan layanan:

   • SERVICE: Nama layanan Dataproc Metastore baru Anda.
   • LOCATION: Region Google Cloud tempat Anda ingin membuat Dataproc Metastore. Anda juga dapat menyetel lokasi default.
   • PORT: Opsional: Port TCP yang digunakan endpoint Thrift Anda. Jika tidak disetel, port 9083 akan digunakan. Jika Anda memilih untuk menggunakan endpoint gRPC, nomor port Anda akan otomatis berubah menjadi 443.
   • TIER: Opsional untuk Dataproc Metastore 1: Tingkat layanan dari layanan baru Anda. Jika tidak disetel, nilai Developer akan digunakan.
   • ENDPOINT_PROTOCOL: Opsional: Pilih protokol endpoint untuk layanan Anda.
   • DATABASE_TYPE: Opsional: Pilih jenis database untuk layanan Anda. Untuk mengetahui informasi selengkapnya tentang cara memilih jenis database tertentu, lihat Jenis database.
   • DATA_CATALOG_SYNC: Opsional: Aktifkan fitur sinkronisasi Data Catalog.
   • HIVE_METASTORE_VERSION: Opsional: Versi metastore Hive yang ingin Anda gunakan dengan layanan Anda. Contoh, 3.1.2. Jika tidak disetel, versi Hive terbaru akan digunakan.
   • RELEASE_CHANNEL: Opsional: Saluran rilis layanan. Jika tidak disetel, nilai Stable akan digunakan.
   • METADATA_OVERRIDE: Opsional: Konfigurasi penggantian metastore Hive yang ingin Anda terapkan ke layanan Anda. Gunakan daftar yang dipisahkan koma dalam format berikut k1=v1,k2=v2,k3=v3.
   • LABELS: Opsional: key-value pair untuk menambahkan metadata tambahan ke layanan Anda. Gunakan daftar yang dipisahkan koma dalam format berikut k1=v1,k2=v2,k3=v3. Dataproc Metastore
   • AUXILIARY_VERSION: Opsional: Aktifkan versi tambahan. Untuk mengetahui informasi selengkapnya, lihat Versi tambahan.

   Setelan penskalaan:

   • INSTANCE_SIZE: Opsional untuk Dataproc Metastore 2: ukuran instance Dataproc Metastore multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan tentukan nilai untuk SCALING_FACTOR.
   • SCALING_FACTOR: Opsional untuk Dataproc Metastore 2: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE

   Setelan jaringan:

   • NETWORK: Nama jaringan VPC yang Anda hubungkan ke layanan Anda. Jika tidak disetel, nilai default akan digunakan.

     Jika Anda menggunakan jaringan VPC yang termasuk dalam project yang berbeda dengan layanan Anda, Anda harus memberikan seluruh nama resource relatif. Misalnya, projects/HOST_PROJECT/global/networks/NETWORK_ID.

   • SUBNET1, SUBNET2: Opsional: Daftar subnetwork yang dapat mengakses layanan Anda. Anda dapat menggunakan ID, URL yang sepenuhnya memenuhi syarat, atau nama relatif subnetwork. Anda dapat menentukan hingga 5 subnetwork.

   Setelan Kerberos:

   • KERBEROS_PRINCIPAL: Opsional: Principal Kerberos yang ada di keytab dan KDC. Principal umum berbentuk "primary/instance@REALM", tetapi tidak ada format yang tepat.
   • KRB5_CONFIG: Opsional: File krb5.config menentukan KDC dan informasi realm Kerberos, yang mencakup lokasi KDC dan default untuk realm dan aplikasi Kerberos.
   • CLOUD_SECRET: Opsional: Nama resource relatif dari versi secret Secret Manager.
   • KMS_KEY: Opsional: Merujuk ke ID resource utama.

2. Pastikan pembuatan berhasil.

REST

Ikuti petunjuk API untuk membuat layanan dengan menggunakan APIs Explorer.

Konsol

1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

   Membuka Dataproc Metastore

2. Di menu navigasi, klik +Buat.

3. Di Metastore config overrides, masukkan nilai berikut:

   • Kunci: hive.metastore.warehouse.dir.
   • Nilai: Lokasi Cloud Storage dari direktori gudang Anda. Contoh: gs://my-bucket/path/to/location.

4. Konfigurasi opsi layanan yang tersisa sesuai kebutuhan, atau gunakan default yang disediakan.

5. Klik Kirim.

   Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil dibuat.

gcloud CLI

1. Untuk membuat layanan Dataproc Metastore dengan penggantian Hive, jalankan perintah gcloud metastore services create berikut:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
   

   Ganti kode berikut:

   • SERVICE: Nama layanan Dataproc Metastore baru Anda.
   • LOCATION: Region Google Cloud tempat Anda ingin membuat Dataproc Metastore. Anda juga dapat menyetel lokasi default.
   • CUSTOMER_DIR: Lokasi Cloud Storage dari direktori gudang data Anda. Contoh: gs://my-bucket/path/to/location.

2. Pastikan pembuatan berhasil.

Konsol

1. Di konsol Google Cloud , buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Buat.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Harga dan Kapasitas, pilih Enterprise - Single region

5. Di bagian Instance Size, klik Enable autoscaling.

6. Di bagian Ukuran Instance, gunakan penggeser untuk memilih ukuran instance minimum dan maksimum.

7. Untuk membuat dan memulai layanan, klik Submit.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Setelah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Ganti kode berikut:

• MIN_INSTANCES Opsional: Jumlah minimum instance yang akan digunakan dalam konfigurasi penskalaan otomatis. Jika nilai ini tidak ditentukan, nilai default 0.1 akan digunakan.
• MAX_INSTANCESOpsional: Jumlah maksimum instance yang akan digunakan dalam konfigurasi penskalaan otomatis Anda. Jika nilai ini tidak ditentukan, nilai default 6 akan digunakan.