Membuat sesi interaktif dan template sesi

gcloud

Anda dapat menggunakan gcloud beta dataproc sessions create command SESSION_NAME untuk membuat sesi interaktif Serverless untuk Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ganti atau tambahkan yang berikut:

• SESSION_ID: Wajib diisi. ID untuk sesi.

• REGION: Wajib diisi. Region yang tersedia untuk menemukan sesi Anda.

• --version: Opsional. Versi runtime Spark yang didukung. Jika Anda tidak menggunakan tanda ini untuk menentukan versi, versi runtime Spark default saat ini akan digunakan.

• --container-image: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.

• --property: Opsional. Satu atau beberapa properti Spark yang dipisahkan koma untuk sesi Anda.

• --service-account: Opsional. Akun layanan yang akan digunakan untuk sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• --subnet: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Serverless for Apache Spark akan menggunakan subnet default di region sesi. Serverless untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Google Cloud Konfigurasi jaringan Serverless untuk Apache Spark.

REST

Anda dapat menggunakan Dataproc sessions.create API untuk membuat sesi interaktif Serverless untuk Apache Spark.

Catatan:

• name: Wajib diisi. Nama sesi.

• version: Opsional. Salah satu versi runtime Spark yang didukung untuk sesi Anda. Jika Anda tidak menentukan versi, versi default saat ini akan digunakan.

• containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.

• properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.

• serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• subnetworkUri: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Serverless for Apache Spark akan menggunakan subnet default di region sesi. Serverless untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Google Cloud Konfigurasi jaringan Serverless untuk Apache Spark.

Konsol

Untuk membuat template sesi Serverless for Apache Spark menggunakan konsol Google Cloud , selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Session Templates.

   Buka Template Sesi

   1. Klik Buat.

2. Di halaman Create session template, masukkan atau konfirmasi setelan konfigurasi template. Perhatikan hal berikut:

   • ID runtime template: Wajib diisi. Terima ID (nama) default atau tentukan nama runtime template.
   • Wilayah: Wajib diisi. Terima wilayah default atau tentukan wilayah yang tersedia untuk sesi template.
   • Versi runtime: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Serverless untuk Apache Spark.
     • Persyaratan sesi notebook BigQuery Studio: Jika Anda membuat template untuk digunakan pada sesi Spark Connect notebook BigQuery Studio, template tersebut harus menggunakan Spark runtime versi 2.3+.
   • Jenis konfigurasi template: Wajib diisi. Pilih jenis. Jika Anda memilih Jupyter, tentukan Nama tampilan dan pilih jenis kernel Jupyter. Lihat juga Meluncurkan notebook Jupyter di Serverless untuk Apache Spark.
     • Persyaratan sesi notebook BigQuery Studio: Sesi notebook BigQuery Studio harus menentukan Spark Connect sebagai jenis konfigurasi template.
   • Akun layanan: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi yang dibuat dari template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
   • Image container kustom: Opsional. Image container kustom yang akan digunakan untuk sesi yang dibuat dengan template.
   • Properti: Opsional. Klik Tambahkan Item untuk setiap properti yang akan ditetapkan untuk sesi yang dibuat dengan template. Untuk mengetahui informasi selengkapnya, lihat Properti Spark.
   • Konfigurasi jaringan: * Wajib diisi. Pilih subnetwork di region sesi. Serverless for Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet yang ditentukan. Untuk persyaratan konektivitas jaringan, lihat Google Cloud Konfigurasi jaringan Serverless untuk Apache Spark.

3. Klik Submit untuk membuat template sesi.

gcloud

Anda tidak dapat membuat template sesi Serverless untuk Apache Spark secara langsung menggunakan gcloud CLI, tetapi Anda dapat menggunakan perintah gcloud beta dataproc session-templates import untuk mengimpor template sesi yang ada. Anda dapat mengedit template yang diimpor, lalu mengekspornya menggunakan perintah gcloud beta dataproc session-templates export.

REST

Anda dapat menggunakan Dataproc sessionTemplates.create API untuk membuat template sesi Serverless untuk Apache Spark.

Catatan:

• name: Wajib diisi. Nama template sesi.

• version: Opsional. Salah satu versi runtime Spark yang didukung untuk sesi yang dibuat dari template. Jika Anda tidak menentukan versi, versi default akan digunakan.

  • Persyaratan sesi notebook BigQuery Studio: Jika Anda membuat template untuk digunakan pada sesi Spark Connect notebook BigQuery Studio, template tersebut harus menggunakan Spark runtime versi 2.3+.

• sessionConfig: Tentukan jupyter_session atau spark_connect_session. Jika Anda menentukan jupyter_session, tentukan juga JupyterConfig.display_name dan JupyterConfig.kernel. Lihat juga Meluncurkan notebook Jupyter di Serverless untuk Apache Spark.

  • Persyaratan sesi notebook BigQuery Studio: Sesi notebook BigQuery Studio harus menentukan Spark Connect sebagai jenis konfigurasi template.

• containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi yang dibuat dengan template.

• properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.

• serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi yang dibuat dari template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• subnetworkUri: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Serverless for Apache Spark akan menggunakan subnet default di region sesi. Serverless untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Google Cloud Konfigurasi jaringan Serverless untuk Apache Spark.