Halaman ini menunjukkan cara membuat sesi interaktif dan template sesi Dataproc Serverless. Template sesi dapat digunakan untuk membuat beberapa sesi interaktif berdasarkan konfigurasi template sesi.
Membuat sesi interaktif
Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, atau Dataproc API untuk membuat sesi interaktif Dataproc Serverless.
Konsol
Untuk membuat sesi Dataproc Serverless menggunakan konsol Google Cloud , selesaikan langkah-langkah berikut:
Di Google Cloud console, buka halaman Interactive Sessions.
- Klik Buat.
Di halaman Add an interactive session (Preview), masukkan atau konfirmasi setelan konfigurasi sesi. Perhatikan hal berikut:
- Nama sesi interaktif: Wajib diisi. Terima nama default atau tentukan nama sesi.
- Region: Wajib diisi. Terima region default atau tentukan region yang tersedia untuk sesi Anda.
- Konfigurasi runtime: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Dataproc Serverless for Spark yang tersedia. Anda dapat menentukan image container kustom yang akan digunakan untuk sesi Anda.
- Properti: Opsional. Klik Tambahkan Item untuk setiap properti yang akan ditetapkan untuk sesi Anda. Untuk informasi selengkapnya, lihat Properti Spark.
- UI Spark (Pratinjau): Opsional. Anda dapat menggunakan UI Spark untuk mengumpulkan dan memantau detail eksekusi sesi.
- Akun layanan: Opsional. Akun layanan yang akan digunakan untuk sesi. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
- Konfigurasi jaringan: Wajib. Pilih subnetwork di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.
Klik Kirim untuk membuat sesi.
gcloud
Anda dapat menggunakan
gcloud beta dataproc sessions create command SESSION_NAME
untuk
membuat sesi interaktif Dataproc Serverless.
gcloud gcloud beta dataproc sessions create SESSION_ID \ --region=REGION \ optional flags ...
Ganti atau tambahkan hal berikut:
SESSION_ID: Wajib diisi. ID untuk sesi.
REGION: Wajib diisi. Region yang tersedia untuk menemukan sesi Anda.
--version
: Opsional. Versi runtime Spark yang didukung. Jika Anda tidak menggunakan flag ini untuk menentukan versi, versi runtime Spark default saat ini akan digunakan.--container-image
: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.--property
: Opsional. Satu atau beberapa properti Spark yang dipisahkan koma untuk sesi Anda.--service-account
: Opsional. Akun layanan yang akan digunakan untuk sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.--subnet
: Opsional. Nama subnet di region sesi. Jika Anda tidak menentukan subnet, Dataproc Serverless akan menggunakan subnetdefault
di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.
REST
Anda dapat menggunakan Dataproc
sessions.create
API untuk membuat sesi interaktif Dataproc Serverless.
Catatan:
name
: Wajib diisi. Nama sesi.version
: Opsional. Semua versi runtime Spark yang didukung untuk sesi Anda. Jika Anda tidak menentukan versi, versi default saat ini akan digunakan.containerImage
: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.properties
: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.serviceAccount
: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.subnetworkUri
: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Dataproc Serverless akan menggunakan subnetdefault
di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.
Membuat template sesi
Template sesi Dataproc Serverless menentukan setelan konfigurasi untuk membuat satu atau beberapa sesi interaktif Dataproc Serverless.
Anda dapat menggunakan konsol Google Cloud , gcloud CLI, atau Dataproc API untuk membuat template sesi Dataproc Serverless.
Konsol
Untuk membuat template sesi Dataproc Serverless menggunakan konsol Google Cloud , selesaikan langkah-langkah berikut:
Di Google Cloud console, buka halaman Session Templates.
- Klik Buat.
Di halaman Create session template, masukkan atau konfirmasi setelan konfigurasi template. Perhatikan hal berikut:
- ID runtime template: Wajib diisi. Terima ID (nama) default atau tentukan nama runtime template.
- Region: Wajib diisi. Terima region default atau tentukan region yang tersedia untuk sesi template.
- Versi runtime: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Dataproc Serverless for Spark.
- Jenis konfigurasi template: Wajib diisi. Pilih jenis. Jika
Anda memilih
Jupyter
, tentukan Nama tampilan dan pilih Jenis kernel Jupyter. Untuk mengetahui informasi selengkapnya, lihat Meluncurkan notebook Jupyter di Dataproc Serverless. - Akun layanan: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi dengan template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
- Image container kustom: Opsional. Image container kustom yang akan digunakan untuk sesi template Anda.
- Properti: Opsional. Klik Tambahkan Item untuk setiap properti yang akan ditetapkan untuk sesi template Anda. Untuk informasi selengkapnya, lihat Properti Spark.
- Konfigurasi jaringan: Wajib. Pilih subnetwork di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet yang ditentukan. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.
Klik Submit untuk membuat template sesi.
gcloud
Anda tidak dapat langsung membuat template sesi Dataproc Serverless menggunakan gcloud CLI, tetapi Anda dapat menggunakan perintah gcloud beta dataproc session-templates import
untuk mengimpor template sesi yang ada. Anda dapat mengedit template yang diimpor,
lalu mengekspornya menggunakan perintah gcloud beta dataproc session-templates export
.
REST
Anda dapat menggunakan Dataproc
sessionTemplates.create
API untuk membuat template sesi Dataproc Serverless.
Catatan:
name
: Wajib diisi. Nama template sesi.version
: Opsional. Semua versi runtime Spark yang didukung untuk sesi template Anda. Jika Anda tidak menentukan versi, versi default akan digunakan.containerImage
: Opsional. Image container kustom yang akan digunakan untuk sesi template Anda.properties
: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.serviceAccount
: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi dengan template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.subnetworkUri
: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Dataproc Serverless akan menggunakan subnetdefault
di region sesi. Dataproc Serverless mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Dataproc Serverless untuk konfigurasi jaringan Spark.