Package google.cloud.dataproc.v1

Indeks

BatchController

BatchController menyediakan metode untuk mengelola beban kerja batch.

CreateBatch

rpc CreateBatch(CreateBatchRequest) returns (Operation)

Membuat workload batch yang dieksekusi secara asinkron.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
DeleteBatch

rpc DeleteBatch(DeleteBatchRequest) returns (Empty)

Menghapus resource workload batch. Jika batch tidak berada dalam CANCELLED, SUCCEEDED, atau FAILED State, operasi penghapusan akan gagal dan respons akan menampilkan FAILED_PRECONDITION.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
GetBatch

rpc GetBatch(GetBatchRequest) returns (Batch)

Mendapatkan representasi resource workload batch.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
ListBatches

rpc ListBatches(ListBatchesRequest) returns (ListBatchesResponse)

Mencantumkan workload batch.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.

SessionController

SessionController menyediakan metode untuk mengelola sesi interaktif.

CreateSession

rpc CreateSession(CreateSessionRequest) returns (Operation)

Buat sesi interaktif secara asinkron.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
DeleteSession

rpc DeleteSession(DeleteSessionRequest) returns (Operation)

Menghapus resource sesi interaktif. Jika tidak dalam status terminal, sesi akan dihentikan, lalu dihapus.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
GetSession

rpc GetSession(GetSessionRequest) returns (Session)

Mendapatkan representasi resource untuk sesi interaktif.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
ListSessions

rpc ListSessions(ListSessionsRequest) returns (ListSessionsResponse)

Mencantumkan sesi interaktif.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
TerminateSession

rpc TerminateSession(TerminateSessionRequest) returns (Operation)

Menghentikan sesi interaktif.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.

SessionTemplateController

SessionTemplateController menyediakan metode untuk mengelola template sesi.

CreateSessionTemplate

rpc CreateSessionTemplate(CreateSessionTemplateRequest) returns (SessionTemplate)

Membuat template sesi secara sinkron.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
DeleteSessionTemplate

rpc DeleteSessionTemplate(DeleteSessionTemplateRequest) returns (Empty)

Menghapus template sesi.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
GetSessionTemplate

rpc GetSessionTemplate(GetSessionTemplateRequest) returns (SessionTemplate)

Mendapatkan representasi resource untuk template sesi.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
ListSessionTemplates

rpc ListSessionTemplates(ListSessionTemplatesRequest) returns (ListSessionTemplatesResponse)

Mencantumkan template sesi.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.
UpdateSessionTemplate

rpc UpdateSessionTemplate(UpdateSessionTemplateRequest) returns (SessionTemplate)

Memperbarui template sesi secara sinkron.

Cakupan otorisasi

Memerlukan cakupan OAuth berikut:

  • https://www.googleapis.com/auth/cloud-platform

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Autentikasi.

AnalyzeOperationMetadata

Metadata yang menjelaskan operasi Analyze.

Kolom
analyzed_workload_name

string

Hanya output. nama beban kerja yang sedang dianalisis.
analyzed_workload_type

WorkloadType

Hanya output. Jenis beban kerja yang sedang dianalisis.
analyzed_workload_uuid

string

Hanya output. ID unik beban kerja yang biasanya dihasilkan oleh bidang kontrol. Misalnya, uuid batch.
create_time

Timestamp

Hanya output. Waktu saat operasi dibuat.
done_time

Timestamp

Hanya output. Waktu saat operasi selesai.
description

string

Hanya output. Deskripsi singkat operasi.
labels

map<string, string>

Hanya output. Label yang terkait dengan operasi.
warnings[]

string

Hanya output. Peringatan yang ditemukan selama eksekusi operasi.

WorkloadType

Jenis beban kerja

Enum
WORKLOAD_TYPE_UNSPECIFIED Opsi tidak ditentukan
BATCH Tugas batch serverless

AutotuningConfig

Konfigurasi penyesuaian otomatis workload.

Kolom
scenarios[]

Scenario

Opsional. Skenario yang penyesuaiannya diterapkan.

Skenario

Skenario mewakili sasaran tertentu yang akan dicoba dicapai oleh penyesuaian otomatis dengan mengubah beban kerja.

Enum
SCENARIO_UNSPECIFIED Nilai default.
SCALING Rekomendasi penskalaan seperti initialExecutors.
BROADCAST_HASH_JOIN Menambahkan petunjuk untuk siaran hubungan potensial.
MEMORY Pengelolaan memori untuk workload.

Batch

Representasi beban kerja batch di layanan.

Kolom
name

string

Hanya output. Nama resource batch.
uuid

string

Hanya output. UUID batch (ID Unik Universal). Layanan menghasilkan nilai ini saat membuat batch.
create_time

Timestamp

Hanya output. Waktu saat batch dibuat.
runtime_info

RuntimeInfo

Hanya output. Informasi runtime tentang eksekusi batch.
state

State

Hanya output. Status batch.
state_message

string

Hanya output. Detail status batch, seperti deskripsi kegagalan jika statusnya FAILED.
state_time

Timestamp

Hanya output. Waktu saat batch memasuki status saat ini.
creator

string

Hanya output. Alamat email pengguna yang membuat batch.
labels

map<string, string>

Opsional. Label yang akan dikaitkan dengan batch ini. Kunci label harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Nilai label dapat kosong, tetapi jika ada, harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Tidak lebih dari 32 label yang dapat dikaitkan dengan batch.
runtime_config

RuntimeConfig

Opsional. Konfigurasi runtime untuk eksekusi batch.
environment_config

EnvironmentConfig

Opsional. Konfigurasi lingkungan untuk eksekusi batch.
operation

string

Hanya output. Nama resource operasi yang terkait dengan batch ini.
state_history[]

StateHistory

Hanya output. Informasi status historis untuk batch.
Kolom union batch_config. Bagian konfigurasi batch khusus aplikasi/framework. batch_config hanya ada berupa salah satu diantara berikut:
pyspark_batch

PySparkBatch

Opsional. Konfigurasi batch PySpark.
spark_batch

SparkBatch

Opsional. Konfigurasi batch Spark.
spark_r_batch

SparkRBatch

Opsional. Konfigurasi batch SparkR.
spark_sql_batch

SparkSqlBatch

Opsional. Konfigurasi batch SparkSql.

Negara bagian/Provinsi

Status batch.

Enum
STATE_UNSPECIFIED Status batch tidak diketahui.
PENDING Batch dibuat sebelum dijalankan.
RUNNING Batch sedang berjalan.
CANCELLING Batch dibatalkan.
CANCELLED Pembatalan batch berhasil.
SUCCEEDED Batch berhasil diselesaikan.
FAILED Batch tidak lagi berjalan karena error.

StateHistory

Informasi status historis.

Kolom
state

State

Hanya output. Status batch pada titik ini dalam histori.
state_message

string

Hanya output. Detail tentang status pada titik ini dalam histori.
state_start_time

Timestamp

Hanya output. Waktu saat batch memasuki status historis.

BatchOperationMetadata

Metadata yang menjelaskan operasi Batch.

Kolom
batch

string

Nama batch untuk operasi.
batch_uuid

string

UUID batch untuk operasi.
create_time

Timestamp

Waktu saat operasi dibuat.
done_time

Timestamp

Waktu saat operasi selesai.
operation_type

BatchOperationType

Jenis operasi.
description

string

Deskripsi singkat operasi.
labels

map<string, string>

Label yang terkait dengan operasi.
warnings[]

string

Peringatan yang ditemukan selama eksekusi operasi.

BatchOperationType

Jenis operasi untuk resource Batch

Enum
BATCH_OPERATION_TYPE_UNSPECIFIED Jenis operasi batch tidak diketahui.
BATCH Jenis operasi batch.

CreateBatchRequest

Permintaan untuk membuat beban kerja batch.

Kolom
parent

string

Wajib. Resource induk tempat batch ini akan dibuat.

Otorisasi memerlukan izin IAM berikut pada resource parent yang ditentukan:

  • dataproc.batches.create
batch

Batch

Wajib. Batch yang akan dibuat.
batch_id

string

Opsional. ID yang akan digunakan untuk batch, yang akan menjadi komponen akhir dari nama resource batch.

Nilai ini harus berisi 4-63 karakter. Karakter yang valid adalah /[a-z][0-9]-/.
request_id

string

Opsional. ID unik yang digunakan untuk mengidentifikasi permintaan. Jika layanan menerima dua CreateBatchRequest dengan request_id yang sama, permintaan kedua akan diabaikan dan Operasi yang sesuai dengan Batch pertama yang dibuat dan disimpan di backend akan ditampilkan.

Rekomendasi: Tetapkan nilai ini ke UUID.

Nilai hanya boleh berisi huruf (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-). Panjang maksimalnya adalah 40 karakter.

CreateSessionRequest

Permintaan untuk membuat sesi.

Kolom
parent

string

Wajib. Resource induk tempat sesi ini akan dibuat.

Otorisasi memerlukan izin IAM berikut pada resource parent yang ditentukan:

  • dataproc.sessions.create
session

Session

Wajib. Sesi interaktif yang akan dibuat.
session_id

string

Wajib. ID yang akan digunakan untuk sesi, yang menjadi komponen akhir dari nama resource sesi.

Nilai ini harus berisi 4-63 karakter. Karakter yang valid adalah /[a-z][0-9]-/.
request_id

string

Opsional. ID unik yang digunakan untuk mengidentifikasi permintaan. Jika layanan menerima dua CreateSessionRequests dengan ID yang sama, permintaan kedua akan diabaikan, dan Session pertama akan dibuat dan disimpan di backend.

Rekomendasi: Tetapkan nilai ini ke UUID.

Nilai hanya boleh berisi huruf (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-). Panjang maksimalnya adalah 40 karakter.

CreateSessionTemplateRequest

Permintaan untuk membuat template sesi.

Kolom
parent

string

Wajib. Resource induk tempat template sesi ini akan dibuat.

Otorisasi memerlukan izin IAM berikut pada resource parent yang ditentukan:

  • dataproc.sessionTemplates.create
session_template

SessionTemplate

Wajib. Template sesi yang akan dibuat.

DeleteBatchRequest

Permintaan untuk menghapus beban kerja batch.

Kolom
name

string

Wajib. Nama batch yang sepenuhnya memenuhi syarat untuk diambil dalam format "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID"

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.batches.delete

DeleteSessionRequest

Permintaan untuk menghapus sesi.

Kolom
name

string

Wajib. Nama resource sesi yang akan dihapus.

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.sessions.delete
request_id

string

Opsional. ID unik yang digunakan untuk mengidentifikasi permintaan. Jika layanan menerima dua DeleteSessionRequest dengan ID yang sama, permintaan kedua akan diabaikan.

Rekomendasi: Tetapkan nilai ini ke UUID.

Nilai hanya boleh berisi huruf (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-). Panjang maksimalnya adalah 40 karakter.

DeleteSessionTemplateRequest

Permintaan untuk menghapus template sesi.

Kolom
name

string

Wajib. Nama resource template sesi yang akan dihapus.

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.sessionTemplates.delete

DiagnoseClusterResults

Lokasi output diagnostik.

Kolom
output_uri

string

Hanya output. URI Cloud Storage dari output diagnostik. Laporan output adalah file teks biasa dengan ringkasan diagnostik yang dikumpulkan.

EnvironmentConfig

Konfigurasi lingkungan untuk workload.

Kolom
execution_config

ExecutionConfig

Opsional. Konfigurasi eksekusi untuk workload.
peripherals_config

PeripheralsConfig

Opsional. Konfigurasi periferal yang dapat diakses oleh beban kerja.

ExecutionConfig

Konfigurasi eksekusi untuk workload.

Kolom
service_account

string

Opsional. Akun layanan yang digunakan untuk menjalankan beban kerja.
network_tags[]

string

Opsional. Tag yang digunakan untuk kontrol traffic jaringan.
kms_key

string

Opsional. Kunci Cloud KMS yang akan digunakan untuk enkripsi.
idle_ttl

Duration

Opsional. Hanya berlaku untuk sesi. Durasi untuk mempertahankan sesi tetap aktif saat tidak ada aktivitas. Melebihi nilai minimum ini akan menyebabkan sesi dihentikan. Kolom ini tidak dapat ditetapkan pada workload batch. Nilai minimum adalah 10 menit; nilai maksimum adalah 14 hari (lihat representasi JSON Durasi). Jika tidak ditetapkan, setelan defaultnya adalah 1 jam. Jika ttl dan idle_ttl ditentukan untuk sesi interaktif, kondisi tersebut akan diperlakukan sebagai kondisi OR: beban kerja akan dihentikan saat tidak ada aktivitas selama idle_ttl atau saat ttl terlampaui, mana saja yang terjadi terlebih dahulu.
ttl

Duration

Opsional. Durasi setelah beban kerja dihentikan, yang ditentukan sebagai representasi JSON untuk Durasi. Jika beban kerja melebihi durasi ini, beban kerja akan dihentikan tanpa syarat tanpa menunggu pekerjaan yang sedang berlangsung selesai. Jika ttl tidak ditentukan untuk beban kerja batch, beban kerja akan diizinkan untuk berjalan hingga keluar secara alami (atau berjalan selamanya tanpa keluar). Jika ttl tidak ditentukan untuk sesi interaktif, nilai defaultnya adalah 24 jam. Jika ttl tidak ditentukan untuk batch yang menggunakan versi runtime 2.1+, nilai defaultnya adalah 4 jam. Nilai minimum adalah 10 menit; nilai maksimum adalah 14 hari. Jika ttl dan idle_ttl ditentukan (untuk sesi interaktif), kondisi tersebut akan diperlakukan sebagai kondisi OR: beban kerja akan dihentikan saat tidak ada aktivitas selama idle_ttl atau saat ttl terlampaui, mana saja yang terjadi terlebih dahulu.
staging_bucket

string

Opsional. Bucket Cloud Storage yang digunakan untuk melakukan staging dependensi beban kerja, file konfigurasi, serta menyimpan output beban kerja dan data efemeral lainnya, seperti file histori Spark. Jika Anda tidak menentukan bucket staging, Cloud Dataproc akan menentukan lokasi Cloud Storage sesuai dengan region tempat beban kerja Anda berjalan, lalu membuat dan mengelola bucket sementara dan staging per lokasi tingkat project. Kolom ini memerlukan nama bucket Cloud Storage, bukan URI gs://... ke bucket Cloud Storage.
Kolom union network. Konfigurasi jaringan untuk eksekusi beban kerja. network hanya ada berupa salah satu diantara berikut:
network_uri

string

Opsional. URI jaringan untuk menghubungkan beban kerja.
subnetwork_uri

string

Opsional. URI subjaringan untuk menghubungkan beban kerja.

GetBatchRequest

Permintaan untuk mendapatkan representasi resource untuk workload batch.

Kolom
name

string

Wajib. Nama batch yang sepenuhnya memenuhi syarat untuk diambil dalam format "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID"

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.batches.get

GetSessionRequest

Permintaan untuk mendapatkan representasi resource untuk sesi.

Kolom
name

string

Wajib. Nama sesi yang akan diambil.

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.sessions.get

GetSessionTemplateRequest

Permintaan untuk mendapatkan representasi resource untuk template sesi.

Kolom
name

string

Wajib. Nama template sesi yang akan diambil.

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.sessionTemplates.get

JupyterConfig

Konfigurasi Jupyter untuk sesi interaktif.

Kolom
kernel

Kernel

Opsional. Kernel
display_name

string

Opsional. Nama tampilan, yang ditampilkan di kartu kernelspec Jupyter.

Kernel

Jenis kernel Jupyter.

Enum
KERNEL_UNSPECIFIED Kernel tidak diketahui.
PYTHON Kernel Python.
SCALA Kernel Scala.

ListBatchesRequest

Permintaan untuk mencantumkan beban kerja batch dalam project.

Kolom
parent

string

Wajib. Induk, yang memiliki kumpulan batch ini.

Otorisasi memerlukan izin IAM berikut pada resource parent yang ditentukan:

  • dataproc.batches.list
page_size

int32

Opsional. Jumlah maksimum batch yang akan ditampilkan dalam setiap respons. Layanan mungkin menampilkan lebih sedikit dari nilai ini. Ukuran halaman default adalah 20; ukuran halaman maksimum adalah 1.000.
page_token

string

Opsional. Token halaman yang diterima dari panggilan ListBatches sebelumnya. Berikan token ini untuk mengambil halaman berikutnya.
filter

string

Opsional. Filter untuk batch yang akan ditampilkan dalam respons.

Filter adalah ekspresi logis yang membatasi nilai berbagai kolom di setiap resource batch. Filter peka huruf besar/kecil, dan dapat berisi beberapa klausa yang digabungkan dengan operator logika (AND/OR). Kolom yang didukung adalah batch_id, batch_uuid, state, create_time, dan labels.

Misalnya, filter state = RUNNING and create_time < "2023-01-01T00:00:00Z" untuk batch dalam status RUNNING yang dibuat sebelum 01-01-2023. state = RUNNING and labels.environment=production memfilter batch dalam status BERJALAN yang memiliki label lingkungan produksi.

Lihat https://google.aip.dev/assets/misc/ebnf-filtering.txt untuk deskripsi mendetail tentang sintaksis filter dan daftar perbandingan yang didukung.
order_by

string

Opsional. Kolom yang akan digunakan untuk mengurutkan daftar batch.

Saat ini, satu-satunya urutan pengurutan yang didukung adalah tidak ditentukan (kosong) dan create_time desc untuk mengurutkan menurut batch yang dibuat baru-baru ini terlebih dahulu.

Lihat https://google.aip.dev/132#ordering untuk mengetahui detail selengkapnya.

ListBatchesResponse

Daftar workload batch.

Kolom
batches[]

Batch

Hanya output. Batch dari koleksi yang ditentukan.
next_page_token

string

Token yang dapat dikirim sebagai page_token untuk mengambil halaman berikutnya. Jika kolom ini dihilangkan, tidak akan ada halaman berikutnya.
unreachable[]

string

Hanya output. Daftar Batch yang tidak dapat disertakan dalam respons. Mencoba mendapatkan salah satu resource ini dapat menunjukkan alasan resource tersebut tidak disertakan dalam respons daftar.

ListSessionTemplatesRequest

Permintaan untuk mencantumkan template sesi dalam sebuah project.

Kolom
parent

string

Wajib. Induk yang memiliki koleksi template sesi ini.

Otorisasi memerlukan izin IAM berikut pada resource parent yang ditentukan:

  • dataproc.sessionTemplates.list
page_size

int32

Opsional. Jumlah maksimum sesi yang akan ditampilkan dalam setiap respons. Layanan mungkin menampilkan lebih sedikit dari nilai ini.
page_token

string

Opsional. Token halaman yang diterima dari panggilan ListSessions sebelumnya. Berikan token ini untuk mengambil halaman berikutnya.
filter

string

Opsional. Filter untuk template sesi yang akan ditampilkan dalam respons. Filter peka huruf besar/kecil dan memiliki sintaksis berikut:

[field = value] AND [field [= value]] ...

ListSessionTemplatesResponse

Daftar template sesi.

Kolom
session_templates[]

SessionTemplate

Hanya output. Daftar template sesi
next_page_token

string

Token yang dapat dikirim sebagai page_token untuk mengambil halaman berikutnya. Jika kolom ini dihilangkan, tidak akan ada halaman berikutnya.

ListSessionsRequest

Permintaan untuk mencantumkan sesi dalam project.

Kolom
parent

string

Wajib. Induk, yang memiliki kumpulan sesi ini.

Otorisasi memerlukan izin IAM berikut pada resource parent yang ditentukan:

  • dataproc.sessions.list
page_size

int32

Opsional. Jumlah maksimum sesi yang akan ditampilkan dalam setiap respons. Layanan mungkin menampilkan lebih sedikit dari nilai ini.
page_token

string

Opsional. Token halaman yang diterima dari panggilan ListSessions sebelumnya. Berikan token ini untuk mengambil halaman berikutnya.
filter

string

Opsional. Filter untuk sesi yang akan ditampilkan dalam respons.

Filter adalah ekspresi logis yang membatasi nilai berbagai kolom di setiap resource sesi. Filter peka huruf besar/kecil, dan dapat berisi beberapa klausa yang digabungkan dengan operator logika (AND, OR). Kolom yang didukung adalah session_id, session_uuid, state, create_time, dan labels.

Contoh: state = ACTIVE and create_time < "2023-01-01T00:00:00Z" adalah filter untuk sesi dalam status AKTIF yang dibuat sebelum 01-01-2023. state = ACTIVE and labels.environment=production adalah filter untuk sesi dalam status AKTIF yang memiliki label lingkungan produksi.

Lihat https://google.aip.dev/assets/misc/ebnf-filtering.txt untuk mengetahui deskripsi mendetail tentang sintaksis filter dan daftar pembanding yang didukung.

ListSessionsResponse

Daftar sesi interaktif.

Kolom
sessions[]

Session

Hanya output. Sesi dari koleksi yang ditentukan.
next_page_token

string

Token yang dapat dikirim sebagai page_token untuk mengambil halaman berikutnya. Jika kolom ini dihilangkan, tidak akan ada halaman berikutnya.

PeripheralsConfig

Konfigurasi layanan tambahan untuk workload.

Kolom
metastore_service

string

Opsional. Nama resource layanan Dataproc Metastore yang ada.

Contoh:

  • projects/[project_id]/locations/[region]/services/[service_id]
spark_history_server_config

SparkHistoryServerConfig

Opsional. Konfigurasi Spark History Server untuk workload.

PyPiRepositoryConfig

Konfigurasi untuk repositori PyPi

Kolom
pypi_repository

string

Opsional. Alamat repositori PyPi

PySparkBatch

Konfigurasi untuk menjalankan beban kerja batch Apache PySpark.

Kolom
main_python_file_uri

string

Wajib. URI HCFS dari file Python utama yang akan digunakan sebagai driver Spark. Harus berupa file .py.
args[]

string

Opsional. Argumen yang akan diteruskan ke driver. Jangan sertakan argumen yang dapat ditetapkan sebagai properti batch, seperti --conf, karena dapat terjadi tabrakan yang menyebabkan pengiriman batch salah.
python_file_uris[]

string

Opsional. URI file HCFS dari file Python yang akan diteruskan ke framework PySpark. Jenis file yang didukung: .py, .egg, dan .zip.
jar_file_uris[]

string

Opsional. URI HCFS file jar yang akan ditambahkan ke classpath driver dan tugas Spark.
file_uris[]

string

Opsional. URI HCFS file yang akan ditempatkan di direktori kerja setiap eksekutor.
archive_uris[]

string

Opsional. URI HCFS arsip yang akan diekstrak ke direktori kerja setiap eksekutor. Jenis file yang didukung: .jar, .tar, .tar.gz, .tgz, dan .zip.

RepositoryConfig

Konfigurasi untuk repositori dependensi

Kolom
pypi_repository_config

PyPiRepositoryConfig

Opsional. Konfigurasi untuk repositori PyPi.

RuntimeConfig

Konfigurasi runtime untuk workload.

Kolom
version

string

Opsional. Versi runtime batch.
container_image

string

Opsional. Image container kustom opsional untuk lingkungan runtime tugas. Jika tidak ditentukan, image penampung default akan digunakan.
properties

map<string, string>

Opsional. Pemetaan nama properti ke nilai, yang digunakan untuk mengonfigurasi eksekusi beban kerja.
repository_config

RepositoryConfig

Opsional. Konfigurasi repositori dependensi.
autotuning_config

AutotuningConfig

Opsional. Konfigurasi penyesuaian otomatis workload.
cohort

string

Opsional. ID kelompok. Mengidentifikasi keluarga beban kerja yang memiliki bentuk yang sama, misalnya tugas ETL harian.

RuntimeInfo

Informasi runtime tentang eksekusi beban kerja.

Kolom
endpoints

map<string, string>

Hanya output. Peta endpoint akses jarak jauh (seperti antarmuka web dan API) ke URI-nya.
output_uri

string

Hanya output. URI yang mengarah ke lokasi stdout dan stderr workload.
diagnostic_output_uri

string

Hanya output. URI yang mengarah ke lokasi tarball diagnostik.
approximate_usage

UsageMetrics

Hanya output. Perkiraan penggunaan resource workload, yang dihitung saat workload selesai (lihat Harga Dataproc Serverless).

Catatan: Penghitungan metrik ini dapat berubah di masa mendatang, misalnya, untuk mencatat penggunaan resource workload kumulatif selama eksekusi workload (lihat catatan rilis Dataproc Serverless untuk pengumuman, perubahan, perbaikan, dan pengembangan Dataproc lainnya).
current_usage

UsageSnapshot

Hanya output. Ringkasan penggunaan resource workload saat ini.

Sesi

Representasi sesi.

Kolom
name

string

Wajib. Nama resource sesi.
uuid

string

Hanya output. UUID sesi (ID Unik Universal). Layanan menghasilkan nilai ini saat membuat sesi.
create_time

Timestamp

Hanya output. Waktu pembuatan sesi.
runtime_info

RuntimeInfo

Hanya output. Informasi runtime tentang eksekusi sesi.
state

State

Hanya output. Status sesi.
state_message

string

Hanya output. Detail status sesi, seperti deskripsi kegagalan jika statusnya FAILED.
state_time

Timestamp

Hanya output. Waktu saat sesi memasuki status saat ini.
creator

string

Hanya output. Alamat email pengguna yang membuat sesi.
labels

map<string, string>

Opsional. Label yang akan dikaitkan dengan sesi. Kunci label harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Nilai label dapat kosong, tetapi jika ada, harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Tidak lebih dari 32 label yang dapat dikaitkan dengan sesi.
runtime_config

RuntimeConfig

Opsional. Konfigurasi runtime untuk eksekusi sesi.
environment_config

EnvironmentConfig

Opsional. Konfigurasi lingkungan untuk eksekusi sesi.
user

string

Opsional. Alamat email pengguna yang memiliki sesi.
state_history[]

SessionStateHistory

Hanya output. Informasi status historis untuk sesi.
session_template

string

Opsional. Template sesi yang digunakan oleh sesi.

Hanya nama resource, termasuk project ID dan lokasi, yang valid.

Contoh: * https://www.googleapis.com/compute/v1/projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id] * projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id]

Template harus berada di project dan region Dataproc yang sama dengan sesi.
Kolom union session_config. Konfigurasi sesi. session_config hanya ada berupa salah satu diantara berikut:
jupyter_session

JupyterConfig

Opsional. Konfigurasi sesi Jupyter.
spark_connect_session

SparkConnectConfig

Opsional. Konfigurasi sesi Spark connect.

SessionStateHistory

Informasi status historis.

Kolom
state

State

Hanya output. Status sesi pada titik ini dalam histori sesi.
state_message

string

Hanya output. Detail tentang status pada tahap ini dalam histori sesi.
state_start_time

Timestamp

Hanya output. Waktu saat sesi memasuki status historis.

Negara bagian/Provinsi

Status sesi.

Enum
STATE_UNSPECIFIED Status sesi tidak diketahui.
CREATING Sesi dibuat sebelum dijalankan.
ACTIVE Sesi sedang berjalan.
TERMINATING Sesi akan dihentikan.
TERMINATED Sesi berhasil dihentikan.
FAILED Sesi tidak lagi berjalan karena terjadi error.

SessionOperationMetadata

Metadata yang menjelaskan operasi Sesi.

Kolom
session

string

Nama sesi untuk operasi.
session_uuid

string

UUID sesi untuk operasi.
create_time

Timestamp

Waktu saat operasi dibuat.
done_time

Timestamp

Waktu saat operasi selesai.
operation_type

SessionOperationType

Jenis operasi.
description

string

Deskripsi singkat operasi.
labels

map<string, string>

Label yang terkait dengan operasi.
warnings[]

string

Peringatan yang ditemukan selama eksekusi operasi.

SessionOperationType

Jenis operasi untuk resource Sesi

Enum
SESSION_OPERATION_TYPE_UNSPECIFIED Jenis operasi sesi tidak diketahui.
CREATE Membuat jenis operasi Sesi.
TERMINATE Jenis operasi Menghentikan Sesi.
DELETE Menghapus jenis operasi Sesi.

SessionTemplate

Representasi template sesi.

Kolom
name

string

Wajib. Nama resource template sesi.
description

string

Opsional. Deskripsi singkat template.
create_time

Timestamp

Hanya output. Waktu pembuatan template.
creator

string

Hanya output. Alamat email pengguna yang membuat template.
labels

map<string, string>

Opsional. Label yang akan dikaitkan dengan sesi yang dibuat menggunakan template ini. Kunci label harus berisi 1 hingga 63 karakter, dan harus sesuai dengan RFC 1035. Nilai label dapat kosong, tetapi jika ada, harus berisi 1 hingga 63 karakter dan sesuai dengan RFC 1035. Tidak lebih dari 32 label yang dapat dikaitkan dengan sesi.
runtime_config

RuntimeConfig

Opsional. Konfigurasi runtime untuk eksekusi sesi.
environment_config

EnvironmentConfig

Opsional. Konfigurasi lingkungan untuk eksekusi sesi.
update_time

Timestamp

Hanya output. Waktu template terakhir diperbarui.
uuid

string

Hanya output. UUID template sesi (ID Unik Universal). Layanan menghasilkan nilai ini saat membuat template sesi.
Kolom union session_config. Konfigurasi sesi. session_config hanya ada berupa salah satu diantara berikut:
jupyter_session

JupyterConfig

Opsional. Konfigurasi sesi Jupyter.
spark_connect_session

SparkConnectConfig

Opsional. Konfigurasi sesi Spark connect.

SparkBatch

Konfigurasi untuk menjalankan beban kerja batch Apache Spark.

Kolom
args[]

string

Opsional. Argumen yang akan diteruskan ke driver. Jangan sertakan argumen yang dapat ditetapkan sebagai properti batch, seperti --conf, karena dapat terjadi tabrakan yang menyebabkan pengiriman batch salah.
jar_file_uris[]

string

Opsional. URI HCFS file jar yang akan ditambahkan ke classpath driver dan tugas Spark.
file_uris[]

string

Opsional. URI HCFS file yang akan ditempatkan di direktori kerja setiap eksekutor.
archive_uris[]

string

Opsional. URI HCFS arsip yang akan diekstrak ke direktori kerja setiap eksekutor. Jenis file yang didukung: .jar, .tar, .tar.gz, .tgz, dan .zip.
Kolom union driver. Spesifikasi metode utama yang akan dipanggil untuk mendorong beban kerja Spark. Tentukan file jar yang berisi class utama atau nama class utama. Untuk meneruskan jar utama dan class utama dalam jar tersebut, tambahkan jar ke jar_file_uris, lalu tentukan nama class utama di main_class. driver hanya dapat berupa salah satu dari hal berikut:
main_jar_file_uri

string

Opsional. URI HCFS file jar yang berisi class utama.
main_class

string

Opsional. Nama class utama driver. File jar yang berisi class harus berada di classpath atau ditentukan di jar_file_uris.

SparkConnectConfig

Jenis ini tidak memiliki kolom.

Konfigurasi Spark Connect untuk sesi interaktif.

SparkHistoryServerConfig

Konfigurasi Server Histori Spark untuk workload.

Kolom
dataproc_cluster

string

Opsional. Nama resource Cluster Dataproc yang ada untuk bertindak sebagai Spark History Server untuk workload.

Contoh:

  • projects/[project_id]/regions/[region]/clusters/[cluster_name]

SparkRBatch

Konfigurasi untuk menjalankan beban kerja batch Apache SparkR.

Kolom
main_r_file_uri

string

Wajib. URI HCFS file R utama yang akan digunakan sebagai driver. Harus berupa file .R atau .r.
args[]

string

Opsional. Argumen yang akan diteruskan ke driver Spark. Jangan sertakan argumen yang dapat ditetapkan sebagai properti batch, seperti --conf, karena dapat terjadi tabrakan yang menyebabkan pengiriman batch salah.
file_uris[]

string

Opsional. URI HCFS file yang akan ditempatkan di direktori kerja setiap eksekutor.
archive_uris[]

string

Opsional. URI HCFS arsip yang akan diekstrak ke direktori kerja setiap eksekutor. Jenis file yang didukung: .jar, .tar, .tar.gz, .tgz, dan .zip.

SparkSqlBatch

Konfigurasi untuk menjalankan kueri Apache Spark SQL sebagai beban kerja batch.

Kolom
query_file_uri

string

Wajib. URI HCFS skrip yang berisi kueri Spark SQL yang akan dieksekusi.
query_variables

map<string, string>

Opsional. Pemetaan nama variabel kueri ke nilai (setara dengan perintah Spark SQL: SET name="value";).
jar_file_uris[]

string

Opsional. URI HCFS file jar yang akan ditambahkan ke CLASSPATH Spark.

TerminateSessionRequest

Permintaan untuk menghentikan sesi interaktif.

Kolom
name

string

Wajib. Nama resource sesi yang akan dihentikan.

Otorisasi memerlukan izin IAM berikut pada resource name yang ditentukan:

  • dataproc.sessions.terminate
request_id

string

Opsional. ID unik yang digunakan untuk mengidentifikasi permintaan. Jika layanan menerima dua TerminateSessionRequest dengan ID yang sama, permintaan kedua akan diabaikan.

Rekomendasi: Tetapkan nilai ini ke UUID.

Nilai hanya boleh berisi huruf (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-). Panjang maksimalnya adalah 40 karakter.

UpdateSessionTemplateRequest

Permintaan untuk memperbarui template sesi.

Kolom
session_template

SessionTemplate

Wajib. Template sesi yang diperbarui.

Otorisasi memerlukan izin IAM berikut pada resource sessionTemplate yang ditentukan:

  • dataproc.sessionTemplates.update

UsageMetrics

Metrik penggunaan mewakili perkiraan total resource yang digunakan oleh beban kerja.

Kolom
milli_dcu_seconds

int64

Opsional. Penggunaan DCU (Dataproc Compute Unit) dalam (milliDCU x seconds) (lihat Harga Dataproc Serverless).
shuffle_storage_gb_seconds

int64

Opsional. Penggunaan penyimpanan shuffle dalam (GB x seconds) (lihat Harga Dataproc Serverless).
milli_accelerator_seconds

int64

Opsional. Penggunaan akselerator dalam (milliAccelerator x seconds) (lihat Harga Dataproc Serverless).
accelerator_type

string

Opsional. Jenis akselerator yang digunakan, jika ada

UsageSnapshot

Snapshot penggunaan mewakili resource yang digunakan oleh beban kerja pada waktu yang ditentukan.

Kolom
milli_dcu

int64

Opsional. Unit Komputasi Dataproc (DCU) milidetik (seperseribu) (lihat Harga Dataproc Serverless).
shuffle_storage_gb

int64

Opsional. Penyimpanan Shuffle dalam gigabyte (GB). (lihat Harga Dataproc Serverless)
milli_dcu_premium

int64

Opsional. Unit Komputasi Dataproc (DCU) milidetik (seperseribu) dikenai biaya di tingkat premium (lihat Harga Dataproc Serverless).
shuffle_storage_gb_premium

int64

Opsional. Penyimpanan Shuffle dalam gigabyte (GB) yang dikenai biaya pada tingkat premium. (lihat Harga Dataproc Serverless)
milli_accelerator

int64

Opsional. Akselerator milidetik (seperseribu detik). (lihat Harga Dataproc Serverless)
accelerator_type

string

Opsional. Jenis akselerator yang digunakan, jika ada
snapshot_time

Timestamp

Opsional. Stempel waktu snapshot penggunaan.