Serverless untuk Apache Spark memiliki batas kuota API yang diberlakukan di tingkat project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).
Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Serverless for Apache Spark API per project spesifik dan default yang diberlakukan.
| Jenis Kuota | Batas | Metode atau Deskripsi API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (kuota pembatalan operasi batch sama dengan kuota pembatalan operasi cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Batas jumlah total operasi aktif serentak dari semua jenis dalam sebuah project di suatu region. |
Kuota Google Cloud lainnya
Batch Serverless for Apache Spark menggunakan produk Google Cloud lain. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Serverless untuk Apache Spark. Beberapa layanan diwajibkan menggunakan Serverless for Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat digunakan dengan Serverless untuk Apache Spark secara opsional.
Layanan wajib
Layanan berikut, yang memberlakukan batas kuota, diperlukan untuk membuat batch Serverless for Apache Spark.
Compute Engine
Batch serverless untuk Apache Spark menggunakan kuota resource Compute Engine berikut:
| Tingkat Compute | Kuota |
|---|---|
| Standar | CPUS |
| Premium | N2_CPUS |
| Tingkat Disk | Kuota |
| Standar | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY dengan Tipe VM N2 |
| Akselerator GPU | Kuota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku untuk batch yang Anda buat. Misalnya, untuk menjalankan batch Spark dengan 4 core driver
(spark.driver.cores=4) dan dua eksekutor dengan masing-masing 4 core (spark.executor.cores=4),
Anda akan menggunakan 12 CPU virtual (4 * 3).
Penggunaan batch ini akan dihitung terhadap batas kuota regional 24 CPU virtual.
Resource batch default
Saat Anda membuat batch dengan setelan default, resource Compute Engine berikut akan digunakan:
| Item | Resource yang digunakan |
|---|---|
| CPU virtual | 12 |
| Instance Mesin Virtual (VM) | 3 |
| Persistent disk | 1200 GiB |
Cloud Logging
Serverless untuk Apache Spark menyimpan output dan log batch di Cloud Logging. Kuota Cloud Logging berlaku untuk batch Serverless for Apache Spark Anda.
Layanan opsional
Layanan berikut, yang memiliki batas kuota, dapat digunakan secara opsional dengan batch Serverless untuk Apache Spark.
BigQuery
Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.
Bigtable
Saat membaca atau menulis data ke Bigtable, kuota Bigtable akan berlaku.
Mengidentifikasi workload dengan batasan kuota atau alamat IP
Anda dapat menggunakan kueri Cloud Logging berikut untuk mengidentifikasi workload Serverless for Apache Spark yang mencapai kuota Anda atau tidak dapat menskalakan karena kehabisan alamat IP.
Kueri kuota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Kueri kehabisan alamat IP:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"