Halaman ini mencantumkan batas kuota Dataproc API, yang diberlakukan pada level project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).
Untuk mengetahui strategi pengoptimalan cluster yang dapat membantu menghindari masalah kuota dan ketersediaan resource, lihat Strategi ketersediaan resource dan zona.
Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Dataproc API per project spesifik dan default yang diberlakukan.
| Jenis Kuota | Batas | Metode API yang Berlaku |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | Semua operasi lain (terutama operasi Get) |
Tabel berikut mencantumkan batas tambahan pada total operasi dan tugas aktif di tingkat project dan region.
| Jenis kuota | Batas | Deskripsi |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Batas jumlah total operasi aktif serentak dari semua jenis dalam satu project di satu database regional |
| ActiveJobsPerProjectPerRegion | 5000 | Batas jumlah total tugas aktif dalam status NON_TERMINAL di satu project dalam satu database regional |
Kuota Google Cloud lainnya
Cluster Dataproc menggunakan produk Google Cloud lainnya. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Dataproc. Beberapa layanan diwajibkan menggunakan Dataproc, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat menggunakan Dataproc secara opsional.
Layanan cluster yang diperlukan
Layanan berikut, yang memberlakukan batas kuota, diperlukan untuk membuat kluster Dataproc.
Compute Engine
Cluster Dataproc menggunakan mesin virtual Compute Engine. Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku untuk
kluster yang Anda buat. Misalnya, pembuatan kluster dengan satu node n1-standard-4 -m dan dua node n1-standard-4 -w menggunakan 12 CPU virtual
(4 * 3). Penggunaan kluster ini dihitung terhadap batas kuota regional 24
CPU virtual.
Resource cluster default
Saat Anda membuat cluster Dataproc dengan setelan default, resource Compute Engine berikut akan digunakan.
| Resource | Penggunaan |
|---|---|
| CPU Virtual | 12 |
| Instance Mesin Virtual (VM) | 3 |
| Persistent disk | 1.500 GB |
Cloud Logging
Dataproc menyimpan output driver dan log cluster di Cloud Logging. Kuota Logging berlaku untuk cluster Dataproc.
Layanan cluster opsional
Anda dapat secara opsional menggunakan layanan berikut, yang memiliki batas kuota, dengan kluster Dataproc.
BigQuery
Saat membaca atau menulis data ke BigQuery, kuota BigQuery akan berlaku.
Bigtable
Saat membaca atau menulis data ke Bigtable, kuota Bigtable akan berlaku.
Ketersediaan resource dan strategi zona
Untuk mengoptimalkan ketersediaan resource cluster dan memitigasi potensi kesalahan kehabisan stok, pertimbangkan strategi berikut:
Penempatan Zona Otomatis: Saat membuat cluster, gunakan penempatan zona otomatis. Hal ini memungkinkan Dataproc memilih zona yang optimal dalam region yang Anda tentukan, sehingga meningkatkan peluang keberhasilan pembuatan cluster.
Kuota regional: Pastikan kuota Compute Engine regional Anda cukup karena kuota dapat habis meskipun dengan penempatan zona otomatis jika total kapasitas regional tidak cukup untuk permintaan Anda.
Fleksibilitas jenis mesin: Jika Anda mengalami kehabisan stok yang terus-menerus dengan jenis mesin tertentu, gunakan jenis mesin lain yang lebih mudah tersedia untuk cluster Anda.