Dataproc 配額

本頁面列出 Dataproc API 配額限制,這些限制會在專案和區域層級強制執行。這個配額每六十秒 (每分鐘) 會重設一次。

下表以專案為單位列出確切的 Dataproc 預設 API 配額類型、配額限制,以及適用這些類型和限制的方法。

配額類型 上限 適用的 API 方法
AutoscalingOperationRequestsPerMinutePerProjectPerRegion 400 CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CreateCluster、DeleteCluster、UpdateCluster、StopCluster、StartCluster、DiagnoseCluster、RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion 600 CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion 7500 GetJob
JobOperationRequestsPerMinutePerProjectPerRegion 400 SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion 400 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion 7500 所有其他作業 (以 Get 作業為主)

下表列出專案和區域層級的有效作業和工作總數額外限制。

配額類型 限制 說明
ActiveOperationsPerProjectPerRegion 5000 單一專案中,單一區域資料庫內所有類型並行有效作業的總數上限
ActiveJobsPerProjectPerRegion 5000 單一區域資料庫中,單一專案處於 NON_TERMINAL 狀態的有效工作總數上限

其他 Google Cloud 配額

Dataproc 叢集會運用其他 Google Cloud 產品,這些產品都有專案層級配額,其中也包括適用於 Dataproc 用量的配額。使用 Dataproc 時,您必須搭配使用某些服務,例如 Compute EngineCloud Storage,但您可以自行選擇是否要將 BigQueryBigtable 等其他服務與 Dataproc 搭配使用。

必要服務

系統在建立 Dataproc 叢集時會自動採用下列必要服務,這些服務有一定的配額限制。

Compute Engine

Dataproc 叢集會使用 Compute Engine 虛擬機器。Compute Engine 配額分為地區性和全球性配額,且配額限制會套用至您建立的叢集。舉例來說,如要建立有一個 n1-standard-4 主要節點和兩個 n1-standard-4 工作站節點的叢集,您必須用到 12 個虛擬 CPU (4 * 3)。這個叢集使用的配額會計入 24 個虛擬 CPU 的地區性配額限制。

預設叢集

以預設設定建立 Dataproc 叢集時,會使用到下列 Compute Engine 資源。

項目 使用的資源
虛擬 CPU 數量 12
虛擬機器 (VM) 執行個體數量 3
永久磁碟 1500 GB

Cloud Logging

Dataproc 會將驅動程式輸出內容和叢集記錄檔儲存在 Cloud Logging 中。Cloud Logging 配額會套用至您的 Cloud Dataproc 叢集。

選用服務

下列服務有配額限制,您可以自行選擇是否要將這些服務和 Dataproc 叢集搭配使用。

BigQuery

讀取 BigQuery 資料或將資料寫入 BigQuery 時,您會受到 BigQuery 配額的限制。

Bigtable

讀取 Bigtable 資料或將資料寫入 Bigtable 時,會有 Bigtable 配額的限制。