本頁面列出 Dataproc API 配額限制,這些限制會在專案和區域層級強制執行。這個配額每六十秒 (每分鐘) 會重設一次。
下表以專案為單位列出確切的 Dataproc 預設 API 配額類型、配額限制,以及適用這些類型和限制的方法。
配額類型 | 上限 | 適用的 API 方法 |
---|---|---|
AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy |
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster、DeleteCluster、UpdateCluster、StopCluster、StartCluster、DiagnoseCluster、RepairCluster |
NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup |
GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob、UpdateJob、CancelJob、DeleteJob |
WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate |
DefaultRequestsPerMinutePerProjectPerRegion | 7500 | 所有其他作業 (以 Get 作業為主) |
下表列出專案和區域層級的有效作業和工作總數額外限制。
配額類型 | 限制 | 說明 |
---|---|---|
ActiveOperationsPerProjectPerRegion | 5000 | 單一專案中,單一區域資料庫內所有類型並行有效作業的總數上限 |
ActiveJobsPerProjectPerRegion | 5000 | 單一區域資料庫中,單一專案處於 NON_TERMINAL 狀態的有效工作總數上限 |
其他 Google Cloud 配額
Dataproc 叢集會運用其他 Google Cloud 產品,這些產品都有專案層級配額,其中也包括適用於 Dataproc 用量的配額。使用 Dataproc 時,您必須搭配使用某些服務,例如 Compute Engine 和 Cloud Storage,但您可以自行選擇是否要將 BigQuery 和 Bigtable 等其他服務與 Dataproc 搭配使用。
必要服務
系統在建立 Dataproc 叢集時會自動採用下列必要服務,這些服務有一定的配額限制。
Compute Engine
Dataproc 叢集會使用 Compute Engine 虛擬機器。Compute Engine 配額分為地區性和全球性配額,且配額限制會套用至您建立的叢集。舉例來說,如要建立有一個 n1-standard-4
主要節點和兩個 n1-standard-4
工作站節點的叢集,您必須用到 12 個虛擬 CPU (4 * 3
)。這個叢集使用的配額會計入 24 個虛擬 CPU 的地區性配額限制。
預設叢集
以預設設定建立 Dataproc 叢集時,會使用到下列 Compute Engine 資源。
項目 | 使用的資源 |
---|---|
虛擬 CPU 數量 | 12 |
虛擬機器 (VM) 執行個體數量 | 3 |
永久磁碟 | 1500 GB |
Cloud Logging
Dataproc 會將驅動程式輸出內容和叢集記錄檔儲存在 Cloud Logging 中。Cloud Logging 配額會套用至您的 Cloud Dataproc 叢集。
選用服務
下列服務有配額限制,您可以自行選擇是否要將這些服務和 Dataproc 叢集搭配使用。
BigQuery
讀取 BigQuery 資料或將資料寫入 BigQuery 時,您會受到 BigQuery 配額的限制。
Bigtable
讀取 Bigtable 資料或將資料寫入 Bigtable 時,會有 Bigtable 配額的限制。