Dataproc Serverless 配额

Dataproc Serverless 具有 API 配额限制，这些限制在项目和区域层级强制实施。配额每 60 秒（1 分钟）重置一次。

下表列出了每个项目具体的默认 Dataproc Serverless API 配额类型、配额限制，以及限制所适用的方法。

配额类型 限制 API 方法或说明
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation（取消批处理操作配额与取消集群操作配额共享）。
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch，DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession、DeleteSession、TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7500 GetBatch、ListBatches、GetSession、ListSessions
ActiveOperationsPerProjectPerRegion 5000 限制一个项目在一个区域中所有类型的并发有效操作总数。

其他 Google Cloud 配额

Dataproc Serverless 批处理会使用其他 Google Cloud 产品。这些产品具有项目级层配额，其中包括适用于 Dataproc Serverless 用量的配额。使用 Dataproc Serverless 时必须用到一些服务，例如 Compute Engine 和 Cloud Storage。此外，可以选择将其他服务（例如 BigQuery 和 Bigtable）与 Dataproc Serverless 结合使用。

必需服务

以下服务具有配额限制，您必须在创建 Dataproc Serverless 批次时使用这些服务。

Compute Engine

Dataproc Serverless 批处理会消耗以下 Compute Engine 资源配额：

计算层级 配额
标准 CPUS
高级 N2_CPUS
磁盘层级 配额
标准 DISKS_TOTAL_GB
高级 LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY 与 N2 虚拟机系列搭配使用
GPU 加速器 配额
L4 NVIDIA_L4_GPUS
A100 40GB NVIDIA_A100_GPUS
A100 80GB NVIDIA_A100_80GB_GPUS

Compute Engine 配额分为地区限制和全局限制。这些限制适用于您创建的批处理。例如，要运行具有 4 个驱动程序核心 (spark.driver.cores=4) 和两个执行程序 (spark.executor.cores=4)（每个具有 4 个核心）的 Spark 批处理，您需要使用 12 个虚拟 CPU (4 * 3)。此批处理用量将计入区域配额限制（24 个虚拟 CPU）。

默认批处理资源

使用默认设置创建批处理时，系统将使用以下 Compute Engine 资源：

资源项 使用的资源数量
虚拟 CPU 12
虚拟机实例 3
永久性磁盘 1200 GiB

Cloud Logging

Dataproc Serverless 将批处理输出和日志保存在 Cloud Logging 中。Cloud Logging 配额适用于您的 Dataproc Serverless 批处理。

可选服务

以下服务具有配额限制，您可以选择将这些服务与 Dataproc Serverless 批处理结合使用。

BigQuery

对 BigQuery 执行数据读写操作时，BigQuery 配额适用。

Bigtable

对 Bigtable 执行数据读写操作时，Bigtable 配额适用。