Serverless for Apache Spark 配额

Apache Spark 无服务器具有 API 配额限制，这些限制在项目和区域层级强制实施。配额每 60 秒（1 分钟）重置一次。

下表列出了每个项目具体的默认 Serverless for Apache Spark API 配额类型、配额限制，以及限制所适用的方法。

配额类型	限制	API 方法或说明
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation（取消批处理操作配额与取消集群操作配额共享）。
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch，DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession、DeleteSession、TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7500	GetBatch、ListBatches、GetSession、ListSessions
ActiveOperationsPerProjectPerRegion	5000	限制一个项目在一个区域中的并发活跃操作总数。

其他 Google Cloud 配额

Serverless for Apache Spark 批处理使用其他 Google Cloud 产品。这些产品具有项目级层配额，其中包括适用于 Serverless for Apache Spark 用量的配额。使用 Apache Spark Serverless 时必需用到一些服务，例如 Compute Engine 和 Cloud Storage。此外，可以选择将其他服务（例如 BigQuery 和 Bigtable）与 Serverless for Apache Spark 结合使用。

必需服务

以下服务强制实施配额限制，当您创建 Serverless for Apache Spark 批次时，系统必须使用这些服务。

Compute Engine

无服务器 Apache Spark 批处理会消耗以下 Compute Engine 资源配额：

计算层级	配额
标准	CPUS
高级	N2_CPUS
磁盘层级	配额
标准	DISKS_TOTAL_GB
高级	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY，并使用 N2 虚拟机系列
GPU 加速器	配额
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

Compute Engine 配额分为地区限制和全局限制。这些限制适用于您创建的批处理。例如，要运行具有 4 个驱动程序核心 (spark.driver.cores=4) 和两个执行程序 (spark.executor.cores=4)（每个具有 4 个核心）的 Spark 批处理，您需要使用 12 个虚拟 CPU (4 * 3)。此批次的用量将计入区域配额限制（24 个虚拟 CPU）。

默认批处理资源

使用默认设置创建批处理时，系统将使用以下 Compute Engine 资源：

资源项	使用的资源数量
虚拟 CPU	12
虚拟机实例	3
永久性磁盘	1200 GiB

Cloud Logging

Serverless for Apache Spark 将批处理输出和日志保存在 Cloud Logging 中。Cloud Logging 配额适用于您的 Serverless for Apache Spark 批处理。

可选服务

以下服务具有配额限制，您可以选择将这些服务与 Serverless for Apache Spark 批处理结合使用。

BigQuery

对 BigQuery 执行数据读写操作时，BigQuery 配额适用。

Bigtable

对 Bigtable 执行数据读写操作时，Bigtable 配额适用。