O Serverless para Apache Spark tem limites de cota de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).
A tabela a seguir indica os tipos específicos e padrão de cota da API Serverless para Apache Spark por projeto, além dos limites de cota e métodos em que se aplicam.
| Tipo de cota | Limite | Métodos ou descrição da API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (o cancelamento da cota de operação em lote é compartilhado com o cancelamento da cota de operação do cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite no número total de operações ativas simultâneas de todos os tipos em um projeto em uma região. |
Outras cotas do Google Cloud
Os lotes do Serverless para Apache Spark usam outros produtos do Google Cloud . Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Serverless para Apache Spark. Alguns serviços são obrigatórios para usar o Serverless para Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem ser usados opcionalmente com o Serverless para Apache Spark.
Serviços obrigatórios
Os serviços a seguir, que impõem limites de cota, são necessários para criar lotes do Serverless para Apache Spark.
Compute Engine
Os jobs em lote do Serverless para Apache Spark consomem as seguintes cotas de recursos do Compute Engine:
| Nível de computação | Cota |
|---|---|
| Padrão | CPUS |
| Premium | N2_CPUS |
| Nível do disco | Cota |
| Padrão | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY com a família de VMs N2 |
| Acelerador de GPU | Cota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 GB | NVIDIA_A100_GPUS |
| A100 80 GB | NVIDIA_A100_80GB_GPUS |
As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver (spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4), você vai usar 12 CPUs virtuais (4 * 3). Esse uso do lote será contabilizado no limite de cota regional de 24 CPUs virtuais.
Recursos de lote padrão
Quando você cria um lote com configurações padrão, os seguintes recursos do Compute Engine são usados:
| Item | Recursos usados |
|---|---|
| CPUs virtuais | 12 |
| Instâncias de máquina virtual (VM) | 3 |
| Disco permanente | 1200 GiB |
Cloud Logging
O Serverless para Apache Spark salva a saída e os registros do lote no Cloud Logging. A cota do Cloud Logging se aplica aos seus lotes do Serverless para Apache Spark.
Serviços opcionais
Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com lotes do Serverless para Apache Spark.
BigQuery
Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.
Bigtable
Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.
Identificar cargas de trabalho com limitações de cota ou endereço IP
Use as seguintes consultas do Cloud Logging para identificar cargas de trabalho do Serverless para Apache Spark que atingiram sua cota ou não puderam ser escalonadas devido ao esgotamento de endereços IP.
Consulta de cota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Consulta de esgotamento de endereços IP:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"