O Dataproc Serverless tem limites de cota de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).
A tabela a seguir lista os tipos de cota específicos e padrão da API Dataproc Serverless por projeto, além dos limites de cota e métodos em que se aplicam.
| Tipo de cota | Limite | Métodos ou descrição da API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (a cota de cancelamento da operação em lote é compartilhada com a cota de cancelamento da operação do cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch e DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite do número total de operações ativas simultâneas de todos os tipos em um projeto em uma região. |
Outras cotas do Google Cloud
Os lotes do Dataproc sem servidor usam outros produtos do Google Cloud. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataproc sem servidor. Alguns serviços são obrigatórios para o uso do Dataproc Serverless, como o Compute Engine e o Cloud Storage. Outros serviços, como BigQuery e Bigtable, pode ser usado opcionalmente com o Dataproc sem servidor.
Serviços obrigatórios
Os serviços a seguir, que impõem limites de cota, são necessários para criar lotes do Dataproc sem servidor.
Compute Engine
Os lotes do Dataproc Serverless consomem as seguintes cotas de recursos do Compute Engine:
| Nível de computação | Cota |
|---|---|
| Padrão | CPUS |
| Premium | N2_CPUS |
| Nível do disco | Cota |
| Padrão | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY com a família de VMs N2 |
| Acelerador de GPU | Cota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 GB | NVIDIA_A100_GPUS |
| A100 80 GB | NVIDIA_A100_80GB_GPUS |
As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você
cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver
(spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4),
você vai usar 12 CPUs virtuais (4 * 3).
Esse uso do lote vai contar no limite de cota regional de 24 CPUs virtuais.
Recursos em lote padrão
Quando você cria um lote com as configurações padrão, os seguintes Compute Engine recursos são usados:
| Item | Recursos usados |
|---|---|
| CPUs virtuais | 12 |
| Instâncias de máquina virtual (VM) | 3 |
| Disco permanente | 1200 GiB |
Cloud Logging
O Dataproc Serverless salva a saída em lote e os registros Cloud Logging: O Cota do Cloud Logging se aplica aos lotes do Dataproc sem servidor.
Serviços opcionais
Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com Lotes do Dataproc sem servidor.
BigQuery
Durante a leitura ou gravação de dados no BigQuery, a cota do BigQuery é aplicada.
Bigtable
Ao ler ou gravar dados no Bigtable, o Aplica-se a cota do Bigtable.