Esta página lista os limites de cota da API Dataproc, que são aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).
Para estratégias de otimização de cluster que ajudam a evitar problemas de cota e disponibilidade de recursos, consulte Disponibilidade de recursos e estratégias de zona.
A tabela a seguir indica os tipos específicos e padrão de cota da API Dataproc por projeto, além dos limites de cota e métodos em que se aplicam.
| Tipo de cota | Limite | Métodos de API aplicáveis |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy e DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7.500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob e DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | Todas as outras operações (principalmente operações Get) |
A tabela a seguir lista outros limites para o total de operações e jobs ativos no nível do projeto e da região.
| Tipo da cota | Limite | Descrição |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite do número total de operações ativas simultâneas de todos os tipos em um único projeto em um único banco de dados regional. |
| ActiveJobsPerProjectPerRegion | 5000 | Limite no número total de jobs ativos no estado NON_TERMINAL em um único projeto em um único banco de dados regional |
Outras cotas do Google Cloud
Os clusters do Dataproc usam outros produtos do Google Cloud . Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataproc. Alguns serviços são obrigatórios para o uso do Dataproc, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem usar o Dataproc opcionalmente.
Serviços de cluster obrigatórios
Os serviços a seguir, que impõem limites de cota, são necessários para criar clusters do Dataproc.
Compute Engine
Os clusters do Dataproc usam máquinas virtuais do Compute Engine. As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos clusters que você cria. Por exemplo, a criação de um cluster com um nó n1-standard-4 -m e dois nós n1-standard-4 -w usa 12 CPUs virtuais
(4 * 3). Esse uso do cluster é contabilizado no limite de cota regional de 24
CPUs virtuais.
Recursos de clusters padrão
Quando você cria um cluster do Dataproc com configurações padrão, são usados os recursos do Compute Engine a seguir.
| Recurso | Uso |
|---|---|
| CPUs virtuais | 12 |
| Instâncias de máquina virtual (VM) | 3 |
| Disco permanente | 1.500 GB |
Cloud Logging
O Dataproc salva a saída do driver e os registros dos clusters no Cloud Logging. A cota do Logging se aplica aos clusters do Dataproc.
Serviços opcionais do cluster
Você pode usar opcionalmente os serviços a seguir, que têm limites de cota, com clusters do Dataproc.
BigQuery
Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.
Bigtable
Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.
Disponibilidade de recursos e estratégias de zona
Para otimizar os clusters em relação à disponibilidade de recursos e reduzir possíveis erros de falta de estoque, considere as seguintes estratégias:
Colocação em zona automática:ao criar clusters, use a colocação em zona automática. Isso permite que o Dataproc selecione uma zona ideal na região especificada, aumentando as chances de criação bem-sucedida do cluster.
Cotas regionais:verifique se as cotas regionais do Compute Engine são suficientes, já que elas podem ser esgotadas mesmo com o posicionamento automático de zona se a capacidade regional total for insuficiente para suas solicitações.
Flexibilidade do tipo de máquina:se você tiver falta de estoque persistente com um tipo de máquina específico, use um tipo diferente e mais disponível para seu cluster.