Quotas e limites

Este documento indica as quotas e os limites do sistema que se aplicam ao Cloud Composer.

  • As quotas especificam a quantidade de um recurso partilhado contabilizável que pode usar. As quotas são definidas por Google Cloud serviços como o Cloud Composer.
  • Os limites do sistema são valores fixos que não podem ser alterados.

Google Cloud usa quotas para ajudar a garantir a equidade e reduzir os picos na utilização e disponibilidade de recursos. Uma quota restringe a quantidade de um Google Cloud recurso que o seu Google Cloud projeto pode usar. As quotas aplicam-se a uma variedade de tipos de recursos, incluindo componentes de hardware, software e rede. Por exemplo, as quotas podem restringir o número de chamadas API para um serviço, o número de balanceadores de carga usados em simultâneo pelo seu projeto ou o número de projetos que pode criar. As quotas protegem a comunidade de Google Cloud utilizadores, impedindo a sobrecarga dos serviços. As quotas também ajudam a gerir os seus próprios Google Cloud recursos.

O sistema de quotas da nuvem faz o seguinte:

Na maioria dos casos, quando tenta consumir mais de um recurso do que a respetiva quota permite, o sistema bloqueia o acesso ao recurso e a tarefa que está a tentar realizar falha.

Geralmente, as quotas aplicam-se ao nível do Google Cloud projeto A sua utilização de um recurso num projeto não afeta a sua quota disponível noutro projeto. Num Google Cloud projeto, as quotas são partilhadas por todas as aplicações e endereços IP.

Para ajustar a maioria das quotas, use a Google Cloud consola. Para mais informações, consulte o artigo Peça um ajuste da quota.

Também existem limites do sistema nos recursos do Cloud Composer. Não é possível alterar os limites do sistema.

Quotas do Cloud Composer

As quotas nesta secção aplicam-se apenas à API Cloud Composer e às ferramentas que utilizam a API Cloud Composer:

  • Interface do Cloud Composer na Google Cloud consola
  • Comandos gcloud composer e gcloud beta composer
  • API REST do Cloud Composer
  • API Cloud Composer RPC
  • Terraform, para operações com ambientes do Cloud Composer

As quotas nesta secção não se aplicam a serviços que usa nos seus DAGs do Airflow. Estes serviços usam as suas próprias quotas.

O Cloud Composer tem as seguintes quotas de API:

Nome da quota Limite
Pedidos de leitura por projeto 1000 unidades de quota por minuto
Pedidos de escrita por projeto 25 000 unidades de quota por dia
Pedidos de escrita por projeto 1500 unidades de quota por minuto
Guardar pedidos de instantâneos por projeto 5000 unidades de quota por dia
Guardar pedidos de instantâneos por projeto 250 unidades de quota por minuto
Guardar pedidos de instantâneos por projeto por ambiente 2600 unidades de quota por dia
Carregamentos de pedidos de instantâneos por projeto 2500 unidades de quota por dia
Carregamentos de pedidos de instantâneos por projeto 150 quota por minuto
Carregamentos de pedidos de instantâneos por projeto por ambiente 700 unidades de quota por dia

As chamadas API Cloud Composer têm os seguintes custos, em unidades de quota:

Operação Custo em unidades de quota Tipo de pedido
Todas as operações 1 Leitura
environments.create 100 Escrita
environments.patch 100 Escrita
environments.delete 100 Escrita
environments.databaseFailover 100 Escrita
environments.restartWebServer 100 Escrita
environments.checkUpgrade 100 Escrita
environments.executeAirflowCommand 25 Escrita
environments.stopAirflowCommand 25 Escrita
environments.saveSnapshot 50 Guarde o instantâneo
environments.loadSnapshot 50 Carregar instantâneo

Exemplos de cálculo de quotas

  • Um pedido environments.create consome 100 unidades de quota das quotas de escrita.

    Existem duas quotas deste tipo para pedidos de escrita:

    • Pedidos de escrita por projeto por dia
    • Solicitações de escrita por projeto por minuto

    Esta operação consome 100 unidades de quota de cada quota.

    Se executar um pedido environments.restartWebServer posteriormente, são consumidas mais 100 unidades de quota das mesmas quotas, porque environments.restartWebServer partilha quotas com o pedido environments.create.

  • Um pedido de environments.saveSnapshot consome 50 unidades de quota de três quotas:

    • Guardar pedidos de instantâneos por projeto por dia
    • Guardar pedidos de instantâneos por projeto por minuto
    • Guardar pedidos de instantâneos por projeto, por ambiente e por dia

    Estas três quotas limitam o número máximo de pedidos.environments.saveSnapshot Cada uma faz isso de uma forma diferente.

    O limite de quota de Pedidos de guardar instantâneos por projeto por dia é de 2500 unidades de quota. Pode executar até 50 pedidos environments.saveSnapshot no seu projeto todos os dias.

    O limite da quota de pedidos de guardar instantâneo por projeto por minuto é de 150 unidades de quota. Num minuto, só pode executar até três pedidos environments.saveSnapshot no seu projeto.

    Por último, o limite de quota de pedidos de guardar instantâneos por projeto por ambiente por dia é de 750 unidades de quota. Pode executar até 15 environments.saveSnapshot pedidos todos os dias para um único ambiente. Se todas as unidades de quota forem consumidas para um ambiente específico, ainda pode executar pedidos environments.saveSnapshot para outros ambientes no seu projeto.

Quotas para outros serviços

O Cloud Composer usa outros Google Cloud serviços. Estes serviços têm quotas ao nível do projeto, que se aplicam quando usa o Cloud Composer.

Por exemplo, as quotas do Cloud Storage aplicam-se a todos os contentores associados aos ambientes no seu projeto. Como outro exemplo, os clusters do ambiente usam o Google Kubernetes Engine, pelo que as quotas do GKE se aplicam a todos os clusters associados a ambientes no seu projeto.

Quotas para serviços usados pelo Cloud Composer

Os seguintes serviços são usados pelo Cloud Composer. Estes serviços têm os seus próprios limites de quota:

Quotas para serviços opcionais

Pode usar operadores do Airflow com Google Cloud serviços. Qualquer serviço que use num DAG está sujeito às quotas desse serviço.