Cuotas y límites

En este documento se indican las cuotas y los límites del sistema que se aplican a Cloud Composer.

  • Las cuotas especifican la cantidad de un recurso compartido y contable que puedes usar. Las cuotas se definen por Google Cloud servicios como Cloud Composer.
  • Los límites del sistema son valores fijos que no se pueden cambiar.

Google Cloud usa cuotas para garantizar la equidad y reducir los picos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de unGoogle Cloud recurso que puede usar tu Google Cloud proyecto. Las cuotas se aplican a una serie de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir el número de llamadas a una API enviadas a un servicio, el número de balanceadores de carga que usa tu proyecto de forma simultánea o el número de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios deGoogle Cloud al evitar que se sobrecarguen los servicios. Las cuotas también te ayudan a gestionar tus propios Google Cloud recursos.

El sistema de cuotas de Cloud hace lo siguiente:

En la mayoría de los casos, cuando intentas consumir más recursos de los que permite la cuota, el sistema bloquea el acceso al recurso y la tarea que intentas realizar falla.

Las cuotas se aplican generalmente a nivel de Google Cloud proyecto. El uso que hagas de un recurso en un proyecto no afectará a la cuota disponible en otro proyecto. En un Google Cloud proyecto, las cuotas se comparten entre todas las aplicaciones y direcciones IP.

Para ajustar la mayoría de las cuotas, usa la Google Cloud consola. Para obtener más información, consulta Solicitar un ajuste de cuota.

También hay límites del sistema en los recursos de Cloud Composer. Los límites del sistema no se pueden cambiar.

Cuotas de Cloud Composer

Las cuotas de esta sección solo se aplican a la API Cloud Composer y a las herramientas que la utilizan:

  • Interfaz de Cloud Composer en la consola Google Cloud
  • Comandos gcloud composer y gcloud beta composer
  • API REST de Cloud Composer
  • API RPC de Cloud Composer
  • Terraform, para operaciones con entornos de Cloud Composer

Las cuotas de esta sección no se aplican a los servicios que utilices en tus DAGs de Airflow. Estos servicios usan sus propias cuotas.

Cloud Composer tiene las siguientes cuotas de API:

Nombre de la cuota Límite
Solicitudes de lectura por proyecto 1000 unidades de cuota por minuto
Solicitudes de escritura por proyecto 25.000 unidades de cuota al día
Solicitudes de escritura por proyecto 1500 unidades de cuota por minuto
Solicitudes de guardado de una copia por proyecto 5000 unidades de cuota al día
Solicitudes de guardado de una copia por proyecto 250 unidades de cuota por minuto
Solicitudes de guardado de capturas por proyecto por entorno 2600 unidades de cuota al día
Solicitudes de carga de una copia de un proyecto 2500 unidades de cuota al día
Solicitudes de carga de una copia de un proyecto 150 cuotas por minuto
Solicitudes de carga de instantáneas por proyecto por entorno 700 unidades de cuota al día

Las llamadas a la API Cloud Composer tienen los siguientes costes, en unidades de cuota:

Operación Coste en unidades de cuota Tipo de solicitud
Todas las operaciones 1 Leer
environments.create 100 Escritura
environments.patch 100 Escritura
environments.delete 100 Escritura
environments.databaseFailover 100 Escritura
environments.restartWebServer 100 Escritura
environments.checkUpgrade 100 Escritura
environments.executeAirflowCommand 25 Escritura
environments.stopAirflowCommand 25 Escritura
environments.saveSnapshot 50 Guardar captura
environments.loadSnapshot 50 Cargar captura

Ejemplos de cálculo de cuotas

  • Una solicitud environments.create consume 100 unidades de cuota de las cuotas de escritura.

    Hay dos cuotas de este tipo para las solicitudes de escritura:

    • Solicitudes de escritura por proyecto al día
    • Solicitudes de escritura por proyecto y minuto

    Esta operación consume 100 unidades de cuota de cada cuota.

    Si ejecutas una solicitud environments.restartWebServer después, se consumirán otras 100 unidades de cuota de las mismas cuotas, porque environments.restartWebServer comparte cuotas con la solicitud environments.create.

  • Una solicitud de environments.saveSnapshot consume 50 unidades de cuota de tres cuotas:

    • Solicitudes de guardar una captura por proyecto y día
    • Guardar solicitudes de instantáneas por proyecto y minuto
    • Solicitudes de guardar una instantánea por proyecto, entorno y día

    Estas tres cuotas limitan el número máximo de solicitudes de environments.saveSnapshot. Cada una lo hace de una forma diferente.

    El límite de cuota de solicitudes de guardado de una copia de un estado por proyecto y día es de 2500 unidades de cuota. Puedes ejecutar hasta 50 solicitudes environments.saveSnapshot en tu proyecto cada día.

    El límite de cuota de solicitudes de guardar una instantánea por proyecto y minuto es de 150 unidades de cuota. En un minuto, solo puedes ejecutar hasta tres solicitudes de environments.saveSnapshot en tu proyecto.

    Por último, el límite de cuota de solicitudes de guardar una copia por proyecto, entorno y día es de 750 unidades de cuota. Puedes ejecutar hasta 15 solicitudes environments.saveSnapshot al día en un mismo entorno. Si se consumen todas las unidades de cuota de un entorno específico, puedes seguir enviando solicitudes environments.saveSnapshot a otros entornos de tu proyecto.

Cuotas de otros servicios

Cloud Composer usa otros Google Cloud servicios. Estos servicios tienen cuotas a nivel de proyecto que se aplican cuando usas Cloud Composer.

Por ejemplo, las cuotas de Cloud Storage se aplican a todos los segmentos asociados a los entornos de tu proyecto. Otro ejemplo: los clústeres de los entornos usan Google Kubernetes Engine, por lo que las cuotas de GKE se aplican a todos los clústeres asociados a los entornos de tu proyecto.

Cuotas de los servicios que usa Cloud Composer

Cloud Composer usa los siguientes servicios. Estos servicios tienen sus propios límites de cuota:

Cuotas de servicios opcionales

Puedes usar los operadores de Airflow con los servicios de Google Cloud . Todos los servicios que uses en un DAG están sujetos a las cuotas de dicho servicio.