En este documento se indican las cuotas y los límites del sistema que se aplican a Dataform.
- Las cuotas especifican la cantidad de un recurso compartido y contable que puedes usar. Las cuotas se definen por Google Cloud servicios como Dataform.
- Los límites del sistema son valores fijos que no se pueden cambiar.
Google Cloud usa cuotas para garantizar la equidad y reducir los picos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de unGoogle Cloud recurso que puede usar tu Google Cloud proyecto. Las cuotas se aplican a una serie de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir el número de llamadas a una API enviadas a un servicio, el número de balanceadores de carga que usa tu proyecto de forma simultánea o el número de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios deGoogle Cloud al evitar que se sobrecarguen los servicios. Las cuotas también te ayudan a gestionar tus propios Google Cloud recursos.
El sistema de cuotas de Cloud hace lo siguiente:
- Monitoriza tu consumo de Google Cloud productos y servicios
- Restringe el consumo de esos recursos
- Proporciona una forma de solicitar cambios en el valor de la cuota y automatizar los ajustes de la cuota.
En la mayoría de los casos, cuando intentas consumir más recursos de los que permite la cuota, el sistema bloquea el acceso al recurso y la tarea que intentas realizar falla.
Las cuotas se aplican generalmente a nivel de Google Cloud proyecto. El uso que hagas de un recurso en un proyecto no afectará a la cuota disponible en otro proyecto. En un Google Cloud proyecto, las cuotas se comparten entre todas las aplicaciones y direcciones IP.
También hay límites del sistema en los recursos de Dataform. Los límites del sistema no se pueden cambiar.
Reposición de cuota
Como su objetivo es controlar el límite de frecuencia, las cuotas diarias se reponen a intervalos regulares a lo largo del día. También se realizan actualizaciones intermitentes para evitar interrupciones prolongadas en caso de que se agoten las cuotas. Por lo general, se ofrece más cuota en cuestión de minutos, en lugar de reponerla de forma global una vez al día.
Solicitar un aumento de cuota
Para aumentar o reducir la mayoría de las cuotas, usa la Google Cloud consola. Para obtener más información, consulta Solicitar un ajuste de cuota.
Limitar el uso de cuotas
Para saber cómo puedes limitar el uso de un recurso en concreto especificando una cuota inferior a la predeterminada, consulta la sección Limitar el uso.
Permisos obligatorios
Para ver y actualizar tus cuotas de Dataform en la consolaGoogle Cloud , necesitas los mismos permisos que para cualquier otra cuota Google Cloud. Para obtener más información, consulta Permisos de cuota.
Solución de problemas
Para obtener información sobre cómo solucionar los errores relacionados con las cuotas y los límites de Dataform, consulta el artículo Solución de problemas.
Cuotas de Dataform
Dataform tiene las siguientes cuotas de API:
| Cuotas | Límite |
|---|---|
| Total de solicitudes por proyecto y región | 6000/minute/project/region |
| Solicitudes de compilación por proyecto y región | 120/minute/project/region |
| Solicitudes de acceso a archivos por proyecto y región | 120/minute/project/region |
| Solicitudes de instalación de paquetes por proyecto y región | 120/minute/project/region |
| Solicitudes de invocación de flujo de trabajo por proyecto y región | 60/minute/project/region |
| Acciones de flujo de trabajo por ejecución | 5000 |
Cuotas de los servicios que usa Dataform
Dataform usa otros Google Cloud servicios. Estos servicios tienen cuotas a nivel de proyecto que se aplican cuando usas Dataform.
Dataform usa los siguientes Google Cloud servicios que tienen sus propios límites de cuota:
Límites de recursos de compilación de Dataform
Dataform aplica los siguientes límites de uso a los recursos de compilación:
| Límite de uso | Valor |
|---|---|
| Número máximo de acciones por compilación de repositorio | 5000 |
| Número máximo de dependencias por acción en el gráfico compilado | 50 |
| Tamaño total máximo de los datos serializados del gráfico compilado de acciones | 20 MB |
| Tamaño máximo de las dependencias de NPM | 200 MB |
| Tamaño máximo de un repositorio cifrado con CMEK | 512 MB |
| Tamaño máximo de un espacio de trabajo en un repositorio cifrado con CMEK | 512 MB |
Además, Dataform impone límites en el uso de la CPU y la memoria durante la compilación. Si se superan estos límites al compilar el código, la compilación fallará y Dataform mostrará un error de compilación.
Para estimar el uso de recursos de compilación de tu repositorio, consulta Estimar el uso de recursos de compilación de tu repositorio.
Tu repositorio puede superar los límites de uso por los siguientes motivos:
- Un error de bucle infinito en el código del repositorio.
- Un error de fuga de memoria en el código del repositorio.
- El tamaño del repositorio es grande, aproximadamente más de 1000 nodos de flujo de trabajo.
- Un gran número de consultas simultáneas.
Para obtener más información sobre el tamaño de los repositorios en Dataform, consulta el resumen del tamaño de los repositorios.