En este documento, se enumeran las cuotas y los límites del sistema que se aplican a Dataform.
- Las cuotas especifican la cantidad de un recurso compartido contable que puedes usar. Las cuotas se definen por los servicios de Google Cloud , como Dataform.
- Los límites del sistema son valores fijos que no se pueden cambiar.
Google Cloud usa cuotas para garantizar la equidad y reducir los aumentos repentinos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de un recurso deGoogle Cloud que puede usar tu proyecto de Google Cloud . Las cuotas se aplican a una variedad de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir la cantidad de llamadas a la API para un servicio, la cantidad de balanceadores de cargas que se usan en simultáneo en tu proyecto o la cantidad de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios deGoogle Cloud evitando la sobrecarga de los servicios. Las cuotas también te ayudan a administrar tus propios recursos de Google Cloud .
El sistema de cuotas Cloud realiza las siguientes acciones:
- Supervisa tu consumo de Google Cloud productos y servicios
- Restringe el consumo de esos recursos.
- Proporciona una forma de solicitar cambios en el valor de la cuota y automatizar los ajustes de la cuota.
En la mayoría de los casos, cuando intentas consumir más de lo que permite la cuota de un recurso, el sistema bloquea el acceso al recurso, y la tarea que intentas realizar falla.
Por lo general, las cuotas se aplican a nivel del Google Cloud proyecto. El uso de un recurso en un proyecto no afecta tu cuota disponible en otro proyecto. Dentro de un Google Cloud proyecto, las cuotas se comparten entre todas las aplicaciones y direcciones IP.
También existen límites del sistema para los recursos de Dataform. Los límites del sistema no se pueden cambiar.
Restablecimiento de cuotas
Las cuotas diarias se restablecen en intervalos regulares durante el día a fin de reflejar su propósito de orientar comportamientos que limiten las frecuencias. También se realizan actualizaciones intermitentes para evitar interrupciones prolongadas cuando una cuota se agota. Por lo general, se habilita más capacidad de la cuota en unos minutos en lugar de restablecerla por completo una vez al día.
Solicita un aumento de la cuota
Para aumentar o disminuir la mayoría de las cuotas, usa la consola de Google Cloud . Para obtener más información, consulta Solicita una cuota mayor.
Limita el uso de cuota
Si deseas obtener información para limitar el uso de un recurso en particular a través de la especificación de una cuota más pequeña que la predeterminada, consulta Limita el uso.
Permisos necesarios
Para ver y actualizar tus cuotas de Dataform en la consola deGoogle Cloud , necesitas los mismos permisos que cualquier cuota de Google Cloud. Para obtener más información, consulta Permisos de cuota.
Soluciona problemas
Si deseas obtener más información para solucionar errores relacionados con las cuotas y los límites de Dataform, consulta Solución de problemas.
Cuotas de Dataform
Dataform tiene las siguientes cuotas de API:
| Cuotas | Límite |
|---|---|
| Cantidad total de solicitudes por proyecto y por región | 6000/minute/project/region |
| Solicitudes de compilación por proyecto y por región | 120/minute/project/region |
| Solicitudes de acceso a archivos por proyecto y por región | 120/minute/project/region |
| Solicitudes de instalación de paquetes por proyecto y por región | 120/minute/project/region |
| Solicitudes de invocación de flujos de trabajo por proyecto y por región | 60/minute/project/region |
| Acciones del flujo de trabajo por ejecución | 5000 |
Cuotas para los servicios que usa Dataform
Dataform usa otros Google Cloud servicios. Estos servicios tienen cuotas a nivel del proyecto, que se aplican cuando usas Dataform.
Dataform usa los siguientes servicios de Google Cloud que tienen sus propios límites de cuota:
Límites de recursos de compilación de Dataform
Dataform aplica los siguientes límites de uso a los recursos de compilación:
| Límite de uso | Valor |
|---|---|
| Cantidad máxima de acciones por compilación del repositorio | 5000 |
| Cantidad máxima de dependencias por acción en el gráfico compilado | 50 |
| Tamaño máximo total de los datos serializados del gráfico compilado de acciones | 20 MB |
| Tamaño máximo de las dependencias de NPM | 200 MB |
| Tamaño máximo de un repositorio encriptado con CMEK | 512 MB |
| Tamaño máximo de un espacio de trabajo en un repositorio encriptado con CMEK | 512 MB |
Además, Dataform impone límites en el uso de CPU y memoria durante la compilación. Si se exceden estos límites cuando compilas tu código, la compilación falla y Dataform arroja un error de compilación.
Para estimar el uso de recursos de compilación de tu repositorio, consulta Cómo estimar el uso de recursos de compilación de tu repositorio.
Es posible que tu repositorio supere los límites de uso por los siguientes motivos:
- Un error de bucle infinito en el código del repositorio
- Un error de pérdida de memoria en el código del repositorio
- El repositorio es grande, con aproximadamente más de 1,000 nodos de flujo de trabajo.
- Gran cantidad de consultas simultáneas
Para obtener más información sobre el tamaño del repositorio en Dataform, consulta la Descripción general del tamaño del repositorio.