Este documento lista as cotas e os limites do sistema que se aplicam ao Dataform.
- As cotas especificam a quantidade de um recurso compartilhado e contável que pode ser usado. As cotas são definidas por serviços Google Cloud , como o Dataform.
- Os limites do sistema são valores fixos que não podem ser alterados.
Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um Google Cloud recurso o Google Cloud projeto pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de Google Cloud produtos e serviços
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota e automatizar ajustes de cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites de sistema nos recursos do Dataform. Não é possível alterar os limites.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. A atualização intermitente também é feita para evitar interrupções longas quando a cota estiver esgotada. Normalmente, as cotas são disponibilizadas em minutos em vez de serem reabastecidas em sua totalidade uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console Google Cloud . Para mais informações, consulte Solicitar uma cota maior.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico especificando uma cota menor que a padrão, consulte Limitar o uso.
Permissões necessárias
Para visualizar e atualizar as cotas do Dataform no consoleGoogle Cloud , você precisa das mesmas permissões que qualquer cota do Google Cloud. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para informações sobre como resolver erros relacionados a cotas e limites do Dataform, consulte Solução de problemas.
Cotas do Dataform
A Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto e região | 6.000/minuto/projeto/região |
| Solicitações de compilação por projeto e região | 120/minuto/projeto/região |
| Solicitações de acesso a arquivos por projeto e região | 120/minuto/projeto/região |
| Solicitações de instalação de pacotes por projeto e região | 120/minuto/projeto/região |
| Solicitações de invocação de fluxo de trabalho por projeto e região | 60/minuto/projeto/região |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas de serviços usados pelo Dataform
O Dataform usa outros serviços Google Cloud . Esses serviços têm cotas de nível de projeto, que são aplicadas quando você usa o Dataform.
O Dataform usa os seguintes serviços Google Cloud , que têm limites de cota próprios:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no gráfico compilado | 50 |
| Tamanho total máximo de dados serializados do gráfico compilado de ações | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
| Tamanho máximo de um repositório criptografado por CMEK | 512 MB |
| Tamanho máximo de um espaço de trabalho em um repositório criptografado por CMEK | 512 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos ao compilar o código, a compilação vai falhar e o Dataform vai gerar um erro de compilação.
Para estimar o uso de recursos de compilação do seu repositório, consulte Como estimar o uso de recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Tamanho grande do repositório, aproximadamente mais de 1.000 nós de fluxo de trabalho SQL.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.