Neste documento, descrevemos as cotas e os limites que se aplicam a o Dataform.
O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para o serviço, o número de balanceadores de carga usados simultaneamente por seu projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota dele permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando realizar.
As cotas geralmente se aplicam no nível do projeto do Google Cloud O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites para os recursos do Dataform. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. Atualização intermitente para evitar interrupções longas quando a cota acabar. Normalmente, mais cotas são disponibilizadas em minutos, em vez do que repostos globalmente uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicite uma cota maior.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico, uma cota menor do que o padrão, consulte Limite de uso.
Permissões necessárias
Para acessar e atualizar suas cotas do Dataform no você precisa das mesmas permissões de qualquer console do Google Cloud a cota de ingestão de registros. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para saber como resolver erros relacionados ao Dataform cotas e limites, consulte a Solução de problemas.
Cotas do Dataform
O Dataform tem as seguintes cotas de API:
Cotas | Limite |
---|---|
Total de solicitações por projeto, por região | 6000/minute/project/region |
Solicitações de compilação por projeto, por região | 120/minute/project/region |
Solicitações de acesso a arquivos por projeto, por região | 120/minute/project/region |
Solicitações de instalação de pacotes por projeto, por região | 120/minute/project/region |
Solicitações de invocação de fluxo de trabalho por projeto, por região | 60/minute/project/region |
Ações do fluxo de trabalho por execução | 5000 |
Cotas de serviços usados pelo Dataform
O Dataform usa outros serviços do Google Cloud. Esses serviços têm cotas para envolvidos no projeto, que se aplicam quando você usa o Dataform.
O Dataform usa os seguintes serviços do Google Cloud que têm limites de cota próprios:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
Limite de uso | Valor |
---|---|
Número máximo de ações por compilação de repositório | 5000 |
Número máximo de dependências por ação no grafo compilado | 50 |
Tamanho total máximo dos dados serializados do gráfico compilado de ações | 20 MB |
Tamanho máximo das dependências do NPM | 200 MB |
Tamanho máximo de um repositório criptografado por CMEK | 512 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos ao compilar o código, a compilação vai falhar. e o Dataform gera um erro de compilação.
Para estimar o uso dos recursos de compilação do seu repositório, consulte Estimar o uso dos recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Repositório grande, aproximadamente mais de 1.000 nós de fluxo de trabalho SQL.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.