Questo documento elenca le quote e i limiti di sistema che si applicano a Dataform.
- Le quote specificano la quantità di una risorsa condivisa e numerabile che puoi utilizzare. Le quote sono definite da servizi Google Cloud come Dataform.
- I limiti di sistema sono valori fissi che non possono essere modificati.
Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.
Il sistema delle quote di Cloud esegue le seguenti operazioni:
- Monitora il tuo consumo di Google Cloud prodotti e servizi
- Limita il consumo di queste risorse
- Fornisce un modo per richiedere modifiche al valore della quota e automatizzare gli aggiustamenti della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un Google Cloud progetto, le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.
Esistono anche limiti di sistema per le risorse Dataform. I limiti di sistema non possono essere modificati.
Reintegro della quota
Le quote giornaliere vengono ripristinate a intervalli regolari durante il giorno, riflettendo il loro intento di guidare i comportamenti di limitazione della frequenza. Viene inoltre eseguito un aggiornamento intermittente per evitare lunghe interruzioni quando la quota si esaurisce. Altre quote vengono in genere rese disponibili entro pochi minuti, anziché essere ripristinate globalmente una volta al giorno.
Richiedi un aumento della quota
Per aumentare o diminuire la maggior parte delle quote, utilizza la Google Cloud console. Per ulteriori informazioni, consulta la sezione Richiedere un aumento di quota.
Limita l'utilizzo delle quote
Per informazioni su come puoi limitare l'utilizzo di una particolare risorsa specificando una quota inferiore a quella predefinita, consulta Limitazione dell'utilizzo.
Autorizzazioni obbligatorie
Per visualizzare e aggiornare le quote di Dataform nella consoleGoogle Cloud , devi disporre delle stesse autorizzazioni di qualsiasi quota Google Cloud. Per ulteriori informazioni, consulta Autorizzazioni per le quote.
Risoluzione dei problemi
Per informazioni sulla risoluzione degli errori relativi alle quote e ai limiti di Dataform, consulta la sezione Risoluzione dei problemi.
Quote di Dataform
Dataform ha le seguenti quote API:
| Quote | Limite |
|---|---|
| Richieste totali per progetto, per regione | 6000/minute/project/region |
| Richieste di compilazione per progetto, per regione | 120/minute/project/region |
| Richieste di accesso ai file per progetto, per regione | 120/minute/project/region |
| Richieste di installazione di pacchetti per progetto, per regione | 120/minute/project/region |
| Richieste di chiamata del flusso di lavoro per progetto, per regione | 60/minute/project/region |
| Azioni del workflow per esecuzione | 5000 |
Quote per i servizi utilizzati da Dataform
Dataform utilizza altri Google Cloud servizi. Questi servizi hanno quote a livello di progetto, che si applicano quando utilizzi Dataform.
Dataform utilizza i seguenti servizi Google Cloud che hanno limiti di quota propri:
Limiti delle risorse di compilazione di Dataform
Dataform applica i seguenti limiti di utilizzo alle risorse di compilazione:
| Limite di utilizzo | Valore |
|---|---|
| Numero massimo di azioni per compilazione del repository | 5000 |
| Numero massimo di dipendenze per azione nel grafico compilato | 50 |
| Dimensione totale massima dei dati serializzati del grafico compilato delle azioni | 20 MB |
| Dimensione massima delle dipendenze NPM | 200 MB |
| Dimensione massima di un repository criptato con CMEK | 512 MB |
| Dimensione massima di uno spazio di lavoro in un repository criptato con CMEK | 512 MB |
Inoltre, Dataform impone limiti all'utilizzo di CPU e memoria durante la compilazione. Se questi limiti vengono superati durante la compilazione del codice, la compilazione non va a buon fine e Dataform genera un errore di compilazione.
Per stimare l'utilizzo delle risorse di compilazione del repository, consulta Stimare l'utilizzo delle risorse di compilazione del repository.
Il tuo repository potrebbe superare i limiti di utilizzo per i seguenti motivi:
- Un bug di ciclo infinito nel codice del repository.
- Un bug di perdita di memoria nel codice del repository.
- Dimensioni del repository elevate, con più di 1000 nodi del flusso di lavoro.
- Un numero elevato di query simultanee.
Per saperne di più sulle dimensioni del repository in Dataform, vedi Panoramica delle dimensioni del repository.