In Dataproc Serverless esistono limiti di quota dell'API applicati a livello di progetto e di area geografica. Le quote vengono reimpostate ogni 60 secondi (un minuto).
Nella tabella seguente sono elencati i tipi di quote predefiniti a livello di progetto dell'API Dataproc Serverless, i relativi limiti di quota e i metodi a cui vengono applicati.
| Tipo di quota | Limite | Metodi o descrizione dell'API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (la quota di annullamento dell'operazione batch è condivisa con la quota di annullamento dell'operazione cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione. |
Altre quote di Google Cloud
I batch Dataproc Serverless utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Dataproc Serverless. Per l'utilizzo di Dataproc Serverless è necessario utilizzare alcuni servizi, come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati facoltativamente con Dataproc Serverless.
Servizi obbligatori
I seguenti servizi, che applicano limiti di quota, sono necessari per creare batch Dataproc Serverless.
Compute Engine
I batch Dataproc Serverless consumano le seguenti quote per risorse Compute Engine:
| Livello di calcolo | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Livello disco | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con la famiglia di VM N2 |
| Acceleratore GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 GB | NVIDIA_A100_GPUS |
| A100 80 GB | NVIDIA_A100_80GB_GPUS |
Le quote di Compute Engine sono suddivise in limiti globali
e a livello di area geografica. Questi limiti si applicano ai batch
creati. Ad esempio, per eseguire un batch Spark con 4 core del driver
(spark.driver.cores=4) e due executor con 4 core ciascuno (spark.executor.cores=4),
dovrai utilizzare 12 CPU virtuali (4 * 3).
L'utilizzo di questo batch verrà conteggiato nel limite di quota a livello di area geografica di 24 CPU virtuali.
Risorse batch predefinite
Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:
| Elemento | Risorse utilizzate |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Disco permanente | 1200 GiB |
Cloud Logging
Dataproc Serverless salva l'output batch e i log in Cloud Logging. La quota di Cloud Logging si applica ai batch di Dataproc Serverless.
Servizi facoltativi
I seguenti servizi, che hanno limiti di quota, possono essere utilizzati in maniera facoltativa con i batch Dataproc Serverless.
BigQuery
Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.
Bigtable
Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.