Serverless per Apache Spark ha limiti di quota dell'API applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).
Nella tabella seguente sono elencati i tipi di quote predefiniti a livello di progetto dell'API Serverless for Apache Spark, i relativi limiti di quota e i metodi a cui vengono applicati.
| Tipo di quota | Limite | Metodi API o descrizione |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (l'annullamento della quota di operazioni batch è condiviso con l'annullamento della quota di operazioni del cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione. |
Altre quote Google Cloud
I batch Serverless per Apache Spark utilizzano altri Google Cloud prodotti. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Serverless per Apache Spark. Per l'utilizzo di Serverless per Apache Spark è necessario utilizzare alcuni servizi, come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati facoltativamente con Serverless per Apache Spark.
Servizi obbligatori
I seguenti servizi, che applicano limiti di quota, sono necessari per creare batch Serverless per Apache Spark.
Compute Engine
I batch serverless per Apache Spark utilizzano le seguenti quote delle risorse di Compute Engine:
| Livello di computing | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Livello disco | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con la famiglia di VM N2 |
| Acceleratore GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 da 40 GB | NVIDIA_A100_GPUS |
| A100 da 80 GB | NVIDIA_A100_80GB_GPUS |
Le quote di Compute Engine sono suddivise in limiti globali
e a livello di area geografica. Questi limiti si applicano ai batch che
crei. Ad esempio, per eseguire un batch Spark con 4 core driver
(spark.driver.cores=4) e due executor con 4 core ciascuno (spark.executor.cores=4),
utilizzerai 12 CPU virtuali (4 * 3).
L'utilizzo di questo batch verrà conteggiato nel limite di quota a livello di regione di 24 CPU virtuali.
Risorse batch predefinite
Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:
| Elemento | Risorse utilizzate |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Disco permanente | 1200 GiB |
Cloud Logging
Serverless per Apache Spark salva l'output e i log dei batch in Cloud Logging. La quota di Cloud Logging si applica ai tuoi batch Serverless per Apache Spark.
Servizi facoltativi
I seguenti servizi, che hanno limiti di quota, possono essere utilizzati in maniera facoltativa con i batch Serverless per Apache Spark.
BigQuery
Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.
Bigtable
Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.
Identificare i workload con limitazioni di quota o indirizzo IP
Puoi utilizzare le seguenti query Cloud Logging per identificare i carichi di lavoro Serverless per Apache Spark che hanno raggiunto la quota o non sono stati in grado di scalare a causa dell'esaurimento degli indirizzi IP.
Query sulla quota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Query di esaurimento degli indirizzi IP:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"