Se il numero di richieste supera la capacità allocata per l'elaborazione delle richieste, viene restituito il codice di errore 429. La tabella seguente mostra il
messaggio di errore generato da ogni tipo di framework delle quote:
| Framework per le quote | Messaggio |
|---|---|
| Pagamento a consumo | Resource exhausted, please try again later. |
| Throughput riservato | Too many requests. Exceeded the Provisioned Throughput. |
Con un abbonamento al Throughput riservato, puoi riservare una
quantità di throughput per modelli di AI generativa specifici. Se non hai un abbonamento
Provisioned Throughput e le risorse non sono disponibili
per la tua applicazione, viene restituito un codice di errore 429. Anche se non hai
capacità riservata, puoi riprovare a inviare la richiesta. Tuttavia, la richiesta
non viene conteggiata ai fini della percentuale di errore, come descritto nell'accordo sul livello di
servizio (SLA).
Per i progetti che hanno acquistato il throughput di cui è stato eseguito il provisioning, Vertex AI misura il throughput di un progetto e riserva la quantità di throughput acquistata per l'utilizzo effettivo del progetto.
Per la capacità di trasmissione di cui è stato eseguito il provisioning standard, quando utilizzi un importo inferiore a quello acquistato, gli errori che altrimenti potrebbero essere 429 vengono restituiti come 5XX e vengono conteggiati ai fini del tasso di errore SLA. Per il throughput di cui è stato eseguito il provisioning a zona singola,
quando utilizzi un importo inferiore a quello acquistato, gli errori 429 correlati alla capacità
vengono trattati come 5XX, ma non vengono conteggiati ai fini del tasso di errore dello SLA. Quando superi l'importo
acquistato, le richieste aggiuntive vengono elaborate on demand con pagamento a consumo.
Pagamento a consumo
Nel framework delle quote con pagamento a consumo, hai le seguenti opzioni per
risolvere gli errori 429:
- Se possibile, utilizza l'endpoint globale anziché un endpoint regionale.
- Implementa una strategia di ripetizione utilizzando il backoff esponenziale troncato.
- Se il tuo modello utilizza quote, puoi inviare una richiesta di aumento della quota (QIR). Se il tuo modello utilizza la quota condivisa dinamica, può essere utile uniformare il traffico e ridurre i picchi elevati. Per ulteriori informazioni, consulta Quota condivisa dinamica (DSQ).
- Abbonati al throughput riservato per un livello di servizio più coerente. Per saperne di più, consulta la sezione Throughput riservato.
Throughput riservato
Per correggere l'errore 429 generato da Provisioned Throughput, procedi nel seguente modo:
- Utilizza l'esempio di comportamento predefinito, che non imposta un'intestazione nelle richieste di previsione. Eventuali superamenti vengono elaborati on demand e fatturati in base al pagamento a consumo.
- Aumenta il numero di GSU nell'abbonamento al throughput di cui è stato eseguito il provisioning.
Passaggi successivi
- Per saperne di più sulla quota condivisa dinamica, consulta Quota condivisa dinamica.
- Per scoprire di più sul throughput riservato, consulta Throughput riservato.
- Per scoprire di più su quote e limiti per Vertex AI, consulta la pagina Quote e limiti di Vertex AI.
- Per saperne di più sulle quote e sui limiti di sistema, consulta la documentazione di Cloud Quotas. Google Cloud
- Per scoprire di più sugli errori relativi all'API, consulta la sezione Errori relativi all'API.