Quote e limiti di Vertex AI

Numero di chip TPU v6e per l'inferenza, per regione
Regione	Valore
us-west1	Non disponibile
us-west2	Non disponibile
us-west3	Non disponibile
us-west4	Non disponibile
us-central1	Non disponibile
us-east1	0
us-east4	Non disponibile
us-east5	0
us-south1	Non disponibile
northamerica-northeast1	Non disponibile
northamerica-northeast2	Non disponibile
southamerica-east1	Non disponibile
southamerica-west1	Non disponibile
europe-west2	Non disponibile
europe-west1	Non disponibile
europe-west4	0
europe-west6	Non disponibile
europe-west3	Non disponibile
europe-north1	Non disponibile
europe-central2	Non disponibile
europe-west8	Non disponibile
europe-west9	Non disponibile
europe-southwest1	Non disponibile
asia-south1	Non disponibile
asia-southeast1	Non disponibile
asia-southeast2	Non disponibile
asia-east2	Non disponibile
asia-east1	Non disponibile
asia-northeast1	0
asia-northeast2	Non disponibile
australia-southeast1	Non disponibile
australia-southeast2	Non disponibile
asia-northeast3	Non disponibile
me-west1	Non disponibile
me-central1	Non disponibile
me-central2	Non disponibile
europe-west12	Non disponibile
africa-south1	Non disponibile

Limiti dei modelli addestrati personalizzati

I seguenti limiti si applicano ai modelli con addestramento personalizzato Vertex AI per un determinato progetto e una determinata regione.

Pubblicazione

Limite	Valore
Numero di repliche per progetto	200
Numero di container per cluster	25.000

Vertex AI Feature Store

Questa sezione elenca le quote e i limiti per quanto segue:

• Vertex AI Feature Store

• Vertex AI Feature Store (legacy)

Vertex AI Feature Store

Le seguenti quote si applicano a un determinato progetto e a una determinata regione. Ad esempio, in un unico progetto puoi avere 200 nodi di pubblicazione online in us-central1 e altri 50 nodi in us-east4.

Quota	Valore
Richieste di servizio online al minuto	300.000
Numero massimo di istanze FeatureOnlineStore	10
Numero massimo di richieste di ricerca al minuto	6.000.000
Numero massimo di nodi per la distribuzione online in tutte le istanze Optimized FeatureOnlineStore nel progetto	80
Numero massimo di istanze FeatureView in tutte le istanze FeatureOnlineStore	30

Vertex AI Feature Store presenta anche i seguenti limiti. Non puoi richiedere un aumento di nessuno dei limiti nella tabella seguente:

Limite	Valore
Numero massimo di risorse FeatureGroup in un progetto e in una località	250
Numero massimo di risorse Feature all'interno di un FeatureGroup	10.000
Dimensione massima dei dati delle funzionalità per entità	5 MB
Numero di ID entità per richiesta di pubblicazione online (FetchFeatureValues)	1
Lunghezza massima di un ID entità	4076 caratteri
Limite di spazio di archiviazione per un nodo per la distribuzione online ottimizzata	200 GB

Vertex AI Feature Store (legacy)

Le seguenti quote si applicano a un determinato progetto e a una determinata regione. Ad esempio, in un singolo progetto, puoi avere 75 job batch simultanei in us-central1 e altri 75 job in europe-west4.

Quota	Valore
Richieste di servizio online al minuto	300.000
Richieste di importazione in streaming al minuto	60.000
Velocità effettiva di scrittura dell'importazione di flussi di dati al minuto	1,2 GB
Richieste di creazione di funzionalità al minuto	100
Nodi di pubblicazione online in tutti gli feature store	30
Job batch simultanei (valori delle caratteristiche di importazione, recupero dati e eliminazione combinati)	75
Richieste simultanee di eliminazione dei valori delle funzionalità	1
Tipi di entità in tutti i featurestore	75

Vertex AI Feature Store (legacy) ha anche i seguenti limiti. Non puoi richiedere un aumento di nessuno dei limiti nella tabella seguente:

Limite	Valore
Limite di spazio di archiviazione per un nodo di pubblicazione online	5 TB
Dati totali nell'archivio offline	Illimitato
Funzionalità per tipo di entità	5000
Numero di richieste di creazione, aggiornamento ed eliminazione di feature store al giorno per progetto per regione	500
Per l'importazione di flussi di dati, le dimensioni per richiesta	1 MB
Per la lettura in streaming, il numero di entità che possono essere incluse per richiesta	100
Per l'importazione batch, il numero di file che possono essere inclusi per richiesta	5000 per Avro o 500 per CSV
Per il recupero dati in batch e le esportazioni, il numero di funzionalità che puoi richiedere	5000
Per l'importazione batch e l'importazione di flussi di dati, il timestamp meno recente per cui è possibile importare i dati delle caratteristiche	4000 giorni dalla data corrente

Il limite di conservazione dei dati in Vertex AI Feature Store (legacy) ha il seguente valore predefinito, che puoi sostituire:

Valori predefiniti di conservazione dei dati	Valore predefinito
Conservazione dei dati nell'archivio offline (timestamp del valore della funzionalità meno recente dopo il quale i valori vengono eliminati)	4000 giorni dalla data corrente
Conservazione dei dati nell'archivio online (timestamp del valore della funzionalità meno recente dopo il quale i valori vengono eliminati)	4000 giorni dalla data corrente

Puoi ignorare il limite di conservazione dei dati nei seguenti modi:

• Per ignorare il limite di conservazione dei dati per l'archivio online, imposta il parametro online_storage_ttl_days durante la creazione o l'aggiornamento di un archivio di caratteristiche.

• Per ignorare il limite di conservazione dei dati per l'archivio offline, imposta il parametro offline_storage_ttl_days durante la creazione o l'aggiornamento di un tipo di entità.

Ricerca vettoriale

Le seguenti quote si applicano a Vector Search per un determinato progetto in ogni regione.

Vertex ML Metadata

I seguenti limiti si applicano a Vertex ML Metadata per un determinato progetto in ogni regione.

Vertex AI Pipelines

Le seguenti quote e limiti si applicano a Vertex AI Pipelines per un determinato progetto in ogni regione.

^* Le richieste di esecuzione di pipeline e attività oltre questo limite vengono messe in coda fino a quando non sono disponibili risorse.

Vertex AI Pipelines presenta i seguenti limiti. Tieni presente che, a differenza delle quote, non puoi richiedere un aumento di un limite.

^* Le attività della pipeline in esecuzione oltre questo limite vengono annullate.

Quote e limiti di Colab Enterprise

Le quote e i limiti di Colab Enterprise sono elencati separatamente. Consulta Quote e limiti di Colab Enterprise.

Aumenti di quota

Se vuoi aumentare una delle quote per Vertex AI, puoi utilizzare la Google Cloud console per richiedere un aumento di quota.

Per ulteriori informazioni sull'invio di una richiesta di aumento della quota, consulta le seguenti sezioni di Visualizza e gestisci le quote:

• Richiedi un aggiustamento delle quote

Quote per regione e modello

Visualizzare e modificare le quote nella console Google Cloud

Per visualizzare e modificare le quote nella console Google Cloud :

1. Vai alla pagina Quote e limiti di sistema.

Vai a Quote e limiti di sistema

2. Per modificare la quota, copia e incolla la proprietà aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model nel filtro. Premi Invio.
3. Fai clic sui tre puntini alla fine della riga e seleziona Modifica quota.
4. Inserisci un nuovo valore di quota nel riquadro e fai clic su Invia richiesta.

Visualizzare le quote di richieste al minuto (RPM) per regione e per modello

Per impostazione predefinita, i modelli 2.0 e successivi utilizzano la quota condivisa dinamica (DSQ).

Scegli una regione per visualizzare le quote per ogni modello disponibile:

Aumentare le quote

Se vuoi aumentare una delle quote per l'AI generativa su Vertex AI, puoi utilizzare la Google Cloud console per richiedere un aumento di quota.

Quote di RAG Engine

Per ogni servizio che esegue la generazione aumentata dal recupero (RAG) utilizzando RAG Engine, si applicano le seguenti quote, con la quota misurata come richieste al minuto (RPM).

Servizio	Quota	Metrica
API di gestione dei dati di RAG Engine	60 RPM	VertexRagDataService requests per minute per region
RetrievalContexts API	1500 giri/minuto	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1500 giri/minuto	Online prediction requests per base model per minute per region per base_model Un altro filtro che puoi specificare è base_model: textembedding-gecko

I limiti sono i seguenti:

Servizio	Limite	Metrica
Richieste ImportRagFiles simultanee	3 RPM	VertexRagService concurrent import requests per region
Numero massimo di file per richiesta ImportRagFiles	10.000	VertexRagService import rag files requests per region

Per ulteriori limiti di frequenza e quote, consulta Limiti di frequenza dell'AI generativa su Vertex AI.

Richieste batch

Le quote e i limiti per i job di inferenza batch sono gli stessi in tutte le regioni.

Limiti dei job di inferenza batch simultanei per i modelli Gemini

Non esistono limiti di quota predefiniti per l'inferenza batch per i modelli Gemini. Il servizio batch fornisce invece l'accesso a un ampio pool condiviso di risorse, allocate dinamicamente in base alla disponibilità e alla domanda in tempo reale del modello per tutti i clienti. Quando più clienti sono attivi e hanno saturato la capacità del modello, le richieste batch potrebbero essere inserite in coda per capacità.

Quote di job di inferenza batch simultanei

La seguente tabella elenca le quote per il numero di job di inferenza batch simultanei, che non si applicano ai modelli Gemini:

Quota	Valore
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Se il numero di attività inviate supera la quota allocata, le attività vengono inserite in una coda ed elaborate quando la capacità della quota diventa disponibile.

Quote dei modelli addestrati personalizzati

Le seguenti quote si applicano ai modelli ottimizzati di AI generativa su Vertex AI per un determinato progetto e una determinata regione:

Quota	Valore
Core pod TPU V3 per regione per l'addestramento di immagini con limitazioni * Regione supportata: europe-west4	64
Addestramento di immagini con limitazioni GPU Nvidia A100 da 80 GB per regione * Regione supportata: us-central1 * Regione supportata: us-east4	8 2

* Gli scenari di ottimizzazione prevedono prenotazioni di acceleratori in regioni specifiche. Le quote per l'ottimizzazione sono supportate e devono essere richieste in regioni specifiche.

Limiti di incorporamento del testo

Ogni richiesta del modello di incorporamento di testo può contenere fino a 250 testi di input (generando 1 incorporamento per testo di input) e 20.000 token per richiesta. Per calcolare gli incorporamenti vengono utilizzati solo i primi 2048 token di ogni testo di input. Per gemini-embedding-001, ogni richiesta può includere un solo testo di input. La quota per questo modello è elencata sotto il nome gemini-embedding.

Token di input dei contenuti incorporati al minuto per modello di base

A differenza dei precedenti modelli di incorporamento, limitati principalmente dalle quote RPM, la quota per il modello di incorporamento Gemini limita il numero di token che possono essere inviati al minuto per progetto.

Quota	Valore
Token di input dei contenuti incorporati al minuto	200000

Quote di servizio di Gen AI evaluation service

Gen AI evaluation service utilizza gemini-2.0-flash come modello di valutazione predefinito per le metriche basate sul modello. Una singola richiesta di valutazione per una metrica basata su modelli potrebbe comportare più richieste sottostanti al servizio Gen AI evaluation service. La quota di ogni modello viene calcolata in base al progetto, il che significa che tutte le richieste indirizzate a gemini-2.0-flash per l'inferenza del modello e la valutazione basata su modelli contribuiscono alla quota. Le quote per Gen AI evaluation service e il modello di valutazione sottostante sono riportate nella tabella seguente:

Richiedi quota	Quota predefinita
Richieste di Gen AI evaluation service al minuto	1000 richieste per progetto per regione
Richieste di previsione online al minuto per base_model: gemini-2.0-flash	Consulta le quote per regione e modello.

Se ricevi un errore relativo alle quote durante l'utilizzo del servizio di valutazione dell'IA generativa, potresti dover presentare una richiesta di aumento della quota. Per ulteriori informazioni, consulta Visualizzare e gestire le quote.

Limite	Valore
Timeout della richiesta del servizio di valutazione dell'AI generativa	60 secondi

Quando utilizzi il servizio di valutazione dell'IA generativa per la prima volta in un nuovo progetto, potresti riscontrare un ritardo iniziale di configurazione fino a due minuti. Se la prima richiesta non va a buon fine, attendi qualche minuto e riprova. Le successive richieste di valutazione vengono in genere completate entro 60 secondi.

Il numero massimo di token di input e output per le metriche basate su modelli dipende dal modello utilizzato come modello giudice. Consulta Modelli Google per un elenco di modelli.

Quote di valutazione della pipeline

Se ricevi un errore relativo alle quote durante l'utilizzo del servizio di pipeline di valutazione, potresti dover inviare una richiesta di aumento della quota. Per ulteriori informazioni, vedi Visualizzare e gestire le quote. Il servizio di pipeline di valutazione utilizza Vertex AI Pipelines per eseguire PipelineJobs. Consulta le quote pertinenti per Vertex AI Pipelines. Di seguito sono riportati i consigli generali sulle quote:

Servizio	Quota	Consiglio
API Vertex AI	Job di previsione batch LLM simultanei per regione	Basata su punti: 1 * num_concurrent_pipelines Basata su coppie: 2 * num_concurrent_pipelines
API Vertex AI	Richieste di valutazione al minuto per regione	1000 * num_concurrent_pipelines

Inoltre, la quota pertinente per le metriche basate su modelli dipende dal modello di giudice che utilizzi:

Tasks	Quota	Modello di base	Consiglio
summarization question_answering	Richieste di previsione online per modello di base al minuto per regione per base_model	text-bison	60 * num_concurrent_pipelines

Motore Vertex AI Agent

I seguenti limiti si applicano a Vertex AI Agent Engine per un determinato progetto in ogni regione:

Risolvere i problemi relativi al codice di errore 429

Per risolvere il problema relativo all'errore 429, consulta Codice di errore 429.

Passaggi successivi

• Scopri di più su quote e limiti dell'AI generativa su Vertex AI.