Vertex AI-Kontingente und -Limits

Anzahl der v6e-TPU-Chips für die Bereitstellung pro Region
Region	Wert
us-west1	Nicht verfügbar
us-west2	Nicht verfügbar
us-west3	Nicht verfügbar
us-west4	Nicht verfügbar
us-central1	Nicht verfügbar
us-east1	0
us-east4	Nicht verfügbar
us-east5	0
us-south1	Nicht verfügbar
northamerica-northeast1	Nicht verfügbar
northamerica-northeast2	Nicht verfügbar
southamerica-east1	Nicht verfügbar
southamerica-west1	Nicht verfügbar
europe-west2	Nicht verfügbar
europe-west1	Nicht verfügbar
europe-west4	0
europe-west6	Nicht verfügbar
europe-west3	Nicht verfügbar
europe-north1	Nicht verfügbar
europe-central2	Nicht verfügbar
europe-west8	Nicht verfügbar
europe-west9	Nicht verfügbar
europe-southwest1	Nicht verfügbar
asia-south1	Nicht verfügbar
asia-southeast1	Nicht verfügbar
asia-southeast2	Nicht verfügbar
asia-east2	Nicht verfügbar
asia-east1	Nicht verfügbar
asia-northeast1	0
asia-northeast2	Nicht verfügbar
australia-southeast1	Nicht verfügbar
australia-southeast2	Nicht verfügbar
asia-northeast3	Nicht verfügbar
me-west1	Nicht verfügbar
me-central1	Nicht verfügbar
me-central2	Nicht verfügbar
europe-west12	Nicht verfügbar
africa-south1	Nicht verfügbar

Limits für benutzerdefiniert trainierte Modelle

Die folgenden Limits gelten für benutzerdefiniert trainierte Modelle von Vertex AI für angegebene Projekte und Regionen.

Serving

Limit	Wert
Anzahl der Replikate pro Projekt	200
Anzahl der Container pro Cluster	25.000

Vertex AI Feature Store

In diesem Abschnitt werden die Kontingente und Limits für Folgendes aufgeführt:

• Vertex AI Feature Store

• Vertex AI Feature Store (Legacy)

Vertex AI Feature Store

Für ein bestimmtes Projekt und eine bestimmte Region gelten die folgenden Kontingente. Sie können beispielsweise in einem einzelnen Projekt 200 Onlinebereitstellungsknoten in us-central1 und weitere 50 Knoten in us-east4 haben.

Kontingent	Wert
Anfragen zur Onlinebereitstellung pro Minute	300.000
Maximale Anzahl von FeatureOnlineStore-Instanzen	10
Maximale Anzahl von Suchanfragen pro Minute	6.000.000
Maximale Anzahl von Onlinebereitstellungsknoten für alle Optimized FeatureOnlineStore-Instanzen im Projekt	80
Maximale Anzahl von FeatureView-Instanzen für alle FeatureOnlineStore-Instanzen	30

Für Vertex AI Feature Store gelten außerdem die folgenden Limits: Für die Limits in der folgenden Tabelle können Sie keine Erhöhung beantragen:

Limit	Wert
Maximale Anzahl von FeatureGroup-Ressourcen in einem Projekt und an einem Standort	250
Maximale Anzahl von Feature-Ressourcen in einer FeatureGroup	10.000
Maximale Größe der Featuredaten pro Entität	5 MB
Anzahl der Entitäts-IDs pro Onlinebereitstellungsanfrage (FetchFeatureValues)	1
Maximale Länge einer Entitäts-ID	4.076 Zeichen
Speicherlimit für einen optimierten Online-Bereitstellungsknoten	200 GB

Vertex AI Feature Store (Legacy)

Für ein bestimmtes Projekt und eine bestimmte Region gelten die folgenden Kontingente. In einem einzelnen Projekt können Sie beispielsweise 75 gleichzeitige Batchjobs in us-central1 und weitere 75 Jobs in europe-west4 haben.

Kontingent	Wert
Anfragen zur Onlinebereitstellung pro Minute	300.000
Anfragen für Streamingaufnahme pro Minute	60.000
Schreibdurchsatz für die Streamingaufnahme pro Minute	1,2 GB
Anfragen zur Featureerstellung pro Minute	100
Online-Bereitstellungsknoten in allen Featurestores	30
Gleichzeitige Batchjobs (Aufnahme, Bereitstellung und Löschen von Featurewerten)	75
Gleichzeitige Anfragen zum Löschen von Featurewerten	1
Entitätstypen für alle Featurestores	75

Für Vertex AI Feature Store (Legacy) gelten außerdem die folgenden Limits: Für die Limits in der folgenden Tabelle können Sie keine Erhöhung beantragen:

Limit	Wert
Speicherlimit für einen Online-Bereitstellungsknoten	5 TB
Gesamtdaten im Offlinespeicher	Unbegrenzt
Features pro Entitätstyp	5.000
Anzahl der Erstellungs-, Aktualisierungs- und Löschanfragen für Featurestores pro Tag, Projekt und Region	500
Die Größe der Streamingaufnahme	1 MB
Für Streaming-Lesevorgänge die Anzahl der Entitäten, die pro Anfrage einbezogen werden können	100
Für den Batchimport die Anzahl der Dateien, die pro Anfrage einbezogen werden können	5.000 für Avro oder 500 für CSV
Für Batchbereitstellung und exporte, die Anzahl der Features, die Sie anfordern können	5.000
Der älteste Zeitstempel bei der Batchaufnahme und Streamingaufnahme, für den Featuredaten aufgenommen werden können.	4.000 Tage ab dem aktuellen Datum

Das Datenaufbewahrungslimit in Vertex AI Feature Store (Legacy) hat den folgenden Standardwert, den Sie überschreiben können:

Standardeinstellungen für die Datenaufbewahrung	Standardwert
Datenaufbewahrung im Offlinespeicher (ältester Zeitstempel für Featurewerte, nach dem die Werte gelöscht werden)	4.000 Tage ab dem aktuellen Datum
Datenaufbewahrung im Onlinespeicher (ältester Zeitstempel für Featurewerte, nach dem die Werte gelöscht werden)	4.000 Tage ab dem aktuellen Datum

Sie haben folgende Möglichkeiten, die Datenaufbewahrungsgrenze zu überschreiben:

• Wenn Sie das Datenaufbewahrungslimit für den Onlinespeicher überschreiben möchten, legen Sie den Parameter online_storage_ttl_days beim Erstellen oder Aktualisieren eines Feature Stores fest.

• Wenn Sie das Datenaufbewahrungslimit für den Offlinespeicher überschreiben möchten, legen Sie den Parameter offline_storage_ttl_days beim Erstellen oder Aktualisieren eines Entitätstyps fest.

Vektorsuche

Die folgenden Kontingente gelten für die Vektorsuche für ein bestimmtes Projekt in jeder Region.

Vertex ML Metadata

Die folgenden Limits gelten für Vertex ML Metadata für ein bestimmtes Projekt in jeder Region.

Vertex AI Pipelines

Die folgenden Kontingente und Limits gelten für Vertex AI Pipelines für ein bestimmtes Projekt in jeder Region.

^* Anfragen zur Pipelineausführung und Aufgaben über dieses Limit hinaus werden in die Warteschlange gestellt, bis Ressourcen verfügbar sind.

Für Vertex AI Pipelines gelten die folgenden Limits. Beachten Sie, dass Sie im Gegensatz zu Kontingenten keine Erhöhung eines Limits anfordern können.

^* Pipeline-Aufgaben, die dieses Limit überschreiten, werden abgebrochen.

Kontingente und Limits für Colab Enterprise

Kontingente und Limits für Colab Enterprise werden separat aufgeführt. Weitere Informationen finden Sie unter Kontingente und Limits für Colab Enterprise.

Kontingent erhöhen

Wenn Sie eines der Kontingente für Vertex AI erhöhen möchten, können Sie über die Google Cloud Console eine Kontingenterhöhung anfordern.

Weitere Informationen zum Senden einer Anfrage zur Kontingenterhöhung finden Sie in den folgenden Abschnitten unter Kontingente aufrufen und verwalten:

• Kontingentanpassung anfordern

Kontingente nach Region und Modell

Kontingente in der Google Cloud -Console ansehen und bearbeiten

So rufen Sie die Kontingente in der Google Cloud -Konsole auf und bearbeiten sie:

1. Rufen Sie die Seite Kontingente und Systemlimits auf.

Zur Seite „Kontingente und Systemlimits“

2. Um das Kontingent anzupassen, kopieren Sie das Attribut aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model und fügen Sie es in den Filter ein. Drücken Sie die Eingabetaste.
3. Klicken Sie auf das Dreipunkt-Menü am Ende der Zeile und wählen Sie Kontingent bearbeiten aus.
4. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

Kontingente für Anfragen pro Minute nach Region und Modell ansehen

Standardmäßig verwenden Modelle ab Version 2.0 das dynamische freigegebene Kontingent.

Wählen Sie eine Region aus, um die Kontingente für jedes verfügbare Modell aufzurufen:

Kontingente erhöhen

Wenn Sie eines der Kontingente für generative KI auf Vertex AI erhöhen möchten, können Sie über die Google Cloud Console eine Kontingenterhöhung anfordern.

Kontingente für RAG Engine

Für jeden Dienst, der RAG (Retrieval Augmented Generation) mit RAG Engine ausführt, gelten die folgenden Kontingente. Das Kontingent wird als Anfragen pro Minute (RPM) gemessen.

Dienst	Kontingent	Messwert
APIs zur Datenverwaltung für die RAG Engine	60 U/min	VertexRagDataService requests per minute per region
RetrievalContexts API	1.500 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1.500 RPM	Online prediction requests per base model per minute per region per base_model Ein weiterer Filter, den Sie angeben können, ist base_model: textembedding-gecko

Die folgenden Begrenzungen gelten:

Dienst	Limit	Messwert
Gleichzeitige ImportRagFiles-Anfragen	3 RPM	VertexRagService concurrent import requests per region
Maximale Anzahl von Dateien pro ImportRagFiles-Anfrage	10.000	VertexRagService import rag files requests per region

Weitere Ratenbegrenzungen und Kontingente finden Sie unter Ratenbegrenzungen für generative KI in Vertex AI.

Batchanfragen

Die Kontingente und Limits für Batchinferenzjobs sind in allen Regionen gleich.

Gleichzeitige Batchinferenzjob-Limits für Gemini-Modelle

Für die Batchinferenz für Gemini-Modelle gibt es keine vordefinierten Kontingentlimits. Stattdessen bietet der Batch-Dienst Zugriff auf einen großen, gemeinsamen Ressourcenpool, der dynamisch zugewiesen wird, basierend auf der Echtzeitverfügbarkeit des Modells und der Nachfrage aller Kunden nach diesem Modell. Wenn mehr Kunden aktiv sind und die Kapazität des Modells überschritten wird, werden Ihre Batchanfragen möglicherweise in die Warteschlange gestellt.

Kontingente für gleichzeitige Batchinferenzjobs

In der folgenden Tabelle sind die Kontingente für die Anzahl der gleichzeitigen Batch-Inferenzjobs aufgeführt, die nicht für Gemini-Modelle gelten:

Kontingent	Wert
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Wenn die Anzahl der eingereichten Aufgaben das zugewiesene Kontingent überschreitet, werden die Aufgaben in eine Warteschlange gestellt und verarbeitet, sobald Kontingentkapazität verfügbar ist.

Kontingente für benutzerdefiniert trainierte Modelle

Die folgenden Kontingente gelten für Generative AI von Vertex AI-Modellen für ein bestimmtes Projekt und eine bestimmte Region:

Kontingent	Wert
Eingeschränkte Image-Trainings-TPU V3 Pod-Kerne pro Region * unterstützte Region - europe-west4	64
Eingeschränktes Bildtraining Nvidia A100 80 GB GPUs pro Region * unterstützte Region - us-central1 * unterstützte Region - us-east4	8 2

* Feinabstimmungsszenarien haben Beschleunigerreservierungen in bestimmten Regionen. Kontingente für die Feinabstimmung werden unterstützt und müssen in bestimmten Regionen angefordert werden.

Beschränkungen für Texteinbettungen

Jede Anfrage für ein Text-Embedding-Modell kann bis zu 250 Eingabetexte (mit jeweils einem Embedding) und 20.000 Tokens pro Anfrage enthalten. Für die Berechnung der Einbettungen werden nur die ersten 2.048 Tokens in jedem Eingabetext verwendet. Für gemini-embedding-001 kann jede Anfrage nur einen einzelnen Eingabetext enthalten. Das Kontingent für dieses Modell wird unter dem Namen gemini-embedding aufgeführt.

Eingabetokens für eingebettete Inhalte pro Minute und Basismodell

Im Gegensatz zu früheren Einbettungsmodellen, die hauptsächlich durch RPM-Kontingente begrenzt waren, wird das Kontingent für das Gemini Embedding-Modell durch die Anzahl der Tokens begrenzt, die pro Minute und Projekt gesendet werden können.

Kontingent	Wert
Eingabetokens für das Einbetten von Inhalten pro Minute	200000

Dienstkontingente für den Gen AI Evaluation Service

Der Gen AI Evaluation Service verwendet gemini-2.0-flash als Standardmodell für modellbasierte Messwerte. Eine einzelne Bewertungsanfrage für einen modellbasierten Messwert kann zu mehreren zugrunde liegenden Anfragen an den Gen AI Evaluation Service führen. Das Kontingent jedes Modells wird auf Projektbasis berechnet. Das bedeutet, dass alle Anfragen, die zur Modellinferenz und zur modellbasierten Bewertung an gemini-2.0-flash gerichtet werden, zum Kontingent beitragen. Die Kontingente für den Gen AI Evaluation Service und das zugrunde liegende Judge-Modell sind in der folgenden Tabelle aufgeführt:

Kontingent anfordern	Standardkontingent
Anfragen pro Minute für den Gen AI Evaluation Service	1.000 Anfragen pro Projekt und Region
Anfragen für Onlinevorhersagen pro Minute für base_model: gemini-2.0-flash	Weitere Informationen finden Sie unter Kontingente nach Region und Modell.

Wenn Sie bei der Verwendung des Gen AI Evaluation Service einen Fehler im Zusammenhang mit Kontingenten erhalten, müssen Sie möglicherweise eine Kontingenterhöhung beantragen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.

Limit	Wert
Zeitlimit für Anfragen an den Gen AI Evaluation Service	60 Sekunden

Wenn Sie den Gen AI-Bewertungsdienst zum ersten Mal in einem neuen Projekt verwenden, kann es bei der ersten Einrichtung zu einer Verzögerung von bis zu zwei Minuten kommen. Wenn Ihre erste Anfrage fehlschlägt, warten Sie einige Minuten und versuchen Sie es dann noch einmal. Nachfolgende Bewertungsanfragen werden in der Regel innerhalb von 60 Sekunden abgeschlossen.

Die maximalen Eingabe- und Ausgabetokens für modellbasierte Messwerte hängen vom Modell ab, das als Judge-Modell verwendet wird. Eine Liste der Modelle finden Sie unter Google-Modelle.

Kontingente für die Pipelinebewertung

Wenn Sie bei der Verwendung des Pipelines-Bewertungsdienstes einen Fehler im Zusammenhang mit Kontingenten erhalten, müssen Sie möglicherweise eine Kontingenterhöhung beantragen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten. Der Pipelines-Bewertungsdienst verwendet Vertex AI Pipelines, um PipelineJobs auszuführen. Relevante Kontingente für Vertex AI Pipelines Im Folgenden finden Sie allgemeine Empfehlungen für Kontingente:

Dienst	Kontingent	Empfehlung
Vertex AI API	Gleichzeitige LLM-Batchvorhersagejobs pro Region	Punktweise: 1 * num_concurrent_pipelines Paarweise: 2 * num_concurrent_pipelines
Vertex AI API	Bewertungsanfragen pro Minute und Region	1.000 * num_concurrent_pipelines

Außerdem hängt das relevante Kontingent für modellbasierte Messwerte davon ab, welches Judge-Modell Sie verwenden:

Google Tasks	Kontingent	Basismodell	Empfehlung
summarization question_answering	Anfragen für Onlinevorhersagen pro Basismodell pro Minute und Region pro base_model	text-bison	60 * num_concurrent_pipelines

Vertex AI Agent Engine

Die folgenden Limits gelten für Vertex AI Agent Engine für ein bestimmtes Projekt in jeder Region:

Probleme mit Fehlercode 429 beheben

Informationen zur Fehlerbehebung bei Fehler 429 finden Sie unter Fehlercode 429.

Nächste Schritte

• Weitere Informationen zu Kontingenten und Limits für generative KI in Vertex AI