Quotas et limites de Vertex AI

Nombre de puces TPU v6e pour la diffusion, par région
Région	Valeur
us-west1	Non disponible
us-west2	Non disponible
us-west3	Non disponible
us-west4	Non disponible
us-central1	Non disponible
us-east1	0
us-east4	Non disponible
us-east5	0
us-south1	Non disponible
northamerica-northeast1	Non disponible
northamerica-northeast2	Non disponible
southamerica-east1	Non disponible
southamerica-west1	Non disponible
europe-west2	Non disponible
europe-west1	Non disponible
europe-west4	0
europe-west6	Non disponible
europe-west3	Non disponible
europe-north1	Non disponible
europe-central2	Non disponible
europe-west8	Non disponible
europe-west9	Non disponible
europe-southwest1	Non disponible
asia-south1	Non disponible
asia-southeast1	Non disponible
asia-southeast2	Non disponible
asia-east2	Non disponible
asia-east1	Non disponible
asia-northeast1	0
asia-northeast2	Non disponible
australia-southeast1	Non disponible
australia-southeast2	Non disponible
asia-northeast3	Non disponible
me-west1	Non disponible
me-central1	Non disponible
me-central2	Non disponible
europe-west12	Non disponible
africa-south1	Non disponible

Limites des modèles entraînés personnalisés

Les limites suivantes s'appliquent aux modèles personnalisés Vertex AI pour un projet et une région donnés.

Diffusion

Limite	Valeur
Nombre de répliques par projet	200
Nombre de conteneurs par cluster	25 000

Vertex AI Feature Store

Cette section répertorie les quotas et limites pour les éléments suivants :

• Vertex AI Feature Store

• Vertex AI Feature Store (ancien)

Vertex AI Feature Store

Les quotas suivants s'appliquent à un projet et à une région donnés. Par exemple, dans un seul projet, vous pouvez avoir 200 nœuds de livraison en ligne dans us-central1 et 50 nœuds dans us-east4.

Quota	Valeur
Requêtes de livraison en ligne par minute	300 000
Nombre maximal d'instances FeatureOnlineStore	10
Nombre maximal de requêtes de recherche par minute	6 000 000
Nombre maximal de nœuds de diffusion en ligne sur toutes les instances FeatureOnlineStore optimisées du projet	80
Nombre maximal d'instances FeatureView sur toutes les instances FeatureOnlineStore	30

Vertex AI Feature Store peut également présenter les limites suivantes. Vous ne pouvez pas demander d'augmentation de ces limites dans le tableau suivant :

Limite	Valeur
Nombre maximal de ressources FeatureGroup dans un projet et un emplacement	250
Nombre maximal de ressources Feature dans un FeatureGroup	10 000
Taille maximale des données de caractéristique par entité	5 Mo
Nombre d'ID d'entité par requête de livraison en ligne (FetchFeatureValues)	1
Longueur maximale d'un ID d'entité	4 076 caractères
Limite de stockage pour un nœud de livraison en ligne optimisée	200 Go

Vertex AI Feature Store (ancien)

Les quotas suivants s'appliquent à un projet et à une région donnés. Par exemple, dans un seul projet, vous pouvez avoir 75 tâches par lot simultanées dans us-central1 et 75 autres tâches dans europe-west4.

Quota	Valeur
Requêtes de livraison en ligne par minute	300 000
Requêtes d'ingestion en flux continu par minute	60 000
Débit d'écriture par minute pour l'ingestion en flux continu	1,2 Go
Requêtes de création de caractéristiques par minute	100
Nœuds de livraison en ligne dans tous les magasins de caractéristiques	30
Tâches par lot simultanées (ingestion, diffusion et suppression des valeurs de caractéristiques combinées)	75
Requêtes simultanées pour supprimer les valeurs de caractéristiques	1
Types d'entités dans tous les featurestores	75

Vertex AI Feature Store (ancien) présente également les limites suivantes. Vous ne pouvez pas demander d'augmentation de ces limites dans le tableau suivant :

Limite	Valeur
Limite de stockage pour un nœud de diffusion en ligne	5 To
Quantité totale de données dans le magasin hors connexion	Illimité
Fonctionnalités par type d'entité	5 000
Nombre de requêtes de création, de mise à jour et de suppression de featurestore par jour, par projet et par région	500
Taille par requête pour l'ingestion en flux continu	1 Mo
Nombre d'entités pouvant être incluses par requête en lecture en streaming	100
Nombre de fichiers pouvant être inclus par requête pour l'importation par lot	5 000 pour Avro ou 500 pour CSV
Nombre de caractéristiques pouvant être demandées pour la diffusion et l'exportation par lots	5 000
Pour l'ingestion par lots et l'ingestion en flux continu, code temporel le plus ancien pour lequel des données de caractéristiques peuvent être ingérées	4 000 jours à compter de la date actuelle

La limite de conservation des données par défaut de Vertex AI Feature Store (ancien) (pouvant être ignorée) est la suivante :

Valeurs par défaut de conservation des données	Valeur par défaut
Conservation des données dans l'espace de stockage hors ligne (ancien code temporel de la valeur de caractéristique après lequel les valeurs sont supprimées)	4 000 jours à partir de la date actuelle
Conservation des données dans l'espace de stockage en ligne (ancien code temporel de la valeur de caractéristique après lequel les valeurs sont supprimées)	4 000 jours à partir de la date actuelle

Vous pouvez remplacer la limite de conservation des données de différentes manières :

• Pour ignorer la limite de conservation des données de l'espace de stockage en ligne, définissez le paramètre online_storage_ttl_days lors de la création ou de la mise à jour d'un magasin de caractéristiques.

• Pour ignorer la limite de conservation des données du magasin hors connexion, définissez le paramètre offline_storage_ttl_days lors de la création ou de la mise à jour d'un type d'entité.

Vector Search

Les quotas suivants s'appliquent à Vector Search pour un projet donné dans chaque région.

Vertex ML Metadata

Les limites suivantes s'appliquent à Vertex ML Metadata pour un projet donné dans chaque région.

Vertex AI Pipelines

Les quotas et limites suivants s'appliquent à Vertex AI Pipelines pour un projet donné dans chaque région.

^* Les exécutions de pipeline / les requêtes de tâche dépassant cette limite sont mises en file d'attente jusqu'à ce que des ressources soient disponibles.

Vertex AI Pipelines est soumis aux limites suivantes. Notez que, contrairement aux quotas, vous ne pouvez pas demander d'augmentation de limite.

^* Les tâches de pipeline qui dépassent cette limite sont annulées.

Quotas et limites de Colab Enterprise

Les quotas et limites de Colab Enterprise sont répertoriés séparément. Consultez les quotas et limites de Colab Enterprise.

Augmentation des quotas

Si vous souhaitez augmenter vos quotas pour Vertex AI, vous pouvez en faire la demande via la console Google Cloud .

Pour en savoir plus sur l'envoi d'une demande d'augmentation de quota, consultez les sections suivantes de la page Afficher et gérer les quotas :

• Demander un ajustement de quota

Quotas par région et par modèle

Afficher et modifier les quotas dans la console Google Cloud

Pour afficher et modifier les quotas dans la console Google Cloud , procédez comme suit :

1. Accédez à la page Quotas et limites du système.

Accéder à la page "Quotas et limites du système"

2. Pour ajuster le quota, copiez et collez la propriété aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model dans le filtre. Appuyez sur Entrée.
3. Cliquez sur les trois points à la fin de la ligne, puis sélectionnez Modifier le quota.
4. Saisissez une nouvelle valeur de quota dans le volet, puis cliquez sur Envoyer la demande.

Afficher les quotas de requêtes par minute (RPM) par région et par modèle

Par défaut, les modèles 2.0 et ultérieurs utilisent le quota partagé dynamique (QPD).

Choisissez une région pour afficher les quotas de chaque modèle disponible :

Augmenter les quotas

Si vous souhaitez augmenter vos quotas pour l'IA générative sur Vertex AI, vous pouvez en faire la demande via la console Google Cloud .

Quotas du moteur RAG

Pour que chaque service effectue une génération augmentée par récupération (RAG) à l'aide du moteur RAG, les quotas suivants s'appliquent. Ils sont mesurés en requêtes par minute (RPM).

Service	Quota	Métrique
API de gestion des données du moteur RAG	60 tr/min	VertexRagDataService requests per minute per region
RetrievalContexts API	1 500 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1 500 RPM	Online prediction requests per base model per minute per region per base_model Un autre filtre que vous pouvez spécifier est base_model: textembedding-gecko

Les limites suivantes s'appliquent :

Service	Limite	Métrique
Requêtes ImportRagFiles simultanées	3 RPM	VertexRagService concurrent import requests per region
Nombre maximal de fichiers par requête ImportRagFiles	10 000	VertexRagService import rag files requests per region

Pour en savoir plus sur les limites de débit et les quotas, consultez Limites de débit de l'IA générative sur Vertex AI.

Requêtes par lot

Les quotas et les limites des jobs d'inférence par lot sont les mêmes dans toutes les régions.

Limites de tâches d'inférence par lot simultanées pour les modèles Gemini

Il n'existe aucune limite de quota prédéfinie pour l'inférence par lot pour les modèles Gemini. Au lieu de cela, le service de traitement par lot donne accès à un grand pool de ressources partagées, allouées de manière dynamique en fonction de la disponibilité en temps réel du modèle et de la demande pour ce modèle auprès de tous les clients. Lorsque davantage de clients sont actifs et que la capacité du modèle est saturée, vos requêtes par lot peuvent être mises en file d'attente en raison de la capacité.

Quotas de tâches d'inférence par lot simultanées

Le tableau suivant répertorie les quotas pour le nombre de jobs d'inférence par lot simultanés, qui ne s'appliquent pas aux modèles Gemini :

Quota	Valeur
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Si le nombre de tâches envoyées dépasse le quota alloué, elles sont placées dans une file d'attente et traitées lorsque la capacité de quota devient disponible.

Quotas de modèles entraînés personnalisés

Les quotas suivants s'appliquent aux modèles réglés de l'IA générative sur Vertex AI pour un projet et une région donnés:

Quota	Valeur
Cœurs de pods TPU V3 d'entraînement d'image restreint par région * Région compatible - europe-west4	64
GPU Nvidia A100 80 Go pour l'entraînement d'images restreint par région * Région compatible - us-central1 * Région compatible - us-east4	8 2

* Les scénarios de réglage comportent des réservations d'accélérateurs dans des régions spécifiques. Les quotas de réglage sont compatibles et doivent être demandés dans des régions spécifiques.

Limites d'embedding textuel

Chaque requête de modèle d'embedding de texte peut comporter jusqu'à 250 textes d'entrée (générant un embedding par texte d'entrée) et 20 000 jetons par requête. Seuls les 2 048 premiers jetons de chaque texte d'entrée sont utilisés pour calculer les embeddings. Pour gemini-embedding-001, chaque requête ne peut inclure qu'un seul texte d'entrée. Le quota pour ce modèle est indiqué sous le nom gemini-embedding.

Jetons d'entrée de contenu à intégrer par minute et par modèle de base

Contrairement aux modèles d'embedding précédents, qui étaient principalement limités par des quotas de requêtes par minute, le quota du modèle Gemini Embedding limite le nombre de jetons pouvant être envoyés par minute et par projet.

Quota	Valeur
Jetons d'entrée de contenu à intégrer par minute	200000

Quotas de Gen AI Evaluation Service

Le service d'évaluation de l'IA générative utilise gemini-2.0-flash comme modèle d'évaluation par défaut pour les métriques basées sur un modèle. Une seule requête d'évaluation pour une métrique basée sur un modèle peut entraîner plusieurs requêtes sous-jacentes adressées à Gen AI Evaluation Service. Le quota de chaque modèle est calculé par projet, ce qui signifie que toutes les requêtes dirigées vers gemini-2.0-flash pour l'inférence de modèle et l'évaluation basée sur les modèles contribuent au quota. Les quotas pour le service d'évaluation de l'IA générative et le modèle d'évaluation sous-jacent sont indiqués dans le tableau suivant :

Demander un quota	Quota par défaut
Requêtes de Gen AI Evaluation Service par minute	1 000 requêtes par projet et par région
Requêtes de prédiction en ligne par minute pour base_model: gemini-2.0-flash	Consultez la section Quotas par région et par modèle.

Si vous recevez une erreur liée aux quotas lors de l'utilisation du service d'évaluation de l'IA générative, vous devrez peut-être envoyer une demande d'augmentation de quota. Pour en savoir plus, consultez Afficher et gérer les quotas.

Limite	Valeur
Délai de requête Gen AI Evaluation Service	60 secondes

Lorsque vous utilisez le service d'évaluation de l'IA générative pour la première fois dans un nouveau projet, vous pouvez rencontrer un délai de configuration initiale de deux minutes. Si votre première requête échoue, attendez quelques minutes, puis réessayez. Les requêtes d'évaluation ultérieures sont généralement traitées dans un délai de 60 secondes.

Le nombre maximal de jetons d'entrée et de sortie pour les métriques basées sur un modèle dépend du modèle utilisé comme modèle de jugement. Pour obtenir la liste des modèles, consultez Modèles Google.

Quotas d'évaluation de pipeline

Si vous recevez une erreur liée aux quotas lors de l'utilisation du service de pipelines d'évaluation, vous devrez peut-être envoyer une demande d'augmentation de quota. Pour en savoir plus, consultez Afficher et gérer les quotas. Le service de pipelines d'évaluation utilise Vertex AI Pipelines pour exécuter PipelineJobs. Consultez les quotas correspondants pour Vertex AI Pipelines. Voici les recommandations générales de quotas:

Service	Quota	Recommandation
API Vertex AI	Tâches de prédiction par lot LLM simultanées par région	Par point : 1 * num_concurrent_pipelines Par pair : 2 * num_concurrent_pipelines
API Vertex AI	Requêtes d'évaluation par minute et par région	1000 * num_concurrent_pipelines

De plus, le quota approprié pour les métriques basées sur un modèle dépend du modèle de juge que vous utilisez :

Tasks	Quota	Modèle de base	Recommandation
summarization question_answering	Requêtes de prédiction en ligne par modèle de base par minute, par région et par base_model	text-bison	60 * num_concurrent_pipelines

Vertex AI Agent Engine

Les limites suivantes s'appliquent à Vertex AI Agent Engine pour un projet donné dans chaque région :

Résoudre le code d'erreur 429

Pour résoudre l'erreur 429, consultez Code d'erreur 429.

Étapes suivantes

• Apprenez-en plus sur les quotas et limites de l'IA générative sur Vertex AI.