Cotas e limites da Vertex AI

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Número de ícones de TPU v5e para exibição, por região
Região	Valor
us-west1	4
us-west2	Indisponível
us-west3	Indisponível
us-west4	Indisponível
us-central1	Indisponível
us-east1	Indisponível
us-east4	Indisponível
us-east5	Indisponível
us-south1	Indisponível
northamerica-northeast1	Indisponível
northamerica-northeast2	Indisponível
southamerica-east1	Indisponível
southamerica-west1	Indisponível
europe-west2	Indisponível
europe-west1	Indisponível
europe-west4	Indisponível
europe-west6	Indisponível
europe-west3	Indisponível
europe-north1europe-central2	Indisponível
europe-west8	Indisponível
europe-west9	Indisponível
europe-southwest1asia-south1	Indisponível
asia-southeast1	Indisponível
asia-southeast2	Indisponível
asia-east2	Indisponível
asia-east1	Indisponível
asia-northeast1	Indisponível
asia-northeast2	Indisponível
australia-southeast1	Indisponível
australia-southeast2	Indisponível
asia-northeast3	Indisponível
me-west1	Indisponível
me-central1	Indisponível
me-central2	Indisponível
europe-west12	Indisponível
africa-south1	Indisponível

Limites de modelos treinados de forma personalizada

Os limites a seguir se aplicam a modelos de treinamento personalizados da Vertex AI para um determinado projeto e região.

Disponibilização

Limite	Valor
Número de réplicas por projeto	200
Número de contêineres por cluster	25.000

Vertex AI Feature Store

Nesta seção, listamos as cotas e os limites para o seguinte:

• Vertex AI Feature Store

• Feature Store da Vertex AI (legado)

Vertex AI Feature Store

As cotas a seguir se aplicam a um determinado projeto e região. Por exemplo, em um único projeto, é possível ter 200 nós de exibição on-line em us-central1 e outros 50 nós em us-east4.

Cota	Valor
Solicitações de veiculação on-line por minuto	300.000
Número máximo de instâncias FeatureOnlineStore	10
Número máximo de solicitações de pesquisa por minuto	6.000.000
O número máximo de nós de veiculação on-line em todas as instâncias de FeatureOnlineStore otimizadas no projeto	80
Número máximo de FeatureView instâncias em todas as FeatureOnlineStore instâncias	30

A Vertex AI Feature Store também tem os seguintes limites: Não é possível solicitar um aumento em nenhum dos limites na tabela a seguir:

Limite	Valor
Número máximo de FeatureGroup recursos em um projeto e local	250
Número máximo de Feature recursos em um FeatureGroup	10.000
Tamanho máximo dos dados de elementos por entidade	5 MB
Número de IDs de entidade por solicitação de veiculação on-line (FetchFeatureValues)	1
Tamanho máximo de um ID de entidade	4.076 caracteres
Limite de armazenamento de um nó de exibição on-line otimizado	200 GB

Vertex AI Feature Store (legado)

As cotas a seguir se aplicam a um determinado projeto e região. Por exemplo, em um único projeto, é possível ter 75 jobs em lote simultâneos em us-central1 e outros 75 jobs em europe-west4.

Cota	Valor
Solicitações de veiculação on-line por minuto	300.000
Solicitações de ingestão de streaming por minuto	60.000
Capacidade de processamento de gravação de ingestão de streaming por minuto	1,2 GB
Solicitações de criação de recursos por minuto	100
Nós de exibição on-line em todas as featurestores	30
Jobs em lote simultâneos (ingestão, veiculação e exclusão de valores de atributos combinados)	75
Solicitações simultâneas para excluir valores de recursos	1
Tipos de entidade em todas as featurestores	75

O Feature Store da Vertex AI também tem os seguintes limites. Não é possível solicitar um aumento em nenhum dos limites na tabela a seguir:

Limite	Valor
Limite de armazenamento de um nó de exibição on-line	5 TB
Total de dados na loja off-line	Ilimitado
Recursos por tipo de entidade	5.000
Número de solicitações de criação, atualização e exclusão de featurestores por dia, por projeto e por região	500
Para ingestão de streaming, o tamanho por solicitação	1 MB
Para leitura de streaming, o número de entidades que podem ser incluídas por solicitação	100
Para importação em lote, o número de arquivos que podem ser incluídos por solicitação	5.000 para Avro ou 500 para CSV
Para exibição e exportações em lote, o número de recursos que é possível solicitar	5.000
Para ingestão de lote e de streaming, o carimbo de data/hora mais antigo para o qual os dados do recurso podem ser ingeridos	4.000 dias a partir da data atual

O limite de retenção de dados no Feature Store da Vertex AI tem o seguinte valor padrão, que você pode substituir:

Padrões de retenção de dados	Valor padrão
Retenção de dados no armazenamento off-line (carimbo de data/hora do valor do atributo mais antigo após o qual os valores são excluídos)	4.000 dias a partir da data atual
Retenção de dados no armazenamento on-line (carimbo de data/hora do valor do atributo mais antigo após o qual os valores são excluídos)	4.000 dias a partir da data atual

É possível modificar o limite de retenção de dados das seguintes maneiras:

• Para substituir o limite de retenção de dados do armazenamento on-line, defina o parâmetro online_storage_ttl_days ao criar ou atualizar um featurestore.

• Para substituir o limite de retenção de dados do armazenamento off-line, defina o parâmetro offline_storage_ttl_days ao criar ou atualizar um tipo de entidade.

.

Vector Search

As cotas a seguir se aplicam à Pesquisa de vetores para um determinado projeto em cada região.

Vertex ML Metadata

Os limites a seguir se aplicam ao Vertex ML Metadata para um determinado projeto em cada região.

Vertex AI Pipelines

As cotas e limites a seguir se aplicam ao Vertex AI Pipelines para um determinado projeto em cada região.

^* Solicitações de execução de pipeline e tarefas que ultrapassam esse limite são enfileiradas até que os recursos estejam disponíveis.

O Vertex AI Pipelines tem os limites a seguir. Ao contrário das cotas, não é possível solicitar um aumento.

^* As tarefas de pipeline que forem executadas além desse limite serão canceladas.

Otimização da decisão na Vertex AI

As cotas e limites a seguir se aplicam à otimização de decisão da Vertex AI para um determinado projeto em cada região.

Cotas e limites do Colab Enterprise

As cotas e os limites do Colab Enterprise são listados separadamente. Consulte Cotas e limites do Colab Enterprise.

Aumento de cotas

Se você quiser expandir alguma cota da Vertex AI, use o Console do Google Cloud para solicitar um aumento de cota.

Para mais informações sobre como enviar uma solicitação de aumento de cota, consulte as seções a seguir sobre Como trabalhar com cotas:

• Como solicitar uma cota maior

Cotas por região e modelo

Acessar e editar as cotas no console do Google Cloud

Para conferir e editar as cotas no console do Google Cloud, faça o seguinte:

1. Acesse a página Cotas e limites do sistema.

Acesse "Cotas e limites do sistema"

2. Para ajustar a cota, copie e cole a propriedade aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model no Filtro. Pressione Enter.
3. Clique nos três pontos no final da linha e selecione Editar cota.
4. Insira um novo valor de cota no painel e clique em Enviar solicitação.

Conferir as cotas de solicitações por minuto (RPM) por região e modelo

Por padrão, os modelos 2.0 e mais recentes usam a Cota compartilhada dinâmica (DSQ, na sigla em inglês).

Escolha uma região para ver as cotas de cada modelo disponível:

Aumentar as cotas

Para aumentar alguma das suas cotas de IA generativa na Vertex AI, use o console do Google Cloud para solicitar um aumento de cota.

Cotas do mecanismo RAG

Para que cada serviço realize a geração aumentada de recuperação (RAG) usando o RAG Engine, as cotas a seguir se aplicam, sendo a cota medida como solicitações por minuto (RPM).

Serviço	Cota	Métrica
APIs de gerenciamento de dados do mecanismo RAG	60 RPM	VertexRagDataService requests per minute per region
API RetrievalContexts	1.500 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1.500 RPM	Online prediction requests per base model per minute per region per base_model Outro filtro que você pode especificar é base_model: textembedding-gecko

Os seguintes limites são aplicáveis:

Serviço	Limite	Métrica
Solicitações ImportRagFiles simultâneas	3 RPM	VertexRagService concurrent import requests per region
Número máximo de arquivos por solicitação ImportRagFiles	10.000	VertexRagService import rag files requests per region

Para mais limites de taxa e cotas, consulte Limites de taxa da IA generativa na Vertex AI.

Solicitações em lote

As cotas e os limites para solicitações de previsão em lote são os mesmos em todas as regiões.

Limites de solicitações de previsão em lote simultâneas

A tabela a seguir lista os limites para o número de solicitações de previsão em lote simultâneas:

Limite	Valor
Modelos do Gemini	8

Se o número de tarefas enviadas exceder o limite alocado, elas serão colocadas em uma fila e processadas quando a capacidade do limite estiver disponível.

Cotas de solicitações de previsões em lote simultâneas

A tabela a seguir lista as cotas para o número de solicitações de previsão em lote simultâneas, que não se aplicam aos modelos do Gemini:

Cota	Valor
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Se o número de tarefas enviadas exceder a cota alocada, elas serão colocadas em uma fila e processadas quando a capacidade da cota estiver disponível.

Cotas de modelos treinados e personalizados

As cotas a seguir se aplicam à IA generativa em modelos ajustados pela Vertex AI para determinado projeto e região:

Cota	Valor
Núcleos do pod da TPU V3 de treinamento de imagens restritos por região * Região compatível: europe-west4	64
Treinamento de imagens restrito: GPUs Nvidia A100 de 80 GB por região * Região compatível: us-central1 * Região compatível: us-east4	8 2

* Os cenários de ajuste têm reservas do acelerador em regiões específicas. As cotas de ajuste são aceitas e precisam ser solicitadas em regiões específicas.

Limites de incorporação de texto

Cada solicitação de modelo de inserção de texto pode ter até 250 textos de entrada (gerando 1 inserção por texto de entrada) e 20.000 tokens por solicitação. Apenas os primeiros 2.048 tokens em cada texto de entrada são usados para calcular as representações.

Para text-embedding-large-exp-03-07, cada solicitação só pode incluir um único texto de entrada. A cota desse modelo está listada com o nome text-embedding-large-001.

cotas do serviço de avaliação de IA generativa

O serviço de avaliação de IA generativa usa gemini-2.0-flash como modelo de juiz padrão para métricas baseadas em modelo. Uma única solicitação de avaliação para uma métrica baseada em modelo pode resultar em várias solicitações subjacentes ao serviço de avaliação de IA generativa. A cota de cada modelo é calculada por projeto, o que significa que todas as solicitações direcionadas a gemini-2.0-flash para inferência de modelo e avaliação baseada em modelo contribuem para a cota. As cotas do serviço de avaliação de IA generativa e do modelo de juiz subjacente são mostradas na tabela a seguir:

Solicitação de cota	Cota padrão
Solicitações do serviço de avaliação de IA generativa por minuto	1.000 solicitações por projeto em cada região
Solicitações de previsão on-line por minuto para base_model: gemini-2.0-flash	Consulte Cotas por região e modelo.

Se você receber um erro relacionado a cotas ao usar o serviço de avaliação de IA generativa, talvez seja necessário enviar uma solicitação de aumento de cota. Consulte Conferir e gerenciar cotas para mais informações.

Limite	Valor
Tempo limite da solicitação do serviço de avaliação de IA generativa	60 segundos

Quando você usa o serviço de avaliação de IA generativa pela primeira vez em um novo projeto, pode ocorrer um atraso na configuração inicial de até dois minutos. Se a primeira solicitação falhar, aguarde alguns minutos e tente novamente. As próximas solicitações de avaliação normalmente são concluídas em 60 segundos.

Os tokens máximos de entrada e saída para métricas baseadas em modelo dependem do modelo usado como modelo de avaliação. Consulte Modelos do Google para conferir uma lista de modelos.

Cotas de avaliação de pipeline

Se você receber um erro relacionado a cotas ao usar o serviço de pipelines de avaliação, talvez seja necessário registrar uma solicitação de aumento de cota. Consulte Ver e gerenciar cotas para mais informações. O serviço de pipelines de avaliação usa o Vertex AI Pipelines para executar PipelineJobs. Consulte as cotas relevantes para o Vertex AI Pipelines. Veja a seguir recomendações gerais de cota:

Serviço	Cota	Recomendação
API Vertex AI	Jobs simultâneos de previsão em lote de LLM por região	Por pontos: 1 * num_concurrent_pipelines Pairwise: 2 * num_concurrent_pipelines
API Vertex AI	Solicitações de avaliação por minuto em cada região	1.000 * num_concurrent_pipelines

Além disso, a cota relevante para métricas baseadas em modelo depende do modelo de avaliação usado:

Tarefas	Cota	Modelo base	Recomendação
summarization question_answering	Solicitações de previsão on-line por modelo base, por minuto, por região e por base_model	text-bison	60 * num_concurrent_pipelines

Vertex AI Reasoning Engine

As cotas e os limites a seguir se aplicam ao Vertex AI Reasoning Engine para um determinado projeto em cada região.

Resolver problemas com o código de erro 429

Para resolver o erro 429, consulte Código de erro 429.

A seguir

• Saiba mais sobre a IA generativa em cotas e limites da Vertex AI.