Vertex AI 配額和限制

每個區域的服務用 v6e TPU 晶片數量
區域	值
us-west1	不適用
us-west2	不適用
us-west3	不適用
us-west4	不適用
us-central1	不適用
us-east1	0
us-east4	不適用
us-east5	0
us-south1	不適用
northamerica-northeast1	不適用
northamerica-northeast2	不適用
southamerica-east1	不適用
southamerica-west1	不適用
europe-west2	不適用
europe-west1	不適用
europe-west4	0
europe-west6	不適用
europe-west3	不適用
europe-north1	不適用
europe-central2	不適用
europe-west8	不適用
europe-west9	不適用
europe-southwest1	不適用
asia-south1	不適用
asia-southeast1	不適用
asia-southeast2	不適用
asia-east2	不適用
asia-east1	不適用
asia-northeast1	0
asia-northeast2	不適用
australia-southeast1	不適用
australia-southeast2	不適用
asia-northeast3	不適用
me-west1	不適用
me-central1	不適用
me-central2	不適用
europe-west12	不適用
africa-south1	不適用

自訂訓練模型限制

特定專案或地區的 Vertex AI 自訂訓練模型適用下列限制。

供應

限制	值
每項專案的副本數	200
每個叢集的容器數	25,000

Vertex AI 特徵儲存庫

本節列出下列項目的配額與限制：

• Vertex AI 特徵儲存庫

• Vertex AI 特徵儲存庫 (舊版)

Vertex AI 特徵儲存庫

特定專案或地區適用下列配額規定。舉例來說，在單一專案中，您可以在 us-central1 中有 200 個線上服務節點，在 us-east4 中則有另外 50 個節點。

配額	值
每分鐘線上服務要求數	300,000
FeatureOnlineStore 執行個體數量上限	10
每分鐘的搜尋要求次數上限	6,000,000
專案中所有最佳化 FeatureOnlineStore 執行個體的線上服務節點數量上限	80
所有 FeatureOnlineStore 執行個體中的 FeatureView 執行個體數量上限	30

Vertex AI 特徵儲存庫也有下列限制。您無法要求提高下表中的任何限制：

限制	值
專案和位置的 FeatureGroup 資源數量上限	250
FeatureGroup 中的 Feature 資源數量上限	10,000
每個實體的特徵資料大小上限	5 MB
每個線上放送要求中的實體 ID 數量 (FetchFeatureValues)	1
實體 ID 長度上限	4,076 個字元
最佳化線上提供節點的儲存空間限制	200 GB

Vertex AI 特徵儲存庫 (舊版)

特定專案或地區適用下列配額規定。舉例來說，在單一專案中，您可以在 us-central1 中執行 75 項並行批次工作，在 europe-west4 中執行另外 75 項工作。

配額	值
每分鐘線上服務要求數	300,000
每分鐘串流擷取要求數	60,000
每分鐘串流擷取寫入處理量	1.2 GB
每分鐘特徵建立要求數	100
所有特徵商店的線上供應節點	30
並行批次工作 (包括擷取、提供和刪除特徵值)	75
並行刪除特徵值的要求	1
所有特徵商店的實體類型	75

Vertex AI 特徵儲存庫 (舊版) 也有下列限制。您無法要求提高下表中的任何限制：

限制	值
線上供應節點的儲存空間上限	5 TB
離線商店中的資料總量	無限制
每個實體類型的特徵	5,000
每個專案在每個區域每天建立、更新及刪除特徵商店的要求次數	500
串流擷取作業的單次要求大小	1 MB
串流讀取時，每個要求可包含的實體數量	100
批次匯入時，每項要求可納入的檔案數量	Avro 格式為 5,000 個，CSV 格式為 500 個
批次供應和匯出作業可要求的功能數量	5,000
如為批次擷取和串流擷取，可擷取特徵資料的最舊時間戳記	自目前日期起 4,000 天

Vertex AI 特徵儲存庫 (舊版) 的資料保留期限預設值如下，您可以覆寫這些值：

資料保留預設值	預設值
離線儲存庫中的資料保留期限 (系統會刪除超過此期限的特徵值)	自目前日期起 4,000 天
線上商店中的資料保留期限 (系統會刪除超過保留期限的特徵值)	自目前日期起 4,000 天

您可以透過下列方式覆寫資料保留期限：

• 如要覆寫線上商店的資料保留期限，請在建立或更新特徵儲存庫時設定 online_storage_ttl_days 參數。

• 如要覆寫離線商店的資料保留期限，請在建立或更新實體類型時設定 offline_storage_ttl_days 參數。

Vector Search

特定專案在各個區域的 Vector Search 適用下列配額規定。

Vertex 機器學習中繼資料

下列限制適用於各區域中特定專案的 Vertex 機器學習中繼資料。

Vertex AI Pipelines

特定專案在各個區域的 Vertex AI Pipelines 適用下列配額和限制。

^* 超過此限制的管道執行和工作要求會排入佇列，直到資源可用為止。

Vertex AI Pipelines 設有下列限制。請注意，與配額不同，您無法要求提高限制。

^* 超出這項限制的 pipeline 工作會遭到取消。

Colab Enterprise 配額與限制

Colab Enterprise 的配額和限制會另外列出。請參閱「Colab Enterprise 配額與限制」。

增加配額

如要增加任何 Vertex AI 的配額，可以透過 Google Cloud 控制台申請提高配額。

如要進一步瞭解如何提交配額提高要求，請參閱「查看及管理配額」的下列章節：

• 申請調整配額

各區域和模型的配額

在 Google Cloud 控制台中查看及編輯配額

如要在 Google Cloud 控制台中查看及編輯配額，請按照下列步驟操作：

1. 前往「配額與系統限制」頁面。

前往「配額與系統限制」頁面

2. 如要調整配額，請複製並貼上「Filter」(篩選條件) 中的屬性 aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model。按下 Enter 鍵。
3. 按一下資料列末尾的三點圖示，然後選取「編輯配額」。
4. 在窗格中輸入新的配額值，然後按一下「提交要求」。

依區域和模型查看每分鐘要求數 (RPM) 配額

根據預設，2.0 以上版本的模型會使用動態共用配額 (DSQ)。

選擇區域即可查看各可用模型的配額：

提高配額

如要增加任何 Vertex AI 的生成式 AI 配額，可以透過 Google Cloud 控制台申請提高配額。

RAG Engine 配額

如要讓各項服務使用 RAG 引擎執行檢索增強生成 (RAG)，請遵守下列配額規定，配額以每分鐘要求數 (RPM) 計算。

服務	配額	指標
RAG Engine 資料管理 API	60 RPM	VertexRagDataService requests per minute per region
RetrievalContexts 個 API	1,500 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1,500 RPM	Online prediction requests per base model per minute per region per base_model 您可以指定的額外篩選條件為 base_model: textembedding-gecko

以下限制適用於這類要求：

服務	限制	指標
並行 ImportRagFiles 要求	3 RPM	VertexRagService concurrent import requests per region
每個 ImportRagFiles 要求的檔案數量上限	10,000	VertexRagService import rag files requests per region

如要瞭解更多頻率限制和配額，請參閱「Vertex AI 的生成式 AI 頻率限制」。

批次要求

所有區域的批次推論工作配額和限制都相同。

Gemini 模型並行批次推論工作限制

Gemini 模型沒有預先定義的批次推論配額限制。而是提供大量共用資源，並根據模型即時可用性，以及所有客戶對該模型的需求，動態分配資源。如果活躍客戶人數增加，導致模型容量飽和，您的批次要求可能會排隊等待容量。

並行批次推論工作配額

下表列出並行批次推論作業數量的配額，不適用於 Gemini 模型：

配額	值
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

如果提交的工作數量超過分配的配額，系統會將工作排入佇列，並在配額容量可用時處理工作。

自訂訓練模型配額

特定專案和區域的 Generative AI on Vertex AI 微調模型適用下列配額：

配額	值
每個地區的受限圖片訓練 TPU V3 Pod 核心 * 支援的地區 - europe-west4	64
受限的圖像訓練 Nvidia A100 80GB GPU (每個區域) * 支援的區域 - us-central1 * 支援的區域 - us-east4	8 2

* 調整情境在特定區域有加速器預留資源。支援微調的配額，但必須在特定區域提出要求。

文字嵌入限制

每項文字嵌入模型要求最多可有 250 個輸入文字 (每個輸入文字產生 1 個嵌入) 和 20,000 個權杖。系統只會使用每個輸入文字的前 2,048 個符記計算嵌入。對於 gemini-embedding-001，每項要求只能包含單一輸入文字。這個模型的配額會列在名稱 gemini-embedding 下方。

每分鐘每個基礎模型嵌入內容輸入的權杖數

與先前主要受 RPM 配額限制的嵌入模型不同，Gemini 嵌入模型的配額會限制每個專案每分鐘可傳送的權杖數量。

配額	值
每分鐘嵌入內容輸入權杖數	200000

Gen AI Evaluation Service 服務配額

Gen AI Evaluation Service 會使用 gemini-2.0-flash 做為模型評估指標的預設評估模型。以模型為基礎的指標單一評估要求，可能會導致對 Gen AI Evaluation Service 提出多個基礎要求。系統會根據每個專案計算各模型的配額，也就是說，凡是導向 gemini-2.0-flash 的模型推論和模型評估要求，都會計入配額。下表列出 Gen AI Evaluation Service 和基礎評估模型適用的配額：

要求配額	預設配額
每分鐘的 Gen AI Evaluation Service 要求數	每個區域每項專案 1,000 個要求
每分鐘線上預測要求數 ( base_model: gemini-2.0-flash)	請參閱各區域和模型的配額。

如果您在使用 Gen AI 評估服務時收到配額相關錯誤，可能需要提出配額提高要求。詳情請參閱「查看及管理配額」。

限制	值
Gen AI Evaluation Service 請求逾時	60 秒

在新的專案中首次使用生成式 AI 評估服務時，初始設定可能會延遲最多兩分鐘。如果第一次要求失敗，請稍候幾分鐘再重試。後續的評估要求通常會在 60 秒內完成。

模型指標的輸入和輸出權杖上限取決於用來做為評估模型的模型。如需型號清單，請參閱 Google 型號。

管道評估配額

如果在評估管道服務中收到配額相關錯誤，可能需要提出配額增加要求。詳情請參閱「查看及管理配額」。 評估管道服務會使用 Vertex AI Pipelines 執行 PipelineJobs。請參閱 Vertex AI Pipelines 的相關配額。以下是一般配額建議：

服務	配額	建議
Vertex AI API	每個區域的並行 LLM 批次預測工作	逐點：1 * num_concurrent_pipelines 逐對：2 * num_concurrent_pipelines
Vertex AI API	每個區域每分鐘的評估要求數量	1000 * num_concurrent_pipelines

此外，以模型為基準的指標相關配額取決於您使用的評估模型：

Tasks	配額	基礎模型	建議
summarization question_answering	每個基礎模型每分鐘的線上預測要求數 (每個區域)	text-bison	60 * num_concurrent_pipelines

Vertex AI Agent Engine

下列限制適用於各區域中特定專案的 Vertex AI Agent Engine：

排解錯誤代碼 429

如要排解 429 錯誤，請參閱「錯誤代碼 429」。

後續步驟

• 進一步瞭解 Vertex AI 的生成式 AI 配額和限制。