瞭解線上預測

Vertex AI 可透過 Online Prediction API，在 Google Distributed Cloud (GDC) 氣隙環境中提供線上預測。預測是經過訓練的機器學習模型輸出結果，具體來說，線上預測是對模型端點發出的同步要求。

您可以在一組支援的容器中，使用自己的預測模型上傳、部署、提供及提出要求。如要依據應用程式輸入內容發出要求，或是需要及時進行推論，您可以選用「線上預測」模式。

您可以將 Kubernetes 自訂資源套用至 Infrastructure Operator (IO) 為您建立的專屬預測叢集，藉此使用 Online Prediction API。

如要取得線上預測結果，您必須先匯出模型構件，然後將模型部署至端點。這項動作會將運算資源與模型建立關聯，以低延遲的方式提供線上預測結果。

接著，您可以格式化並傳送要求，透過自訂訓練模型取得線上預測。

可用的容器映像檔

下表列出 Distributed Cloud 線上預測支援的容器：

ML 架構	版本	支援的加速器	支援的圖片
TensorFlow	2.14	CPU	tf2-cpu.2-14
		GPU	tf2-gpu.2-14
PyTorch	2.4	CPU	pytorch-cpu.2-4
		GPU	pytorch-gpu.2-4
	2.1 (已淘汰)	CPU	pytorch-cpu.2-1
		GPU	pytorch-gpu.2-1