本頁說明如何使用 Google Cloud 控制台或 Vertex AI API,從表格分類或迴歸模型取得線上 (即時) 推論結果和說明。
線上推論是同步要求,與非同步要求的批次推論不同。如要依據應用程式輸入內容發出要求,或是需要及時進行推論,您可以選用「線上推論」模式。
您必須先將模型部署至端點,才能使用模型進行線上推論。部署過程中,系統會將實體資源與模型建立關聯,讓模型以低延遲的方式提供線上推論結果。
涵蓋的主題包括:
事前準備
如要取得線上推論結果,請先訓練模型。
將模型部署至端點
您可以將多個模型部署至端點,也可以將模型部署至多個端點。如要進一步瞭解模型部署選項和用途,請參閱「關於模型部署」。
請使用下列其中一種方法部署模型:
Google Cloud 控制台
在 Google Cloud 控制台的 Vertex AI 專區,前往「Models」頁面。
按一下要部署的模型名稱,開啟詳細資料頁面。
選取「Deploy & Test」(部署及測試) 分頁標籤。
如果模型已部署至任何端點,這些端點會列在「Deploy your model」(部署模型)部分。
按一下「Deploy to endpoint」(部署至端點)。
在「定義端點」頁面中,按照下列方式設定:
您可以選擇將模型部署至新的端點或現有端點。
- 如要將模型部署至新端點,請選取「建立新端點」 ,然後為新端點命名。
- 如要將模型部署至現有端點,請選取「新增至現有端點」 ,然後從下拉式清單中選取端點。
- 您可以將多個模型新增至端點,也可以將模型新增至多個端點。瞭解詳情。
按一下「繼續」。
在「模型設定」頁面中,完成以下設定:
-
如果將模型部署到新端點,請接受「流量分配」的 100%。如果將模型部署至已部署一或多個模型的現有端點,您必須更新要部署的模型和已部署模型的流量拆分百分比,確保所有百分比加總為 100%。
-
輸入要為模型提供的運算節點數量下限。
這是模型隨時可用的節點數量。 無論是處理推論負載或待機 (最低) 節點,即使沒有推論流量,系統都會向您收取節點使用費。詳情請參閱定價頁面。
-
選取「機器類型」。
較大的機器資源會提高推論效能,但也會增加成本。
-
瞭解如何變更推論記錄的預設設定。
-
按一下 [Continue] (繼續)。
-
在「模型監控」頁面中,點選「繼續」。
在「監控目標」頁面中,進行下列設定:
- 輸入訓練資料的位置。
- 輸入目標資料欄的名稱。
按一下「Deploy」(部署),將模型部署至端點。
API
使用 Vertex AI API 部署模型時,請完成下列步驟:
- 視需要建立端點。
- 取得端點 ID。
- 將模型部署至端點。
建立端點
如果將模型部署至現有端點,則可略過這個步驟。
gcloud
下列範例使用 gcloud ai endpoints create
指令:
gcloud ai endpoints create \
--region=LOCATION \
--display-name=ENDPOINT_NAME
更改下列內容:
- LOCATION_ID:您使用 Vertex AI 的區域。
ENDPOINT_NAME:端點的顯示名稱。
Google Cloud CLI 工具可能需要幾秒鐘才能建立端點。
REST
使用任何要求資料之前,請先替換以下項目:
- LOCATION_ID:您的區域。
- PROJECT_ID:您的專案 ID。
- ENDPOINT_NAME:端點的顯示名稱。
HTTP 方法和網址:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
JSON 要求主體:
{ "display_name": "ENDPOINT_NAME" }
如要傳送要求,請展開以下其中一個選項:
您應該會收到如下的 JSON 回應:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata", "genericMetadata": { "createTime": "2020-11-05T17:45:42.812656Z", "updateTime": "2020-11-05T17:45:42.812656Z" } } }
"done": true
為止。
Java
在試用這個範例之前,請先按照Java使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Java API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Node.js
在試用這個範例之前,請先按照Node.js使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Node.js API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Python
如要瞭解如何安裝或更新 Python 適用的 Vertex AI SDK,請參閱「安裝 Python 適用的 Vertex AI SDK」。 詳情請參閱 Python API 參考說明文件。
擷取端點 ID
您需要端點 ID 才能部署模型。
gcloud
下列範例使用 gcloud ai endpoints list
指令:
gcloud ai endpoints list \
--region=LOCATION \
--filter=display_name=ENDPOINT_NAME
更改下列內容:
- LOCATION_ID:您使用 Vertex AI 的區域。
ENDPOINT_NAME:端點的顯示名稱。
請注意
ENDPOINT_ID
欄中顯示的數字。請在下一個步驟中使用這個 ID。
REST
使用任何要求資料之前,請先替換以下項目:
- LOCATION_ID:您使用 Vertex AI 的區域。
- PROJECT_ID:您的專案 ID。
- ENDPOINT_NAME:端點的顯示名稱。
HTTP 方法和網址:
GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints?filter=display_name=ENDPOINT_NAME
如要傳送要求,請展開以下其中一個選項:
您應該會收到如下的 JSON 回應:
{ "endpoints": [ { "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID", "displayName": "ENDPOINT_NAME", "etag": "AMEw9yPz5pf4PwBHbRWOGh0PcAxUdjbdX2Jm3QO_amguy3DbZGP5Oi_YUKRywIE-BtLx", "createTime": "2020-04-17T18:31:11.585169Z", "updateTime": "2020-04-17T18:35:08.568959Z" } ] }
部署模型
選取下方分頁,查看適用於您語言或環境的範例:
gcloud
下列範例使用 gcloud ai endpoints deploy-model
指令。
以下範例會將 Model
部署至 Endpoint
,但不會使用 GPU 加速預測服務,也不會在多個 DeployedModel
資源之間分配流量:
使用下方的任何指令資料之前,請先替換以下項目:
- ENDPOINT_ID:端點的 ID。
- LOCATION_ID:您使用 Vertex AI 的區域。
- MODEL_ID:要部署的模型 ID。
-
DEPLOYED_MODEL_NAME:
DeployedModel
的名稱。您也可以使用Model
的顯示名稱做為DeployedModel
。 -
MACHINE_TYPE:選用。這個部署作業中每個節點使用的機器資源。預設設定為
n1-standard-2
。 進一步瞭解機器類型。 -
MIN_REPLICA_COUNT:此部署作業的節點數量下限。節點數量可視推論負載需求增加或減少,最多可達節點數量上限,最少則不得低於這個數量。
這個值必須大於或等於 1。如果省略
--min-replica-count
標記,值預設為 1。 -
MAX_REPLICA_COUNT:此部署作業的節點數量上限。
節點數量可視推論負載需求增減,最多可達這個節點數量,且絕不會少於節點數量下限。如果省略
--max-replica-count
標記,節點數量上限就會設為--min-replica-count
的值。
執行 gcloud ai endpoints deploy-model 指令:
Linux、macOS 或 Cloud Shell
gcloud ai endpoints deploy-model ENDPOINT_ID\ --region=LOCATION_ID \ --model=MODEL_ID \ --display-name=DEPLOYED_MODEL_NAME \ --machine-type=MACHINE_TYPE \ --min-replica-count=MIN_REPLICA_COUNT \ --max-replica-count=MAX_REPLICA_COUNT \ --traffic-split=0=100
Windows (PowerShell)
gcloud ai endpoints deploy-model ENDPOINT_ID` --region=LOCATION_ID ` --model=MODEL_ID ` --display-name=DEPLOYED_MODEL_NAME ` --machine-type=MACHINE_TYPE ` --min-replica-count=MIN_REPLICA_COUNT ` --max-replica-count=MAX_REPLICA_COUNT ` --traffic-split=0=100
Windows (cmd.exe)
gcloud ai endpoints deploy-model ENDPOINT_ID^ --region=LOCATION_ID ^ --model=MODEL_ID ^ --display-name=DEPLOYED_MODEL_NAME ^ --machine-type=MACHINE_TYPE ^ --min-replica-count=MIN_REPLICA_COUNT ^ --max-replica-count=MAX_REPLICA_COUNT ^ --traffic-split=0=100
流量分配
在上述範例中,--traffic-split=0=100
標記會將 Endpoint
接收到的 100% 預測流量傳送至新的 DeployedModel
,也就是以臨時 ID 0
表示的 DeployedModel
。如果 Endpoint
已經有其他DeployedModel
資源,則可以在新舊資源之間分配流量。DeployedModel
舉例來說,如要將 20% 的流量傳送至新的 DeployedModel
,80% 的流量傳送至舊版,請執行下列指令:
使用下方的任何指令資料之前,請先替換以下項目:
- OLD_DEPLOYED_MODEL_ID:現有
DeployedModel
的 ID。
執行 gcloud ai endpoints deploy-model 指令:
Linux、macOS 或 Cloud Shell
gcloud ai endpoints deploy-model ENDPOINT_ID\ --region=LOCATION_ID \ --model=MODEL_ID \ --display-name=DEPLOYED_MODEL_NAME \ --machine-type=MACHINE_TYPE \ --min-replica-count=MIN_REPLICA_COUNT \ --max-replica-count=MAX_REPLICA_COUNT \ --traffic-split=0=20,OLD_DEPLOYED_MODEL_ID=80
Windows (PowerShell)
gcloud ai endpoints deploy-model ENDPOINT_ID` --region=LOCATION_ID ` --model=MODEL_ID ` --display-name=DEPLOYED_MODEL_NAME \ --machine-type=MACHINE_TYPE ` --min-replica-count=MIN_REPLICA_COUNT ` --max-replica-count=MAX_REPLICA_COUNT ` --traffic-split=0=20,OLD_DEPLOYED_MODEL_ID=80
Windows (cmd.exe)
gcloud ai endpoints deploy-model ENDPOINT_ID^ --region=LOCATION_ID ^ --model=MODEL_ID ^ --display-name=DEPLOYED_MODEL_NAME \ --machine-type=MACHINE_TYPE ^ --min-replica-count=MIN_REPLICA_COUNT ^ --max-replica-count=MAX_REPLICA_COUNT ^ --traffic-split=0=20,OLD_DEPLOYED_MODEL_ID=80
REST
您可以使用 endpoints.predict 方法要求線上推論。
部署模型。
使用任何要求資料之前,請先替換以下項目:
- LOCATION_ID:您使用 Vertex AI 的區域。
- PROJECT_ID:您的專案 ID。
- ENDPOINT_ID:端點的 ID。
- MODEL_ID:要部署的模型 ID。
-
DEPLOYED_MODEL_NAME:
DeployedModel
的名稱。您也可以使用Model
的顯示名稱做為DeployedModel
。 -
MACHINE_TYPE:選用。這個部署作業中每個節點使用的機器資源。預設設定為
n1-standard-2
。 進一步瞭解機器類型。 - ACCELERATOR_TYPE:要附加至機器的加速器類型。如果未指定 ACCELERATOR_COUNT 或指定為零,則為選用。不建議用於使用非 GPU 圖片的 AutoML 模型或自訂訓練模型。瞭解詳情。
- ACCELERATOR_COUNT:每個副本要使用的加速器數量。 (選用步驟) 如果是使用非 GPU 圖片的 AutoML 模型或自訂訓練模型,則應為零或未指定。
- MIN_REPLICA_COUNT:此部署作業的節點數量下限。節點數量可視推論負載需求增加或減少,最多可達節點數量上限,最少則不得低於這個數量。這個值必須大於或等於 1。
- MAX_REPLICA_COUNT:此部署作業的節點數量上限。 節點數量可視推論負載需求增減,最多可達這個節點數量,且絕不會少於節點數量下限。
- REQUIRED_REPLICA_COUNT:選用。這項部署作業要標示為成功,所需的節點數量。必須大於或等於 1,且小於或等於節點數下限。如未指定,預設值為節點數量下限。
- TRAFFIC_SPLIT_THIS_MODEL:要將多少預測流量從這個端點導向透過這項作業部署的模型。預設值為 100。所有流量百分比加總必須為 100%。進一步瞭解流量分配。
- DEPLOYED_MODEL_ID_N:選用。如果其他模型部署至這個端點,您必須更新流量分配百分比,讓所有百分比加總為 100%。
- TRAFFIC_SPLIT_MODEL_N:已部署模型 ID 鍵的流量分配百分比值。
- PROJECT_NUMBER:系統自動為專案產生的專案編號
HTTP 方法和網址:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel
JSON 要求主體:
{ "deployedModel": { "model": "projects/PROJECT/locations/us-central1/models/MODEL_ID", "displayName": "DEPLOYED_MODEL_NAME", "dedicatedResources": { "machineSpec": { "machineType": "MACHINE_TYPE", "acceleratorType": "ACCELERATOR_TYPE", "acceleratorCount": "ACCELERATOR_COUNT" }, "minReplicaCount": MIN_REPLICA_COUNT, "maxReplicaCount": MAX_REPLICA_COUNT, "requiredReplicaCount": REQUIRED_REPLICA_COUNT }, }, "trafficSplit": { "0": TRAFFIC_SPLIT_THIS_MODEL, "DEPLOYED_MODEL_ID_1": TRAFFIC_SPLIT_MODEL_1, "DEPLOYED_MODEL_ID_2": TRAFFIC_SPLIT_MODEL_2 }, }
如要傳送要求,請展開以下其中一個選項:
您應該會收到如下的 JSON 回應:
{ "name": "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeployModelOperationMetadata", "genericMetadata": { "createTime": "2020-10-19T17:53:16.502088Z", "updateTime": "2020-10-19T17:53:16.502088Z" } } }
Java
在試用這個範例之前,請先按照Java使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Java API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Python
如要瞭解如何安裝或更新 Python 適用的 Vertex AI SDK,請參閱「安裝 Python 適用的 Vertex AI SDK」。 詳情請參閱 Python API 參考說明文件。
Node.js
在試用這個範例之前,請先按照Node.js使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Node.js API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
瞭解如何變更推論記錄的預設設定。
取得作業狀態
部分要求會啟動長時間執行的作業,需要一段時間才能完成。這些要求會傳回作業名稱,您可以使用該名稱查看作業狀態或取消作業。Vertex AI 提供輔助方法,可對長時間執行的作業發出呼叫。詳情請參閱「處理長時間執行作業」。
使用已部署的模型取得線上推論結果
如要進行線上推論,請將一或多個測試項目提交給模型進行分析,模型會根據模型目標傳回結果。使用 Google Cloud 控制台或 Vertex AI API 要求線上推論。
Google Cloud 控制台
在 Google Cloud 控制台的 Vertex AI 專區,前往「Models」頁面。
在模型清單中,按一下模型名稱,即可要求推論。
選取「Deploy & test」(部署及測試) 分頁標籤。
在「Test your model」(測試模型) 區段中,新增測試項目以要求推論。系統會為您填入基準推論資料,您也可以自行輸入推論資料,然後按一下「預測」。
推論完成後,Vertex AI 會在控制台中傳回結果。
API:分類
gcloud
-
建立名為
request.json
的檔案,並在當中加入下列內容:{ "instances": [ { PREDICTION_DATA_ROW } ] }
取代下列項目:
-
PREDICTION_DATA_ROW:JSON 物件,其中鍵為特徵名稱,值為對應的特徵值。舉例來說,如果資料集包含數字、字串陣列和類別,資料列可能如下列範例要求所示:
"length":3.6, "material":"cotton", "tag_array": ["abc","def"]
您必須為訓練中包含的每個特徵提供值。預測用的資料格式必須與訓練用的格式相符。詳情請參閱「預測資料格式」。
-
-
執行下列指令:
gcloud ai endpoints predict ENDPOINT_ID \ --region=LOCATION_ID \ --json-request=request.json
更改下列內容:
- ENDPOINT_ID:端點的 ID。
- LOCATION_ID:您使用 Vertex AI 的區域。
REST
您可以使用 endpoints.predict 方法要求線上推論。
使用任何要求資料之前,請先替換以下項目:
-
LOCATION_ID:Endpoint 所在的區域。例如:
us-central1
。 - PROJECT_ID:您的專案 ID。
- ENDPOINT_ID:端點的 ID。
-
PREDICTION_DATA_ROW:JSON 物件,其中鍵為特徵名稱,值為對應的特徵值。舉例來說,如果資料集包含數字、字串陣列和類別,資料列可能如下列範例要求所示:
"length":3.6, "material":"cotton", "tag_array": ["abc","def"]
您必須為訓練中包含的每個特徵提供值。預測用的資料格式必須與訓練用的格式相符。詳情請參閱「預測資料格式」。
- DEPLOYED_MODEL_ID:
predict
方法的輸出內容。用於產生推論的模型 ID。
HTTP 方法和網址:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:predict
JSON 要求主體:
{ "instances": [ { PREDICTION_DATA_ROW } ] }
如要傳送要求,請選擇以下其中一個選項:
curl
將要求主體儲存在名為 request.json
的檔案中,然後執行下列指令:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:predict"
PowerShell
將要求主體儲存在名為 request.json
的檔案中,然後執行下列指令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:predict" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{ "predictions": [ { "scores": [ 0.96771615743637085, 0.032283786684274673 ], "classes": [ "0", "1" ] } ] "deployedModelId": "2429510197" }
Java
在試用這個範例之前,請先按照Java使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Java API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Node.js
在試用這個範例之前,請先按照Node.js使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Node.js API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Python
如要瞭解如何安裝或更新 Python 適用的 Vertex AI SDK,請參閱「安裝 Python 適用的 Vertex AI SDK」。 詳情請參閱 Python API 參考說明文件。
API:迴歸
gcloud
-
建立名為 `request.json` 的檔案,其中含有下列內容:
{ "instances": [ { PREDICTION_DATA_ROW } ] }
取代下列項目:
-
PREDICTION_DATA_ROW:JSON 物件,其中鍵為特徵名稱,值為對應的特徵值。舉例來說,如果資料集包含數字、數字陣列和類別,資料列可能如下列範例要求所示:
"age":3.6, "sq_ft":5392, "code": "90331"
您必須為訓練中包含的每個特徵提供值。預測用的資料格式必須與訓練用的格式相符。詳情請參閱「預測資料格式」。
-
-
執行下列指令:
gcloud ai endpoints predict ENDPOINT_ID \ --region=LOCATION_ID \ --json-request=request.json
更改下列內容:
- ENDPOINT_ID:端點的 ID。
- LOCATION_ID:您使用 Vertex AI 的區域。
REST
您可以使用 endpoints.predict 方法要求線上推論。
使用任何要求資料之前,請先替換以下項目:
-
LOCATION_ID:Endpoint 所在的區域。例如:
us-central1
。 - PROJECT_ID:您的專案 ID。
- ENDPOINT_ID:端點的 ID。
-
PREDICTION_DATA_ROW:JSON 物件,其中鍵為特徵名稱,值為對應的特徵值。舉例來說,如果資料集包含數字、數字陣列和類別,資料列可能如下列範例要求所示:
"age":3.6, "sq_ft":5392, "code": "90331"
您必須為訓練中包含的每個特徵提供值。預測用的資料格式必須與訓練用的格式相符。詳情請參閱「預測資料格式」。
- DEPLOYED_MODEL_ID:
predict
方法的輸出內容。用於產生推論的模型 ID。
HTTP 方法和網址:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:predict
JSON 要求主體:
{ "instances": [ { PREDICTION_DATA_ROW } ] }
如要傳送要求,請選擇以下其中一個選項:
curl
將要求主體儲存在名為 request.json
的檔案中,然後執行下列指令:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:predict"
PowerShell
將要求主體儲存在名為 request.json
的檔案中,然後執行下列指令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:predict" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{ "predictions": [ [ { "value": 65.14233 } ] ], "deployedModelId": "DEPLOYED_MODEL_ID" }
Java
在試用這個範例之前,請先按照Java使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Java API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Node.js
在試用這個範例之前,請先按照Node.js使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Node.js API 參考說明文件。
如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。
Python
如要瞭解如何安裝或更新 Python 適用的 Vertex AI SDK,請參閱「安裝 Python 適用的 Vertex AI SDK」。 詳情請參閱 Python API 參考說明文件。
解讀推論結果
分類
分類模型會傳回可信度分數。
信心分數會指出模型將各個類別或標籤與測試項目建立關聯的程度。數字越大,表示模型判斷標籤適用於該項目的信心就越高。您可以決定接受模型結果的信賴分數門檻。
迴歸
迴歸模型會傳回推論值。
如果模型使用機率推論,value
欄位會包含最佳化目標的最小化值。舉例來說,如果您的最佳化目標是 minimize-rmse
,則 value
欄位會包含平均值。如果是 minimize-mae
,value
欄位會包含中位數值。
如果模型使用機率推論和分位數,Vertex AI 除了提供最佳化目標的最小化值,還會提供分位數值和推論結果。模型訓練期間會設定分位數值。分位數推論是與分位數值相關聯的推論值。