取得廣度和深度批次推論

本頁說明如何使用 Google Cloud 控制台或 Vertex AI API,對已訓練的分類或迴歸模型提出批次推論要求。

批次推論要求為非同步要求 (與線上推論不同,線上推論為同步要求)。您可以直接從模型資源要求批次推論,不必將模型部署至端點。如果是表格資料,如果您不需要立即取得回應,並想透過單一要求處理累積的資料,就適合選用「批次推論」模式。

如要提出批次推論要求,須指定輸入來源,以及 Vertex AI 用來儲存推論結果的輸出格式。

事前準備

您必須先訓練模型,才能提出批次推論要求。

輸入資料

批次推論要求的輸入資料是模型用於推論的資料。如果是分類或迴歸模型,您可以提供下列格式的輸入資料:

  • BigQuery 資料表
  • Cloud Storage 中的 CSV 物件

建議您輸入資料的格式與訓練模型時使用的格式相同。舉例來說,如果您使用 BigQuery 中的資料訓練模型,最好使用 BigQuery 資料表做為批次推論的輸入。由於 Vertex AI 會將所有 CSV 輸入欄位視為字串,混合使用訓練和輸入資料格式可能會導致錯誤。

資料來源必須包含表格資料,其中包含用於訓練模型的所有欄 (順序不限)。您可以納入訓練資料中沒有的資料欄,也可以納入訓練資料中有的資料欄,但這些資料欄會排除在訓練用途之外。這些額外資料欄會納入輸出內容,但不會影響推論結果。

輸入資料規定

BigQuery 資料表

如果選擇 BigQuery 資料表做為輸入內容,請務必符合下列條件:

  • BigQuery 資料來源資料表不得超過 100 GB。
  • 如果資料表位於其他專案,您必須在該專案中將 BigQuery Data Editor 角色授予 Vertex AI 服務帳戶。

CSV 檔案

如果選擇 Cloud Storage 中的 CSV 物件做為輸入內容,請務必符合下列條件:

  • 資料來源開頭必須是包含欄名稱的標題列。
  • 每個資料來源物件不得超過 10 GB。你可以加入多個檔案,容量上限為 100 GB。
  • 如果 Cloud Storage 值區位於不同專案,則必須在該專案中將 Storage Object Creator 角色授予 Vertex AI 服務帳戶。
  • 所有字串都必須以雙引號 (") 括住。

輸出格式

批次推論要求的輸出格式不一定要與輸入格式相同。舉例來說,如果您使用 BigQuery 資料表做為輸入內容,可以將結果輸出至 Cloud Storage 中的 CSV 物件。

向模型發出批次推論要求

如要提出批次推論要求,可以使用 Google Cloud 控制台或 Vertex AI API。輸入資料來源可以是儲存在 Cloud Storage bucket 中的 CSV 物件,也可以是 BigQuery 資料表。視您提交的輸入資料量而定,批次推論工作可能需要一些時間才能完成。

Google Cloud 控制台

使用 Google Cloud 控制台要求批次預測。

  1. 在 Google Cloud 控制台的 Vertex AI 專區中,前往「Batch inferences」(批次推論) 頁面。

    前往「Batch inferences」(批次推論) 頁面

  2. 按一下「建立」開啟「新批次推論」視窗。
  3. 如要「定義批次推論」,請完成下列步驟:
    1. 輸入批次推論的名稱。
    2. 在「模型名稱」中,選取要用於這項批次推論的模型名稱。
    3. 在「版本」中,選取要用於這項批次推論的模型版本。
    4. 在「選取來源」部分,選取來源輸入資料是 Cloud Storage 中的 CSV 檔案,還是 BigQuery 中的資料表。
      • 如果是 CSV 檔案,請指定 CSV 輸入檔案所在的 Cloud Storage 位置。
      • 如果是 BigQuery 資料表,請指定資料表所在的專案 ID、BigQuery 資料集 ID,以及 BigQuery 資料表或檢視區塊 ID。
    5. 在「輸出」部分,選取「CSV」或「BigQuery」
      • 如果是 CSV 檔案,請指定 Vertex AI 儲存輸出內容的 Cloud Storage bucket。
      • 如果是 BigQuery,您可以指定專案 ID 或現有資料集:
        • 如要指定專案 ID,請在「Google Cloud 專案 ID」欄位中輸入專案 ID。Vertex AI 會為您建立新的輸出資料集。
        • 如要指定現有資料集,請在「Google Cloud 專案 ID」欄位中輸入 BigQuery 路徑,例如 bq://projectid.datasetid
  4. 選用:模型監控 批次推論分析功能已在預先發布版推出。如要將偏斜偵測設定新增至批次推論工作,請參閱「必要條件」。
    1. 點選以開啟「為這個批次推論啟用模型監控功能」
    2. 選取「訓練資料來源」。輸入所選訓練資料來源的資料路徑或位置。
    3. 選用:在「警告門檻」下方,指定觸發警告的門檻。
    4. 在「通知電子郵件」部分,輸入一或多個以半形逗號分隔的電子郵件地址,以便在模型超過快訊門檻時收到通知。
    5. 選用:如要新增通知管道,請新增 Cloud Monitoring 管道,以便在模型超過快訊門檻時收到通知。您可以選取現有的 Cloud Monitoring 管道,也可以按一下「管理通知管道」建立新管道。控制台支援 PagerDuty、Slack 和 Pub/Sub 通知管道。
  5. 點選「建立」

API:BigQuery

REST

您可以使用 batchPredictionJobs.create 方法要求批次預測。

使用任何要求資料之前,請先替換以下項目:

  • LOCATION_ID:儲存模型及執行批次推論工作的區域。例如:us-central1
  • PROJECT_ID:您的專案 ID
  • BATCH_JOB_NAME:批次作業的顯示名稱
  • MODEL_ID:用於進行推論的模型 ID
  • INPUT_URI:BigQuery 資料來源的參照。在表單中:
    bq://bqprojectId.bqDatasetId.bqTableId
    
  • OUTPUT_URI:BigQuery 目的地 (推論結果的寫入位置) 的參照。指定專案 ID,並視需要指定現有資料集 ID。如果只指定專案 ID,Vertex AI 會為您建立新的輸出資料集。請使用下列格式:
    bq://bqprojectId.bqDatasetId
    
  • MACHINE_TYPE:用於這項批次推論作業的機器資源。瞭解詳情
  • STARTING_REPLICA_COUNT:這個批次推論作業的起始節點數。節點數量可視負載需求增減,但絕不會低於這個數字,且不會超過節點數量上限。
  • MAX_REPLICA_COUNT:這個批次推論工作的節點數量上限。節點數量可視負載需求增加或減少,但絕不會超過上限。選用,預設值為 10。

HTTP 方法和網址:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs

JSON 要求主體:

{
  "displayName": "BATCH_JOB_NAME",
  "model": "MODEL_ID",
  "inputConfig": {
    "instancesFormat": "bigquery",
    "bigquerySource": {
      "inputUri": "INPUT_URI"
    }
  },
  "outputConfig": {
    "predictionsFormat": "bigquery",
    "bigqueryDestination": {
      "outputUri": "OUTPUT_URI"
    }
  },
  "dedicatedResources": {
    "machineSpec": {
      "machineType": "MACHINE_TYPE",
      "acceleratorCount": "0"
    },
    "startingReplicaCount": STARTING_REPLICA_COUNT,
    "maxReplicaCount": MAX_REPLICA_COUNT
  },

}

如要傳送要求,請選擇以下其中一個選項:

curl

將要求主體儲存在名為 request.json 的檔案中,然後執行下列指令:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs"

PowerShell

將要求主體儲存在名為 request.json 的檔案中,然後執行下列指令:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs" | Select-Object -Expand Content

您應該會收到如下的 JSON 回應:

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs/67890",
  "displayName": "batch_job_1 202005291958",
  "model": "projects/12345/locations/us-central1/models/5678",
  "state": "JOB_STATE_PENDING",
  "inputConfig": {
    "instancesFormat": "bigquery",
    "bigquerySource": {
      "inputUri": "INPUT_URI"
    }
  },
  "outputConfig": {
    "predictionsFormat": "bigquery",
    "bigqueryDestination": {
        "outputUri": bq://12345
    }
  },
  "dedicatedResources": {
    "machineSpec": {
      "machineType": "n1-standard-32",
      "acceleratorCount": "0"
    },
    "startingReplicaCount": 2,
    "maxReplicaCount": 6
  },
  "manualBatchTuningParameters": {
    "batchSize": 4
  },
  "generateExplanation": false,
  "outputInfo": {
    "bigqueryOutputDataset": "bq://12345.reg_model_2020_10_02_06_04
  }
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-30T02:58:44.341643Z",
  "updateTime": "2020-09-30T02:58:44.341643Z",
}

Java

在試用這個範例之前,請先按照Java使用用戶端程式庫的 Vertex AI 快速入門中的操作說明進行設定。 詳情請參閱 Vertex AI Java API 參考說明文件

如要向 Vertex AI 進行驗證,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定驗證」。

在下列範例中,請將 INSTANCES_FORMATPREDICTIONS_FORMAT 替換為 `bigquery`。如要瞭解如何替換其他預留位置,請參閱本節的「REST 和 CMD LINE」分頁。
import com.google.cloud.aiplatform.v1.BatchPredictionJob;
import com.google.cloud.aiplatform.v1.BigQueryDestination;
import com.google.cloud.aiplatform.v1.BigQuerySource;
import com.google.cloud.aiplatform.v1.JobServiceClient;
import com.google.cloud.aiplatform.v1.JobServiceSettings;
import com.google.cloud.aiplatform.v1.LocationName;
import com.google.cloud.aiplatform.v1.ModelName;
import com.google.gson.JsonObject;
import com.google.protobuf.Value;
import com.google.protobuf.util.JsonFormat;
import java.io.IOException;

public class CreateBatchPredictionJobBigquerySample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "PROJECT";
    String displayName = "DISPLAY_NAME";
    String modelName = "MODEL_NAME";
    String instancesFormat = "INSTANCES_FORMAT";
    String bigquerySourceInputUri = "BIGQUERY_SOURCE_INPUT_URI";
    String predictionsFormat = "PREDICTIONS_FORMAT";
    String bigqueryDestinationOutputUri = "BIGQUERY_DESTINATION_OUTPUT_URI";
    createBatchPredictionJobBigquerySample(
        project,
        displayName,
        modelName,
        instancesFormat,
        bigquerySourceInputUri,
        predictionsFormat,
        bigqueryDestinationOutputUri);
  }

  static void createBatchPredictionJobBigquerySample(
      String project,
      String displayName,
      String model,
      String instancesFormat,
      String bigquerySourceInputUri,
      String predictionsFormat,
      String bigqueryDestinationOutputUri)
      throws IOException {
    JobServiceSettings settings =
        JobServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();
    String location = "us-central1";

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (JobServiceClient client = JobServiceClient.create(settings)) {
      JsonObject jsonModelParameters = new JsonObject();
      Value.Builder modelParametersBuilder = Value.newBuilder();
      JsonFormat.parser().merge(jsonModelParameters.toString(), modelParametersBuilder);
      Value modelParameters = modelParametersBuilder.build();
      BigQuerySource bigquerySource =
          BigQuerySource.newBuilder().setInputUri(bigquerySourceInputUri).build();
      BatchPredictionJob.InputConfig inputConfig =
          BatchPredictionJob.InputConfig.newBuilder()
              .setInstancesFormat(instancesFormat)
              .setBigquerySource(bigquerySource)
              .build();
      BigQueryDestination bigqueryDestination =
          BigQueryDestination.newBuilder().setOutputUri(bigqueryDestinationOutputUri).build();
      BatchPredictionJob.OutputConfig outputConfig =
          BatchPredictionJob.OutputConfig.newBuilder()
              .setPredictionsFormat(predictionsFormat)
              .setBigqueryDestination(bigqueryDestination)
              .build();
      String modelName = ModelName.of(project, location, model).toString();
      BatchPredictionJob batchPredictionJob =
          BatchPredictionJob.newBuilder()
              .setDisplayName(displayName)
              .setModel(modelName)
              .setModelParameters(modelParameters)
              .setInputConfig(inputConfig)
              .setOutputConfig(outputConfig)
              .build();
      LocationName parent = LocationName.of(project, location);
      BatchPredictionJob response = client.createBatchPredictionJob(parent, batchPredictionJob);
      System.out.format("response: %s\n", response);
      System.out.format("\tName: %s\n", response.getName());
    }
  }
}

Python

如要瞭解如何安裝或更新 Python 適用的 Vertex AI SDK,請參閱「安裝 Python 適用的 Vertex AI SDK」。 詳情請參閱 Python API 參考說明文件

在下列範例中,請將 `instances_format` 和 `predictions_format` 參數設為 `"bigquery"`。如要瞭解如何設定其他參數,請參閱本節的「REST 和 CMD LINE」分頁。
from google.cloud import aiplatform_v1beta1
from google.protobuf import json_format
from google.protobuf.struct_pb2 import Value


def create_batch_prediction_job_bigquery_sample(
    project: str,
    display_name: str,
    model_name: str,
    instances_format: str,
    bigquery_source_input_uri: str,
    predictions_format: str,
    bigquery_destination_output_uri: str,
    location: str = "us-central1",
    api_endpoint: str = "us-central1-aiplatform.googleapis.com",
):
    # The AI Platform services require regional API endpoints.
    client_options = {"api_endpoint": api_endpoint}
    # Initialize client that will be used to create and send requests.
    # This client only needs to be created once, and can be reused for multiple requests.
    client = aiplatform_v1beta1.JobServiceClient(client_options=client_options)
    model_parameters_dict = {}
    model_parameters = json_format.ParseDict(model_parameters_dict, Value())

    batch_prediction_job = {
        "display_name": display_name,
        # Format: 'projects/{project}/locations/{location}/models/{model_id}'
        "model": model_name,
        "model_parameters": model_parameters,
        "input_config": {
            "instances_format": instances_format,
            "bigquery_source": {"input_uri": bigquery_source_input_uri},
        },
        "output_config": {
            "predictions_format": predictions_format,
            "bigquery_destination": {"output_uri": bigquery_destination_output_uri},
        },
        # optional
        "generate_explanation": True,
    }
    parent = f"projects/{project}/locations/{location}"
    response = client.create_batch_prediction_job(
        parent=parent, batch_prediction_job=batch_prediction_job
    )
    print("response:", response)

API:Cloud Storage

REST

您可以使用 batchPredictionJobs.create 方法要求批次推論。

使用任何要求資料之前,請先替換以下項目:

  • LOCATION_ID:儲存模型及執行批次推論工作的區域。例如:us-central1
  • PROJECT_ID:您的專案 ID
  • BATCH_JOB_NAME:批次作業的顯示名稱
  • MODEL_ID:用於進行推論的模型 ID
  • URI:含有訓練資料的 Cloud Storage 值區路徑 (URI)。 可以有多個。每個 URI 的格式如下:
    gs://bucketName/pathToFileName
    
  • OUTPUT_URI_PREFIX:Cloud Storage 目的地的路徑,推論結果會寫入該目的地。Vertex AI 會將批次推論結果寫入這個路徑中,以時間戳記命名的子目錄。將這個值設為下列格式的字串:
    gs://bucketName/pathToOutputDirectory
    
  • MACHINE_TYPE:用於這項批次推論作業的機器資源。瞭解詳情
  • STARTING_REPLICA_COUNT:這個批次推論作業的起始節點數。節點數量可視負載需求增減,但絕不會低於這個數字,且不會超過節點數量上限。
  • MAX_REPLICA_COUNT:這個批次推論工作的節點數量上限。節點數量可視負載需求增加或減少,但絕不會超過上限。選用,預設值為 10。

HTTP 方法和網址:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs

JSON 要求主體:

{
  "displayName": "BATCH_JOB_NAME",
  "model": "MODEL_ID",
  "inputConfig": {
    "instancesFormat": "csv",
    "gcsSource": {
      "uris": [
        URI1,...
      ]
    },
  },
  "outputConfig": {
    "predictionsFormat": "csv",
    "gcsDestination": {
      "outputUriPrefix": "OUTPUT_URI_PREFIX"
    }
  },
  "dedicatedResources": {
    "machineSpec": {
      "machineType": "MACHINE_TYPE",
      "acceleratorCount": "0"
    },
    "startingReplicaCount": STARTING_REPLICA_COUNT,
    "maxReplicaCount": MAX_REPLICA_COUNT
  },

}

如要傳送要求,請選擇以下其中一個選項:

curl

將要求主體儲存在名為 request.json 的檔案中,然後執行下列指令:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs"

PowerShell

將要求主體儲存在名為 request.json 的檔案中,然後執行下列指令:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/batchPredictionJobs" | Select-Object -Expand Content

您應該會收到如下的 JSON 回應:

{
  "name": "projects/PROJECT__ID/locations/LOCATION_ID/batchPredictionJobs/67890",
  "displayName": "batch_job_1 202005291958",
  "model": "projects/12345/locations/us-central1/models/5678",
  "state": "JOB_STATE_PENDING",
  "inputConfig": {
    "instancesFormat": "csv",
    "gcsSource": {
      "uris": [
        "gs://bp_bucket/reg_mode_test"
      ]
    }
  },
  "outputConfig": {
    "predictionsFormat": "csv",
    "gcsDestination": {
      "outputUriPrefix": "OUTPUT_URI_PREFIX"
    }
  },
  "dedicatedResources": {
    "machineSpec": {
      "machineType": "n1-standard-32",
      "acceleratorCount": "0"
    },
    "startingReplicaCount": 2,
    "maxReplicaCount": 6
  },
  "manualBatchTuningParameters": {
    "batchSize": 4
  }
  "outputInfo": {
    "gcsOutputDataset": "OUTPUT_URI_PREFIX/prediction-batch_job_1 202005291958-2020-09-30T02:58:44.341643Z"
  }
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-30T02:58:44.341643Z",
  "updateTime": "2020-09-30T02:58:44.341643Z",
}

擷取批次推論結果

Vertex AI 會將批次推論的輸出內容傳送至您指定的目的地,可以是 BigQuery 或 Cloud Storage。

BigQuery

輸出資料集

如果您使用 BigQuery,批次推論的輸出內容會儲存在輸出資料集中。如果您已提供資料集給 Vertex AI,資料集名稱 (BQ_DATASET_NAME) 就是您先前提供的名稱。如果您未提供輸出資料集,Vertex AI 會為您建立一個。如要查看名稱 (BQ_DATASET_NAME),請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的 Vertex AI「批次預測」頁面。

    前往「Batch inferences」(批次推論) 頁面

  2. 選取您建立的推論。
  3. 輸出資料集會顯示在「匯出位置」。資料集名稱的格式如下: prediction_MODEL_NAME_TIMESTAMP
輸出資料表

輸出資料集包含下列一或多個輸出資料表:

  • 預測表格

    這份資料表包含輸入資料中的每一列,其中要求了推論 (即 TARGET_COLUMN_NAME = null)。

  • 錯誤表格

    這個表格的每一列都代表批次推論期間發生的非重大錯誤。每個非重大錯誤都對應到輸入資料中的一列,Vertex AI 無法針對該列傳回預測資料。

預測表格

資料表名稱 (BQ_PREDICTIONS_TABLE_NAME) 的格式為 `predictions_`,後面加上批次推論工作開始時的時間戳記:predictions_TIMESTAMP

如要擷取推論結果,請前往 BigQuery 頁面。

前往 BigQuery

查詢格式取決於模型類型:

分類:

SELECT predicted_TARGET_COLUMN_NAME.classes AS classes,
predicted_TARGET_COLUMN_NAME.scores AS scores
FROM BQ_DATASET_NAME.BQ_PREDICTIONS_TABLE_NAME

classes 是可能的類別清單,scores 則是對應的信賴分數。

迴歸:

SELECT predicted_TARGET_COLUMN_NAME.value
FROM BQ_DATASET_NAME.BQ_PREDICTIONS_TABLE_NAME

如果模型使用機率推論,predicted_TARGET_COLUMN_NAME.value 會包含最佳化目標的最小化值。舉例來說,如果最佳化目標是 minimize-rmse,則 predicted_TARGET_COLUMN_NAME.value 包含平均值。如果是 minimize-mae,則 predicted_TARGET_COLUMN_NAME.value 包含中位數值。

如果模型使用機率推論和分位數,Vertex AI 除了提供最佳化目標的最小化值,還會提供分位數值和推論結果。模型訓練期間會設定分位數值。分位數推論是與分位數值相關聯的推論值。

「錯誤」表格

資料表名稱 (BQ_ERRORS_TABLE_NAME) 是由 errors_ 附加批次推論工作開始時間的時間戳記所組成:errors_TIMESTAMP 如要擷取錯誤驗證資料表,請執行下列指令:
  1. 前往控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 執行下列查詢:
    SELECT * FROM BQ_DATASET_NAME.BQ_ERRORS_TABLE_NAME
          
錯誤會儲存在下列資料欄中:
  • errors_TARGET_COLUMN_NAME.code
  • errors_TARGET_COLUMN_NAME.message

Cloud Storage

如果您指定 Cloud Storage 做為輸出目的地,系統會將批次推論要求的結果,以 CSV 物件的形式傳回至您指定 bucket 中的新資料夾。資料夾名稱是模型名稱,前面加上「prediction-」,後面加上批次推論工作開始的時間戳記。您可以在模型的「批次預測」分頁中找到 Cloud Storage 資料夾名稱。

Cloud Storage 資料夾包含兩種物件:
  • 預測物件

    推論物件的名稱為 `predictions_1.csv`、`predictions_2.csv` 等。其中包含含有資料欄名稱的標題列,以及每個傳回的推論結果對應的資料列。在推論物件中,Vertex AI 會傳回推論資料,並根據模型類型建立一或多個新的推論結果資料欄:

    • 分類:針對目標資料欄的每個可能值,結果中都會新增名為 TARGET_COLUMN_NAME_VALUE_score 的資料欄。這個資料欄包含該值的評分或信賴度估計值。
    • 迴歸:系統會在名為 predicted_TARGET_COLUMN_NAME 的資料欄中,傳回該列的預測值。CSV 輸出內容不會傳回預測間隔。
  • 錯誤物件

    錯誤物件的名稱為 `errors_1.csv`、`errors_2.csv` 等。 這些檔案包含標題列,以及 Vertex AI 無法傳回推論結果的輸入資料列 (例如,如果不可為空值的特徵為空值)。

注意:如果結果很大,系統會將其拆分成多個物件。

解讀推論結果

分類

分類模型會傳回可信度分數。

信心分數會指出模型將各個類別或標籤與測試項目建立關聯的程度。數字越大,表示模型判斷標籤適用於該項目的信心就越高。您可以決定接受模型結果的信賴分數門檻。

迴歸

迴歸模型會傳回推論值。

如果模型使用機率推論,value 欄位會包含最佳化目標的最小化值。舉例來說,如果您的最佳化目標是 minimize-rmse,則 value 欄位會包含平均值。如果是 minimize-maevalue 欄位會包含中位數值。

如果模型使用機率推論和分位數,Vertex AI 除了提供最佳化目標的最小化值,還會提供分位數值和推論結果。模型訓練期間會設定分位數值。分位數推論是與分位數值相關聯的推論值。

後續步驟