擷取訓練資料

如要擷取特徵資料來訓練模型，請使用批次服務。如要匯出特徵值以進行封存或臨時分析，請匯出特徵值。

擷取模型訓練的特徵值

如要訓練模型，您需要包含預測工作範例的訓練資料集。這些範例包含執行個體，其中包含特徵和標籤。執行個體是您要預測的項目。舉例來說，假設某個例項是住家，而您想判斷其市場價值。包括位置、屋齡，以及附近房屋最近的平均售價。標籤是預測工作的答案，例如最終以 $100, 000 美元的價格售出房屋。

由於每個標籤都是特定時間點的觀察結果，因此您需要擷取與觀察時間點相應的特徵值，例如特定房屋售出時附近房屋的價格。隨著時間推移，系統會收集標籤和特徵值，這些特徵值也會隨之變更。Vertex AI 特徵儲存庫 (舊版) 可以執行時間點查詢，讓您擷取特定時間的特徵值。

時間點查詢範例

以下範例會擷取標籤為 L1 和 L2 的兩個訓練例項的特徵值。這兩個標籤分別位於 T1 和 T2。想像一下，在這些時間戳記凍結特徵值的狀態。因此，在 T1 的時間點查詢時，Vertex AI 特徵儲存庫 (舊版) 會傳回 Feature 1、Feature 2 和 Feature 3 最新的特徵值 (最多到 T1)，不會洩漏 T1 之後的值。隨著時間推移，特徵值和標籤也會隨之變更。因此，在 T2，特徵儲存庫會傳回該時間點的不同特徵值。

批次提供輸入內容

提出批次放送要求時，必須提供下列資訊：

• 要取得值的現有功能清單。
• 讀取執行個體清單，其中包含每個訓練樣本的資訊。這份清單列出特定時間點的觀察結果。可以是 CSV 檔案或 BigQuery 資料表。清單必須包含下列資訊：
  • 時間戳記：觀察或測量標籤的時間。系統需要時間戳記，Vertex AI 特徵儲存庫 (舊版) 才能執行時間點查詢。
  • 實體 ID：與標籤相應的一或多個實體 ID。
• 輸出內容的寫入目的地 URI 和格式。在輸出內容中，Vertex AI 特徵儲存庫 (舊版) 基本上會合併讀取執行個體清單中的表格，以及特徵儲存庫中的特徵值。指定輸出內容的格式和位置，可選擇下列其中一種：
  • 地區或多地區資料集中的 BigQuery 資料表。
  • 位於單一地區或多地區 Cloud Storage 值區的 CSV 檔案。但如果特徵值包含陣列，則必須選擇其他格式。
  • Cloud Storage bucket 中的 Tfrecord 檔案。

區域規定

無論是讀取執行個體或目的地，來源資料集或值區都必須與特徵存放區位於相同區域或多區域位置。舉例來說，us-central1 中的特徵儲存庫只能從 us-central1 或美國多區域位置的 Cloud Storage 值區或 BigQuery 資料集讀取資料，或將資料提供給這些值區/資料集。您無法使用來自 us-east1 等來源的資料。此外，系統也不支援使用雙區域 bucket 讀取或提供資料。

讀取執行個體清單

讀取執行個體清單會指定要擷取的特徵值實體和時間戳記。CSV 檔案或 BigQuery 資料表必須包含下列資料欄，順序不限。每個資料欄都需要欄標題。

• 你必須加入時間戳記資料欄，標頭名稱為 timestamp，資料欄值為 RFC 3339 格式的時間戳記。
• 你必須加入一或多個實體類型資料欄，其中標題為實體類型 ID，資料欄值則為實體 ID。
• 選用：您可以加入直通值 (額外資料欄)，這些值會原封不動地傳遞至輸出內容。如果您有不在 Vertex AI 特徵儲存庫 (舊版) 中的資料，但想將該資料納入輸出內容，這項功能就非常實用。

範例 (CSV)

假設特徵儲存庫包含實體類型 users 和 movies，以及這些實體類型的特徵。舉例來說，users 的特徵可能包括 age 和 gender，而 movies 的特徵可能包括 ratings 和 genre。

以這個範例來說，您想收集使用者電影偏好的訓練資料。您會擷取兩個使用者實體 alice 和 bob 的特徵值，以及他們看過的電影特徵。從另一個資料集，您知道 alice 觀看並喜歡 movie_01。bob觀看movie_02後不喜歡，因此，讀取執行個體清單可能如下列範例所示：

users,movies,timestamp,liked
"alice","movie_01",2021-04-15T08:28:14Z,true
"bob","movie_02",2021-04-15T08:28:14Z,false

Vertex AI 特徵儲存庫 (舊版) 會擷取所列實體在指定時間戳記或之前的特徵值。您可以在批次服務要求中指定要取得的特定特徵，而非在讀取執行個體清單中指定。

這個範例也包含名為 liked 的資料欄，指出使用者是否喜歡某部電影。這個資料欄不會納入特徵商店，但您仍可將這些值傳遞至批次資料提供輸出內容。在輸出內容中，這些傳遞值會與特徵商店的值合併。

空值

如果在特定時間戳記的特徵值為空值，Vertex AI 特徵儲存庫 (舊版) 會傳回先前的非空值特徵值。如果沒有先前的值，Vertex AI 特徵儲存庫 (舊版) 會傳回空值。

批次提供特徵值

從特徵商店批次提供特徵值，以取得讀取執行個體清單檔案所決定的資料。

如要讀取近期的訓練資料並排除舊資料，藉此降低離線儲存空間用量費用，請指定開始時間。如要瞭解如何指定開始時間來降低離線儲存空間用量費用，請參閱指定開始時間，在批次服務和批次匯出期間最佳化離線儲存空間費用。

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID:batchReadFeatureValues

{
  "destination": {
    "bigqueryDestination": {
      "outputUri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
    }
  },
  "csvReadInstances": {
    "gcsSource": {
      "uris": ["STORAGE_LOCATION"]
    }
  },
  "entityTypeSpecs": [
    {
      "entityTypeId": "users",
      "featureSelector": {
        "idMatcher": {
          "ids": ["age", "liked_genres"]
        }
      }
    },
    {
      "entityTypeId": "movies",
      "featureSelector": {
        "idMatcher": {
          "ids": ["title", "average_rating", "genres"]
        }
      }
    }
  ],
  "passThroughFields": [
    {
      "fieldName": "liked"
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID:batchReadFeatureValues"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID:batchReadFeatureValues" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.BatchReadFeatureValuesOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-03-02T00:03:41.558337Z",
      "updateTime": "2021-03-02T00:03:41.558337Z"
    }
  }
}

from google.cloud import aiplatform


def batch_serve_features_to_bq_sample(
    project: str,
    location: str,
    featurestore_name: str,
    bq_destination_output_uri: str,
    read_instances_uri: str,
    sync: bool = True,
):

    aiplatform.init(project=project, location=location)

    fs = aiplatform.featurestore.Featurestore(featurestore_name=featurestore_name)

    SERVING_FEATURE_IDS = {
        "users": ["age", "gender", "liked_genres"],
        "movies": ["title", "average_rating", "genres"],
    }

    fs.batch_serve_to_bq(
        bq_destination_output_uri=bq_destination_output_uri,
        serving_feature_ids=SERVING_FEATURE_IDS,
        read_instances_uri=read_instances_uri,
        sync=sync,
    )

查看批次資料擷取工作

使用 Google Cloud 控制台查看Google Cloud 專案中的批次服務工作。

後續步驟

• 瞭解如何批次擷取特徵值。
• 瞭解如何透過線上放送提供功能。
• 查看 Vertex AI 特徵儲存庫 (舊版) 的並行批次工作配額。
• 排解常見的 Vertex AI 特徵儲存庫 (舊版) 問題。