使用 TRANSFORM 子句執行特徵工程

建立資料集

建立 BigQuery 資料集來儲存機器學習模型。

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

建立模型

建立線性迴歸模型來預測企鵝體重，並在 penguins 範例資料表上訓練模型。

OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) 子句代表您在建立線性迴歸模型。線性迴歸模型會從輸入特徵的線性組合產生連續值。body_mass_g 資料欄是輸入標籤欄。針對線性迴歸模型，標籤欄必須是實值 (也就是資料欄值必須是實數)。

這個查詢的 TRANSFORM 子句會使用 SELECT 陳述式中的下列欄位：

• body_mass_g：在訓練中使用，不做任何變更。
• culmen_depth_mm：在訓練中使用，不做任何變更。
• flipper_length_mm：在訓練中使用，不做任何變更。
• bucketized_culmen_length：使用 ML.QUANTILE_BUCKETIZE() 分析函式，根據分位數將 culmen_length_mm 區化，再從 culmen_length_mm 產生。
• culmen_length_mm：原始 culmen_length_mm 值，會轉換為 STRING 值並用於訓練。
• species_sex：使用 ML.FEATURE_CROSS 函式交叉 species 和 sex 產生。

您不必在 TRANSFORM 子句中使用訓練資料表的所有欄。

WHERE 子句 - WHERE body_mass_g IS NOT NULL AND RAND() < 0.2：排除企鵝權重為 NULL 的資料列，並使用 RAND 函數隨機抽樣資料。

請按照下列步驟建立模型：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
     TRANSFORM(
       body_mass_g,
       culmen_depth_mm,
       flipper_length_mm,
       ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
       CAST(culmen_length_mm AS string) AS culmen_length_mm,
       ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'])
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL
     AND RAND() < 0.2;

   查詢作業大約需要 15 分鐘才能完成，之後「探索器」窗格就會顯示 penguin_transform 模型。由於查詢是使用 CREATE MODEL 陳述式建立模型，因此您不會看到查詢結果。

評估模型

使用 ML.EVALUATE 函式評估模型效能。ML.EVALUATE 函式會根據模型傳回的預測企鵝權重，評估訓練資料中的實際企鵝權重。

這個查詢的巢狀 SELECT 陳述式和 FROM 子句與 CREATE MODEL 查詢中的相同。由於您在建立模型時使用了 TRANSFORM 子句，因此不必在 ML.EVALUATE 函式中再次指定資料欄和轉換。函式會自動從模型中擷取這些值。

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL
       ));

   結果應如下所示：

   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   評估結果中有個重要的指標，就是 R² 分數。R² 分數是種統計量具，用來確認線性迴歸的預測結果是否趨近於實際資料。0 值代表模型無法解釋平均值周圍之回應資料的變化。1 值表示模型能夠解釋所有平均值周圍之回應資料的變化。

   如要進一步瞭解 ML.EVALUATE 函式輸出內容，請參閱「迴歸模型」。

   您也可以不提供輸入資料，直接呼叫 ML.EVALUATE。系統會使用訓練期間計算的評估指標。

使用模型預測企鵝重量

使用含有 ML.PREDICT 函式的模型，預測企鵝的體重。

ML.PREDICT 函式會在 predicted_label_column_name 資料欄 (在本例中為 predicted_body_mass_g) 中輸出預測值。

使用 ML.PREDICT 函式時，您不必傳入模型訓練中使用的所有資料欄。只有在 TRANSFORM 子句中使用的資料欄為必填欄。與 ML.EVALUATE 類似，ML.PREDICT 函式會自動從模型擷取 TRANSFORM 資料欄和轉換。

如要取得模型的預測結果，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   SELECT
     predicted_body_mass_g
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           sex = 'MALE'
       ));

   結果應如下所示：

   +-----------------------+
   | predicted_body_mass_g |
   +-----------------------+
   |    2810.2868541725757 |
   +-----------------------+
   |    3813.6574220842676 |
   +-----------------------+
   |     4098.844698262214 |
   +-----------------------+
   |     4256.587135004173 |
   +-----------------------+
   |     3008.393497302691 |
   +-----------------------+
   |     ...               |
   +-----------------------+