將 ARIMA_PLUS 單變數時間序列模型擴展至數百萬個時間序列

建立資料集

建立 BigQuery 資料集來儲存機器學習模型。

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

建立輸入資料表

下列查詢的 SELECT 陳述式使用 EXTRACT 函式，從 starttime 欄擷取日期資訊。這項查詢會使用 COUNT(*) 子句，取得 Citi Bike 每日的總行程數。

table_1 包含 679 個時間序列。這項查詢會使用額外的 INNER JOIN 邏輯，選取所有時間序列 (時間點超過 400 個)，因此總共會產生 383 個時間序列。

請按照下列步驟建立輸入資料表：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   CREATE OR REPLACE TABLE
     `bqml_tutorial.nyc_citibike_time_series` AS
   WITH input_time_series AS
   (
     SELECT
       start_station_name,
       EXTRACT(DATE FROM starttime) AS date,
       COUNT(*) AS num_trips
     FROM
       `bigquery-public-data.new_york.citibike_trips`
     GROUP BY
       start_station_name, date
   )
   SELECT table_1.*
   FROM input_time_series AS table_1
   INNER JOIN (
     SELECT start_station_name,  COUNT(*) AS num_points
     FROM input_time_series
     GROUP BY start_station_name) table_2
   ON
     table_1.start_station_name = table_2.start_station_name
   WHERE
     num_points > 400;

使用預設參數為多個時間序列建立模型

您想預測每個 Citi Bike 站點的單車行程數量，這需要許多時間序列模型，每個輸入資料中的 Citi Bike 站點都需要一個模型。您可以編寫多個 CREATE MODEL 查詢來執行這項操作，但這可能會耗時且費時，尤其是當您有大量時序資料時。您可以改用單一查詢來建立及擬合一組時間序列模型，以便一次預測多個時間序列。

OPTIONS(model_type='ARIMA_PLUS', time_series_timestamp_col='date', ...) 子句表示您要建立一組以 ARIMA 為基礎的時間序列 ARIMA_PLUS 模型。time_series_timestamp_col 選項會指定包含時間序列的資料欄，time_series_data_col 選項會指定要預測的資料欄，而 time_series_id_col 會指定要為其建立時間序列的一或多個維度。

這個範例會省略 2016 年 6 月 1 日後的時間序列時間點，以便日後使用 ML.EVALUATE 函式評估預測準確度時，可使用這些時間點。

請按照下列步驟建立模型：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model_default`
   OPTIONS
     (model_type = 'ARIMA_PLUS',
     time_series_timestamp_col = 'date',
     time_series_data_col = 'num_trips',
     time_series_id_col = 'start_station_name'
     ) AS
   SELECT *
   FROM bqml_tutorial.nyc_citibike_time_series
   WHERE date < '2016-06-01';

   這項查詢大約需要 15 分鐘才能完成。

評估每個時間序列的預測準確度

使用 ML.EVALUATE 函式評估模型的預測準確度。

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   SELECT *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.nyc_citibike_arima_model_default`,
     TABLE `bqml_tutorial.nyc_citibike_time_series`,
     STRUCT(7 AS horizon, TRUE AS perform_aggregation));

   這項查詢會回報多項預測指標，包括：

   結果應類似下方：

   ML.EVALUATE 函式中的 TABLE 子句會指出含有實際資料的資料表。系統會將預測結果與真值資料進行比較，藉此計算準確度指標。在本例中，nyc_citibike_time_series 包含 2016 年 6 月 1 日前後的時間序列點。2016 年 6 月 1 日之後的點為地理真實資料。2016 年 6 月 1 日前的資料點會用於訓練模型，以便產生該日期後的預測資料。計算指標時，只會使用 2016 年 6 月 1 日之後的點數。指標計算會忽略 2016 年 6 月 1 日前的點數。

   ML.EVALUATE 函式中的 STRUCT 子句會為函式指定參數。horizon 值為 7，表示查詢會根據七點預測資料計算預測準確度。請注意，如果真值資料的比較點少於七個，系統會只根據可用的點來計算準確度指標。perform_aggregation 值為 TRUE，表示預測準確度指標會根據時間點匯總指標。如果您指定的 perform_aggregation 值為 FALSE，系統會針對每個預測時間點傳回預測準確度。

   如要進一步瞭解輸出資料欄，請參閱 ML.EVALUATE 函式。

評估整體預測準確度

評估所有 383 個時間序列的預測準確度。

在 ML.EVALUATE 傳回的預測指標中，只有平均絕對百分比誤差和對稱平均絕對百分比誤差與時間序列值無關。因此，如要評估時間序列集合的整體預測準確度，就必須匯總這兩項指標的值。

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   SELECT
     AVG(mean_absolute_percentage_error) AS MAPE,
     AVG(symmetric_mean_absolute_percentage_error) AS sMAPE
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.nyc_citibike_arima_model_default`,
       TABLE `bqml_tutorial.nyc_citibike_time_series`,
       STRUCT(7 AS horizon, TRUE AS perform_aggregation));

這項查詢會傳回 MAPE 值 0.3471，以及 sMAPE 值 0.2563。

建立模型，以較小的超參數搜尋空間預測多個時間序列

在「使用預設參數為多個時序資料建立模型」一節中，您為所有訓練選項 (包括 auto_arima_max_order 選項) 使用預設值。這個選項可控制 auto.ARIMA 演算法中超參數調整的搜尋空間。

在以下查詢建立的模型中，您可以將 auto_arima_max_order 選項值從預設的 5 變更為 2，為超參數使用較小的搜尋空間。

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model_max_order_2`
   OPTIONS
     (model_type = 'ARIMA_PLUS',
     time_series_timestamp_col = 'date',
     time_series_data_col = 'num_trips',
     time_series_id_col = 'start_station_name',
     auto_arima_max_order = 2
     ) AS
   SELECT *
   FROM `bqml_tutorial.nyc_citibike_time_series`
   WHERE date < '2016-06-01';

   這項查詢大約需要 2 分鐘才能完成。請回想，當 auto_arima_max_order 值為 5 時，先前的模型需要約 15 分鐘才能完成，因此這項變更可將模型訓練速度提升約 7 倍。如果您想知道為什麼速度增幅不是 5/2=2.5x，這是因為當 auto_arima_max_order 值增加時，候選模型的數量和複雜度也會增加。這會導致模型的訓練時間增加。

評估模型的預測準確度，並縮小超參數搜尋空間

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   SELECT
     AVG(mean_absolute_percentage_error) AS MAPE,
     AVG(symmetric_mean_absolute_percentage_error) AS sMAPE
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.nyc_citibike_arima_model_max_order_2`,
       TABLE `bqml_tutorial.nyc_citibike_time_series`,
       STRUCT(7 AS horizon, TRUE AS perform_aggregation));

這項查詢會傳回 MAPE 值 0.3337，以及 sMAPE 值 0.2337。

在「評估整體預測準確度」一節中，您評估的模型具有較大的超參數搜尋空間，auto_arima_max_order 選項值為 5。這會導致 MAPE 值為 0.3471，sMAPE 值為 0.2563。在這種情況下，您可以看到較小的超參數搜尋空間實際上可提高預測準確度。其中一個原因是 auto.ARIMA 演算法只會針對整個模擬管道的趨勢模組進行超參數調整。auto.ARIMA 演算法選取的最佳 ARIMA 模型，可能無法為整個管道產生最佳預測結果。

建立模型，以較小的超參數搜尋空間和快速訓練策略預測多個時間序列

在這個步驟中，您可以使用一或多個 max_time_series_length、max_time_series_length 或 time_series_length_fraction 訓練選項，同時使用較小的超參數搜尋空間和智慧快速訓練策略。

雖然季節性等週期性模型需要一定數量的時間點，但趨勢模型所需的時間點較少。同時，趨勢模擬的運算成本遠高於其他時間序列元件 (例如季節性)。透過上述快速訓練選項，您可以使用時間序列的子集有效模擬趨勢元件，而其他時間序列元件則會使用整個時間序列。

以下範例使用 max_time_series_length 選項快速訓練模型。將 max_time_series_length 選項值設為 30 後，系統只會使用最近 30 個時間點來模擬趨勢元件。所有 383 個時間序列仍可用於模擬非趨勢元件。

請按照下列步驟建立模型：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model_max_order_2_fast_training`
   OPTIONS
     (model_type = 'ARIMA_PLUS',
     time_series_timestamp_col = 'date',
     time_series_data_col = 'num_trips',
     time_series_id_col = 'start_station_name',
     auto_arima_max_order = 2,
     max_time_series_length = 30
     ) AS
   SELECT *
   FROM `bqml_tutorial.nyc_citibike_time_series`
   WHERE date < '2016-06-01';

   查詢大約需要 35 秒才能完成。這比您在「建立模型，以較小的超參數搜尋空間預測多個時間序列」一節中使用的查詢快上 3 倍。由於查詢的非訓練部分 (例如資料預先處理) 會產生固定的時間開銷，因此當時間序列數量遠大於本範例時，速度提升幅度會更高。對於百萬個時間序列，速度提升會接近時間序列長度與 max_time_series_length 選項值的值的比率。在這種情況下，速度提升幅度會超過 10 倍。

評估模型的預測準確度，使用較小的超參數搜尋空間和智慧快速訓練策略

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   SELECT
     AVG(mean_absolute_percentage_error) AS MAPE,
     AVG(symmetric_mean_absolute_percentage_error) AS sMAPE
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.nyc_citibike_arima_model_max_order_2_fast_training`,
       TABLE `bqml_tutorial.nyc_citibike_time_series`,
       STRUCT(7 AS horizon, TRUE AS perform_aggregation));

這項查詢會傳回 MAPE 值 0.3515，以及 sMAPE 值 0.2473。

請注意，如果不使用快速訓練策略，預測準確度會導致 MAPE 值為 0.3337，而 sMAPE 值為 0.2337。兩組指標值的差異在 3% 以內，在統計上不具意義。

簡而言之，您使用較小的超參數搜尋空間和智慧快速訓練策略，讓模型訓練速度提高 20 倍以上，且不犧牲預測準確度。如先前所述，如果時間序列更多，智慧快速訓練策略的速度提升幅度就會大幅提高。此外，ARIMA_PLUS 模型使用的基礎 ARIMA 程式庫已經過最佳化，執行速度比先前快上 5 倍。這些進展讓我們能夠在數小時內預測數百萬個時間序列。

建立模型來預測百萬個時間序列

在這個步驟中，您將使用愛荷華州公開的酒類銷售資料，預測不同商店中超過 100 萬種酒類產品的銷售量。模型訓練會使用較小的超參數搜尋空間，並採用智慧快速訓練策略。

如要評估模型，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中貼上以下查詢，然後點選「執行」：

   CREATE OR REPLACE MODEL
     `bqml_tutorial.liquor_forecast_by_product`
   OPTIONS(
     MODEL_TYPE = 'ARIMA_PLUS',
     TIME_SERIES_TIMESTAMP_COL = 'date',
     TIME_SERIES_DATA_COL = 'total_bottles_sold',
     TIME_SERIES_ID_COL = ['store_number', 'item_description'],
     HOLIDAY_REGION = 'US',
     AUTO_ARIMA_MAX_ORDER = 2,
     MAX_TIME_SERIES_LENGTH = 30
   ) AS
   SELECT
     store_number,
     item_description,
     date,
     SUM(bottles_sold) as total_bottles_sold
   FROM
     `bigquery-public-data.iowa_liquor_sales.sales`
   WHERE date BETWEEN DATE("2015-01-01") AND DATE("2021-12-31")
   GROUP BY store_number, item_description, date;

   這項查詢大約需要 1 小時 16 分鐘才能完成。