Memperkirakan beberapa deret waktu dengan model multi-variabel

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Membuat tabel data input

Buat tabel data yang dapat Anda gunakan untuk melatih dan mengevaluasi model. Tabel ini menggabungkan kolom dari tabel bigquery-public-data.iowa_liquor_sales.sales dan bigquery-public-data.covid19_weathersource_com.postal_code_day_history untuk menganalisis pengaruh cuaca terhadap jenis dan jumlah item yang dipesan oleh toko minuman keras. Anda juga membuat kolom tambahan berikut yang dapat digunakan sebagai variabel input untuk model:

• date: tanggal pesanan
• store_number: nomor unik toko yang melakukan pemesanan
• item_number: nomor unik item yang dipesan
• bottles_sold: jumlah botol yang dipesan dari item terkait
• temperature: suhu rata-rata di lokasi toko pada tanggal pesanan
• humidity: kelembapan rata-rata di lokasi toko pada tanggal pesanan

Ikuti langkah-langkah berikut untuk membuat tabel data input:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.iowa_liquor_sales_with_weather` AS
   WITH
     sales AS (
       SELECT
         DATE,
         store_number,
         item_number,
         bottles_sold,
         SAFE_CAST(SAFE_CAST(zip_code AS FLOAT64) AS INT64) AS zip_code
       FROM
         `bigquery-public-data.iowa_liquor_sales.sales` AS sales
       WHERE
         SAFE_CAST(zip_code AS FLOAT64) IS NOT NULL
     ),
     aggregated_sales AS (
       SELECT
         DATE,
         store_number,
         item_number,
         ANY_VALUE(zip_code) AS zip_code,
         SUM(bottles_sold) AS bottles_sold,
       FROM
         sales
       GROUP BY
         DATE,
         store_number,
         item_number
     ),
     weather AS (
       SELECT
         DATE,
         SAFE_CAST(postal_code AS INT64) AS zip_code,
         avg_temperature_air_2m_f AS temperature,
         avg_humidity_specific_2m_gpkg AS humidity,
       FROM
         `bigquery-public-data.covid19_weathersource_com.postal_code_day_history`
       WHERE
         SAFE_CAST(postal_code AS INT64) IS NOT NULL
     ),
     avg_weather AS (
       SELECT
         DATE,
         zip_code,
         AVG(temperature) AS temperature,
         AVG(humidity) AS humidity,
       FROM
         weather
       GROUP BY
         DATE,
         zip_code
     )
   SELECT
     aggregated_sales.date,
     aggregated_sales.store_number,
     aggregated_sales.item_number,
     aggregated_sales.bottles_sold,
     avg_weather.temperature AS temperature,
     avg_weather.humidity AS humidity
   FROM
     aggregated_sales
     LEFT JOIN avg_weather ON aggregated_sales.zip_code=avg_weather.zip_code
     AND aggregated_sales.DATE=avg_weather.DATE;

Buat model deret waktu

Buat model deret waktu untuk memperkirakan botol yang terjual untuk setiap kombinasi ID toko dan ID item, untuk setiap tanggal dalam tabel bqml_tutorial.iowa_liquor_sales_with_weather sebelum 1 September 2022. Gunakan suhu dan kelembapan rata-rata lokasi toko pada setiap tanggal sebagai fitur yang akan dievaluasi selama perkiraan. Ada sekitar 1 juta kombinasi unik nomor item dan nomor toko dalam tabel bqml_tutorial.iowa_liquor_sales_with_weather, yang berarti ada 1 juta deret waktu berbeda yang akan diprediksi.

Ikuti langkah-langkah berikut untuk membuat model:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   CREATE
   OR REPLACE MODEL `bqml_tutorial.multi_time_series_arimax_model`
   OPTIONS(
     model_type = 'ARIMA_PLUS_XREG',
     time_series_id_col = ['store_number', 'item_number'],
     time_series_data_col = 'bottles_sold',
     time_series_timestamp_col = 'date'
   )
   AS SELECT
     *
   FROM
     `bqml_tutorial.iowa_liquor_sales_with_weather`
   WHERE
     DATE < DATE('2022-09-01');

   Kueri memerlukan waktu sekitar 38 menit untuk diselesaikan, setelah itu model multi_time_series_arimax_model akan muncul di panel Explorer. Karena kueri ini menggunakan pernyataan CREATE MODEL untuk membuat model, Anda tidak akan melihat hasil kueri.

Menggunakan model untuk memperkirakan data

Perkirakan nilai deret waktu di masa mendatang dengan menggunakan fungsi ML.FORECAST.

Dalam kueri GoogleSQL berikut, klausa STRUCT(5 AS horizon, 0.8 AS confidence_level) menunjukkan bahwa kueri memperkirakan 5 titik waktu di masa mendatang, dan menghasilkan interval prediksi dengan tingkat keyakinan 80%.

Tanda tangan data input untuk fungsi ML.FORECAST sama dengan tanda tangan data untuk data pelatihan yang Anda gunakan untuk membuat model. Kolom bottles_sold tidak disertakan dalam input, karena itulah data yang coba diperkirakan oleh model.

Ikuti langkah-langkah berikut untuk memperkirakan data dengan model:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   SELECT
     *
   FROM
     ML.FORECAST (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (5 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           * EXCEPT (bottles_sold)
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE>=DATE('2022-09-01')
       )
     );

   Hasilnya akan terlihat seperti berikut:

   

   Baris output diurutkan berdasarkan nilai store_number, lalu berdasarkan nilai item_ID, kemudian dalam urutan kronologis berdasarkan nilai kolom forecast_timestamp. Dalam perkiraan deret waktu, interval prediksi, sebagaimana diwakili oleh nilai kolom prediction_interval_lower_bound dan prediction_interval_upper_bound, sama pentingnya dengan nilai kolom forecast_value. Nilai forecast_value adalah titik tengah interval prediksi. Interval prediksi bergantung pada nilai kolom standard_error dan confidence_level.

   Untuk mengetahui informasi selengkapnya tentang kolom output, lihat ML.FORECAST.

Menjelaskan hasil perkiraan

Anda bisa mendapatkan metrik keterjelasan selain data perkiraan dengan menggunakan fungsi ML.EXPLAIN_FORECAST. Fungsi ML.EXPLAIN_FORECAST memperkirakan nilai deret waktu di masa mendatang dan juga menampilkan semua komponen terpisah dari deret waktu.

Mirip dengan fungsi ML.FORECAST, klausa STRUCT(5 AS horizon, 0.8 AS confidence_level) yang digunakan dalam fungsi ML.EXPLAIN_FORECAST menunjukkan bahwa kueri memperkirakan 30 titik waktu di masa mendatang dan menghasilkan interval prediksi dengan keyakinan 80%.

Fungsi ML.EXPLAIN_FORECAST menyediakan data historis dan data perkiraan. Untuk hanya melihat data perkiraan, tambahkan opsi time_series_type ke kueri dan tentukan forecast sebagai nilai opsi.

Ikuti langkah-langkah berikut untuk menjelaskan hasil model:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   SELECT
     *
   FROM
     ML.EXPLAIN_FORECAST (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (5 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           * EXCEPT (bottles_sold)
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   Hasilnya akan terlihat seperti berikut:

   

   Baris output diurutkan secara kronologis berdasarkan nilai kolom time_series_timestamp.

   Untuk mengetahui informasi selengkapnya tentang kolom output, lihat ML.EXPLAIN_FORECAST.

Mengevaluasi akurasi perkiraan

Mengevaluasi akurasi perkiraan model dengan menjalankannya pada data yang belum digunakan untuk melatih model. Anda dapat melakukannya dengan menggunakan fungsi ML.EVALUATE. Fungsi ML.EVALUATE mengevaluasi setiap deret waktu secara terpisah.

Dalam kueri GoogleSQL berikut, pernyataan SELECT kedua memberikan data dengan fitur mendatang, yang digunakan untuk memperkirakan nilai mendatang agar dibandingkan dengan data aktual.

Ikuti langkah-langkah berikut untuk mengevaluasi akurasi model:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   SELECT
     *
   FROM
     ML.EVALUATE (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       (
         SELECT
           *
         FROM
          `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   Hasilnya akan terlihat seperti berikut:

   

   Untuk mengetahui informasi selengkapnya tentang kolom output, lihat ML.EVALUATE.

Menggunakan model untuk mendeteksi anomali

Deteksi anomali dalam data pelatihan menggunakan fungsi ML.DETECT_ANOMALIES.

Dalam kueri berikut, klausa STRUCT(0.95 AS anomaly_prob_threshold) menyebabkan fungsi ML.DETECT_ANOMALIES mengidentifikasi titik data anomali dengan tingkat keyakinan 95%.

Ikuti langkah-langkah berikut untuk mendeteksi anomali dalam data pelatihan:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   SELECT
     *
   FROM
     ML.DETECT_ANOMALIES (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (0.95 AS anomaly_prob_threshold)
     );

   Hasilnya akan terlihat seperti berikut:

   

   Kolom anomaly_probability dalam hasil mengidentifikasi kemungkinan bahwa nilai kolom bottles_sold tertentu bersifat anomali.

   Untuk mengetahui informasi selengkapnya tentang kolom output, lihat ML.DETECT_ANOMALIES.

Mendeteksi anomali dalam data baru

Deteksi anomali dalam data baru dengan memberikan data input ke fungsi ML.DETECT_ANOMALIES. Data baru harus memiliki tanda tangan data yang sama dengan data pelatihan.

Ikuti langkah-langkah berikut untuk mendeteksi anomali dalam data baru:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   SELECT
     *
   FROM
     ML.DETECT_ANOMALIES (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (0.95 AS anomaly_prob_threshold),
       (
         SELECT
           *
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   Hasilnya akan terlihat seperti berikut: