Prognosen für mehrere Zeitreihen mit einem univariaten ARIMA_PLUS-Modell erstellen

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Console

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   Zur Seite "BigQuery"

2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

3. Klicken Sie auf more_vert Aktionen ansehen > Dataset erstellen.

   

4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

   • Geben Sie unter Dataset-ID bqml_tutorial ein.

   • Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.

   • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial, dessen Speicherort auf US festgelegt ist und das die Beschreibung BigQuery ML tutorial dataset hat:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.

2. Prüfen Sie, ob das Dataset erstellt wurde:

   bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

SQL

Die SELECT-Anweisung der folgenden Abfrage verwendet die EXTRACT-Funktion, um die Datumsinformationen aus der Spalte starttime zu extrahieren. Die Abfrage verwendet die COUNT(*)-Klausel, um die Gesamtzahl der Citi Bike-Touren pro Tag abzurufen.

So visualisieren Sie die Zeitreihendaten:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
    EXTRACT(DATE from starttime) AS date,
    COUNT(*) AS num_trips
   FROM
   `bigquery-public-data.new_york.citibike_trips`
   GROUP BY date;

3. Klicken Sie nach Abschluss der Abfrage auf Daten auswerten > Mit Looker Studio auswerten. Looker Studio wird in einem neuen Tab geöffnet. Führen Sie die folgenden Schritte in dem neuen Tab aus.

4. Klicken Sie in Looker Studio auf Einfügen > Zeitreihendiagramm.

5. Wählen Sie im Bereich Diagramm den Tab Einrichtung aus.

6. Fügen Sie im Bereich Messwert das Feld num_trips hinzu und entfernen Sie den Standardmesswert Anzahl der Datensätze. Das Diagramm sieht dann ungefähr so aus:

   

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.new_york.citibike_trips")

features = bpd.DataFrame(
    {
        "num_trips": df.starttime,
        "date": df["starttime"].dt.date,
    }
)
date = df["starttime"].dt.date
df.groupby([date])
num_trips = features.groupby(["date"]).count()

# Results from running "print(num_trips)"

#                num_trips
# date
# 2013-07-01      16650
# 2013-07-02      22745
# 2013-07-03      21864
# 2013-07-04      22326
# 2013-07-05      21842
# 2013-07-06      20467
# 2013-07-07      20477
# 2013-07-08      21615
# 2013-07-09      26641
# 2013-07-10      25732
# 2013-07-11      24417
# 2013-07-12      19006
# 2013-07-13      26119
# 2013-07-14      29287
# 2013-07-15      28069
# 2013-07-16      29842
# 2013-07-17      30550
# 2013-07-18      28869
# 2013-07-19      26591
# 2013-07-20      25278
# 2013-07-21      30297
# 2013-07-22      25979
# 2013-07-23      32376
# 2013-07-24      35271
# 2013-07-25      31084

num_trips.plot.line(
    # Rotate the x labels so they are more visible.
    rot=45,
)

SQL

In der folgenden Abfrage gibt die OPTIONS(model_type='ARIMA_PLUS', time_series_timestamp_col='date', ...)-Klausel an, dass Sie ein ARIMA-basiertes Zeitreihenmodell erstellen. Mit der Option time_series_id_col der CREATE MODEL-Anweisung geben Sie eine oder mehrere Spalten in den Eingabedaten an, für die Sie Prognosen erhalten möchten, in diesem Fall die Citi Bike-Station, dargestellt durch die Spalte start_station_name. Mit der WHERE-Klausel beschränken Sie die Starthaltestellen auf diejenigen, deren Namen Central Park enthalten. Die Option auto_arima_max_order der CREATE MODEL-Anweisung steuert den Suchbereich für die Hyperparameter-Abstimmung im auto.ARIMA-Algorithmus. Die Option decompose_time_series der CREATE MODEL-Anweisung ist standardmäßig auf TRUE festgelegt, damit beim Bewerten des Modells im nächsten Schritt Informationen zu den Zeitreihendaten zurückgegeben werden.

So erstellen Sie das Modell:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model_group`
   OPTIONS
   (model_type = 'ARIMA_PLUS',
    time_series_timestamp_col = 'date',
    time_series_data_col = 'num_trips',
    time_series_id_col = 'start_station_name',
    auto_arima_max_order = 5
   ) AS
   SELECT
    start_station_name,
    EXTRACT(DATE from starttime) AS date,
    COUNT(*) AS num_trips
   FROM
   `bigquery-public-data.new_york.citibike_trips`
   WHERE start_station_name LIKE '%Central Park%'
   GROUP BY start_station_name, date;

   Die Abfrage dauert ungefähr 24 Sekunden. Anschließend wird das Modell nyc_citibike_arima_model_group im Bereich Explorer angezeigt. Da die Abfrage eine CREATE MODEL-Anweisung verwendet, werden keine Abfrageergebnisse angezeigt.

Mit dieser Abfrage werden zwölf Zeitreihenmodelle erstellt, eines für jede der zwölf Citi Bike-Startstationen in den Eingabedaten. Der Zeitaufwand ist mit etwa 24 Sekunden aufgrund der Parallelität nur 1,4-mal höher als bei der Erstellung eines Modells mit nur einer Zeitreihe. Wenn Sie jedoch die WHERE ... LIKE ...-Klausel entfernen, gibt es mehr als 600 Zeitachsen für die Prognose, die aufgrund der Slotkapazitätsbeschränkungen nicht vollständig parallel prognostiziert werden. In diesem Fall würde die Abfrage etwa 15 Minuten dauern. Wenn Sie die Abfragelaufzeit reduzieren möchten, ohne dass sich die Modellqualität möglicherweise verschlechtert, können Sie den Wert von auto_arima_max_order verringern. Dadurch wird der Suchbereich der Hyperparameter-Abstimmung im auto.ARIMA-Algorithmus verkleinert. Weitere Informationen finden Sie unter Large-scale time series forecasting best practices.

BigQuery DataFrames

Im folgenden Snippet wird ein ARIMA-basiertes Zeitreihenmodell erstellt.

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

from bigframes.ml import forecasting
import bigframes.pandas as bpd

model = forecasting.ARIMAPlus(
    # To reduce the query runtime with the compromise of a potential slight
    # drop in model quality, you could decrease the value of the
    # auto_arima_max_order. This shrinks the search space of hyperparameter
    # tuning in the auto.ARIMA algorithm.
    auto_arima_max_order=5,
)

df = bpd.read_gbq("bigquery-public-data.new_york.citibike_trips")

# This query creates twelve time series models, one for each of the twelve
# Citi Bike start stations in the input data. If you remove this row
# filter, there would be 600+ time series to forecast.
df = df[df["start_station_name"].str.contains("Central Park")]

features = bpd.DataFrame(
    {
        "start_station_name": df["start_station_name"],
        "num_trips": df["starttime"],
        "date": df["starttime"].dt.date,
    }
)
num_trips = features.groupby(
    ["start_station_name", "date"],
    as_index=False,
).count()

X = num_trips["date"].to_frame()
y = num_trips["num_trips"].to_frame()

model.fit(
    X,
    y,
    # The input data that you want to get forecasts for,
    # in this case the Citi Bike station, as represented by the
    # start_station_name column.
    id_col=num_trips["start_station_name"].to_frame(),
)

# The model.fit() call above created a temporary model.
# Use the to_gbq() method to write to a permanent location.
model.to_gbq(
    your_model_id,  # For example: "bqml_tutorial.nyc_citibike_arima_model",
    replace=True,
)

Dadurch werden zwölf Zeitreihenmodelle erstellt, eines für jede der zwölf Citi Bike-Startstationen in den Eingabedaten. Der Zeitaufwand ist mit etwa 24 Sekunden aufgrund der Parallelität nur 1,4-mal höher als bei der Erstellung eines Modells mit nur einer Zeitreihe.

SQL

Bewerten Sie das Zeitreihenmodell mit der Funktion ML.ARIMA_EVALUATE. Die Funktion ML.ARIMA_EVALUATE zeigt die Bewertungsmesswerte an, die während der automatischen Hyperparameter-Abstimmung für das Modell generiert wurden.

So bewerten Sie das Modell:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
   *
   FROM
   ML.ARIMA_EVALUATE(MODEL `bqml_tutorial.nyc_citibike_arima_model_group`);

   Die Ergebnisse sollten so aussehen:

   

   Während auto.ARIMA Dutzende von ARIMA-Kandidatenmodellen für jede Zeitreihe auswertet, gibt ML.ARIMA_EVALUATE standardmäßig nur die Informationen des besten Modells aus, um die Ausgabetabelle kompakt zu gestalten. Wenn Sie alle Kandidatenmodelle aufrufen möchten, können Sie das show_all_candidate_model-Argument der Funktion ML.ARIMA_EVALUATE auf TRUE festlegen.

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

# Evaluate the time series models by using the summary() function. The summary()
# function shows you the evaluation metrics of all the candidate models evaluated
# during the process of automatic hyperparameter tuning.
summary = model.summary()
print(summary.peek())

# Expected output:
#    start_station_name                  non_seasonal_p  non_seasonal_d   non_seasonal_q  has_drift  log_likelihood           AIC     variance ...
# 1         Central Park West & W 72 St               0               1                5      False    -1966.449243   3944.898487  1215.689281 ...
# 8            Central Park W & W 96 St               0               0                5      False     -274.459923    562.919847   655.776577 ...
# 9        Central Park West & W 102 St               0               0                0      False     -226.639918    457.279835    258.83582 ...
# 11        Central Park West & W 76 St               1               1                2      False    -1700.456924   3408.913848   383.254161 ...
# 4   Grand Army Plaza & Central Park S               0               1                5      False    -5507.553498  11027.106996   624.138741 ...

SQL

Prüfen Sie mit der Funktion ML.ARIMA_COEFFICIENTS die Koeffizienten des Zeitreihenmodells.

So rufen Sie die Koeffizienten des Modells ab:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
   *
   FROM
   ML.ARIMA_COEFFICIENTS(MODEL `bqml_tutorial.nyc_citibike_arima_model_group`);

   Die Abfrage dauert weniger als eine Sekunde. Die Antwort sollte in etwa so aussehen:

   

   Weitere Informationen zu den Ausgabespalten finden Sie unter ML.ARIMA_COEFFICIENTS-Funktion.

BigQuery DataFrames

Prüfen Sie mit der Funktion coef_ die Koeffizienten des Zeitreihenmodells.

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

coef = model.coef_
print(coef.peek())

# Expected output:
#    start_station_name                                              ar_coefficients                                   ma_coefficients intercept_or_drift
# 5    Central Park West & W 68 St                                                [] [-0.41014089  0.21979212 -0.59854213 -0.251438...                0.0
# 6         Central Park S & 6 Ave                                                [] [-0.71488957 -0.36835772  0.61008532  0.183290...                0.0
# 0    Central Park West & W 85 St                                                [] [-0.39270166 -0.74494638  0.76432596  0.489146...                0.0
# 3    W 82 St & Central Park West                         [-0.50219511 -0.64820817]             [-0.20665325  0.67683137 -0.68108631]                0.0
# 11  W 106 St & Central Park West [-0.70442887 -0.66885553 -0.25030325 -0.34160669]                                                []                0.0

SQL

Mit der Funktion ML.FORECAST können Sie zukünftige Zeitreihenwerte prognostizieren.

In der folgenden GoogleSQL-Abfrage gibt die STRUCT(3 AS horizon, 0.9 AS confidence_level)-Klausel an, dass die Abfrage drei zukünftige Zeitpunkte prognostiziert und ein Vorhersageintervall mit einem Konfidenzniveau von 90% generiert.

So prognostizieren Sie Daten mit dem Modell:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
   *
   FROM
   ML.FORECAST(MODEL `bqml_tutorial.nyc_citibike_arima_model_group`,
    STRUCT(3 AS horizon, 0.9 AS confidence_level))

3. Klicken Sie auf Ausführen.

   Die Abfrage dauert weniger als eine Sekunde. Die Ergebnisse sollten so aussehen:

   

Weitere Informationen zu den Ausgabespalten finden Sie unter ML.FORECAST-Funktion.

BigQuery DataFrames

Mit der Funktion predict können Sie zukünftige Zeitreihenwerte prognostizieren.

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

prediction = model.predict(horizon=3, confidence_level=0.9)

print(prediction.peek())
# Expected output:
#            forecast_timestamp                             start_station_name  forecast_value  standard_error  confidence_level ...
# 4   2016-10-01 00:00:00+00:00                         Central Park S & 6 Ave      302.377201       32.572948               0.9 ...
# 14  2016-10-02 00:00:00+00:00  Central Park North & Adam Clayton Powell Blvd      263.917567       45.284082               0.9 ...
# 1   2016-09-25 00:00:00+00:00                    Central Park West & W 85 St      189.574706       39.874856               0.9 ...
# 20  2016-10-02 00:00:00+00:00                    Central Park West & W 72 St      175.474862       40.940794               0.9 ...
# 12  2016-10-01 00:00:00+00:00                   W 106 St & Central Park West        63.88163       18.088868               0.9 ...

SQL

Mit der Funktion ML.EXPLAIN_FORECAST können Sie zusätzlich zu Prognosedaten auch Erklärbarkeitsmesswerte abrufen. Die Funktion ML.EXPLAIN_FORECAST prognostiziert zukünftige Zeitreihenwerte und gibt auch alle einzelnen Komponenten der Zeitreihe zurück. Wenn Sie nur Prognosedaten zurückgeben möchten, verwenden Sie stattdessen die Funktion ML.FORECAST, wie im Abschnitt Modell zur Prognose von Daten verwenden beschrieben.

Die STRUCT(3 AS horizon, 0.9 AS confidence_level)-Klausel, die in der Funktion ML.EXPLAIN_FORECAST verwendet wird, gibt an, dass die Abfrage drei zukünftige Zeitpunkte prognostiziert und ein Vorhersageintervall mit einer Konfidenz von 90% generiert.

So erklären Sie die Ergebnisse des Modells:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
   *
   FROM
   ML.EXPLAIN_FORECAST(MODEL `bqml_tutorial.nyc_citibike_arima_model_group`,
    STRUCT(3 AS horizon, 0.9 AS confidence_level));

   Die Abfrage dauert weniger als eine Sekunde. Die Ergebnisse sollten so aussehen:

   

   Die ersten tausend Zeilen sind ausschließlich Verlaufsdaten. Sie müssen durch die Ergebnisse scrollen, um die Prognosedaten zu sehen.

   Die Ausgabezeilen werden zuerst nach start_station_name und dann chronologisch nach dem Spaltenwert time_series_timestamp sortiert. Bei der Zeitreihenprognose ist das Vorhersageintervall, das durch die Spaltenwerte prediction_interval_lower_bound und prediction_interval_upper_bound dargestellt wird, genauso wichtig wie der Spaltenwert forecast_value. Der Wert forecast_value ist der Mittelpunkt des Vorhersageintervalls. Das Vorhersageintervall hängt von den Spaltenwerten standard_error und confidence_level ab.

   Weitere Informationen zu den Ausgabespalten finden Sie unter ML.EXPLAIN_FORECAST.

BigQuery DataFrames

Mit der Funktion predict_explain können Sie zusätzlich zu Prognosedaten auch Erklärbarkeitsmesswerte abrufen. Die Funktion predict_explain prognostiziert zukünftige Zeitreihenwerte und gibt auch alle einzelnen Komponenten der Zeitreihe zurück. Wenn Sie nur Prognosedaten zurückgeben möchten, verwenden Sie stattdessen die Funktion predict, wie im Abschnitt Modell zur Prognose von Daten verwenden beschrieben.

Die horizon=3, confidence_level=0.9-Klausel, die in der Funktion predict_explain verwendet wird, gibt an, dass die Abfrage drei zukünftige Zeitpunkte prognostiziert und ein Vorhersageintervall mit einer Konfidenz von 90% generiert.

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

explain = model.predict_explain(horizon=3, confidence_level=0.9)

print(explain.peek(5))
# Expected output:
#   time_series_timestamp	        start_station_name	            time_series_type	    time_series_data	    time_series_adjusted_data	    standard_error	    confidence_level	    prediction_interval_lower_bound	    prediction_interval_upper_bound	    trend	    seasonal_period_yearly	    seasonal_period_quarterly	    seasonal_period_monthly	    seasonal_period_weekly	    seasonal_period_daily	    holiday_effect	    spikes_and_dips	    step_changes	    residual
# 0	2013-07-01 00:00:00+00:00	Central Park S & 6 Ave	                history	                  69.0	                   154.168527	              32.572948	             <NA>	                        <NA>	                            <NA>	                 0.0	          35.477484	                       <NA>	                        <NA>	                  -28.402102	                 <NA>	                <NA>	               0.0	         -85.168527	        147.093145
# 1	2013-07-01 00:00:00+00:00	Grand Army Plaza & Central Park S	    history	                  79.0	                      79.0	                  24.982769	             <NA>	                        <NA>	                            <NA>	                 0.0	          43.46428	                       <NA>	                        <NA>	                  -30.01599	                     <NA>	                <NA>	               0.0	            0.0	             65.55171
# 2	2013-07-02 00:00:00+00:00	Central Park S & 6 Ave	                history	                  180.0	                   204.045651	              32.572948	             <NA>	                        <NA>	                            <NA>	              147.093045	      72.498327	                       <NA>	                        <NA>	                  -15.545721	                 <NA>	                <NA>	               0.0	         -85.168527	         61.122876
# 3	2013-07-02 00:00:00+00:00	Grand Army Plaza & Central Park S	    history	                  129.0	                    99.556269	              24.982769	             <NA>	                        <NA>	                            <NA>	               65.551665	      45.836432	                       <NA>	                        <NA>	                  -11.831828	                 <NA>	                <NA>	               0.0	            0.0	             29.443731
# 4	2013-07-03 00:00:00+00:00	Central Park S & 6 Ave	                history	                  115.0	                   205.968236	              32.572948	             <NA>	                        <NA>	                            <NA>	               191.32754	      59.220766	                       <NA>	                        <NA>	                  -44.580071	                 <NA>	                <NA>	               0.0	         -85.168527	        -5.799709

Die Ausgabezeilen werden zuerst nach time_series_timestamp und dann chronologisch nach dem Spaltenwert start_station_name sortiert. Bei der Zeitreihenprognose ist das Vorhersageintervall, das durch die Spaltenwerte prediction_interval_lower_bound und prediction_interval_upper_bound dargestellt wird, genauso wichtig wie der Spaltenwert forecast_value. Der Wert forecast_value ist der Mittelpunkt des Vorhersageintervalls. Das Vorhersageintervall hängt von den Spaltenwerten standard_error und confidence_level ab.