Créer des recommandations basées sur des commentaires implicites avec un modèle de factorisation matricielle

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Préparer les exemples de données

Transformer les données de la table GA360_test.ga_sessions_sample en une structure plus adaptée à l'entraînement du modèle, puis écrire ces données dans une table BigQuery. La requête suivante calcule la durée de la session pour chaque utilisateur et chaque contenu. Vous pouvez ensuite l'utiliser comme feedback implicite pour déduire la préférence de l'utilisateur pour ce contenu.

Pour créer la table de données d'entraînement, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Créez la table de données d'entraînement. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE TABLE `bqml_tutorial.analytics_session_data`
   AS
   WITH
     visitor_page_content AS (
       SELECT
         fullVisitorID,
         (
           SELECT
             MAX(
               IF(
                 index = 10,
                 value,
                 NULL))
           FROM
             UNNEST(hits.customDimensions)
         ) AS latestContentId,
         (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time)
           AS session_duration
       FROM
         `cloud-training-demos.GA360_test.ga_sessions_sample`,
         UNNEST(hits) AS hits
       WHERE
         # only include hits on pages
         hits.type = 'PAGE'
       GROUP BY
         fullVisitorId,
         latestContentId,
         hits.time
     )
   # aggregate web stats
   SELECT
     fullVisitorID AS visitorId,
     latestContentId AS contentId,
     SUM(session_duration) AS session_duration
   FROM
     visitor_page_content
   WHERE
     latestContentId IS NOT NULL
   GROUP BY
     fullVisitorID,
     latestContentId
   HAVING
     session_duration > 0
   ORDER BY
     latestContentId;

3. Affichez un sous-ensemble des données d'entraînement. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT * FROM `bqml_tutorial.analytics_session_data` LIMIT 5;

   Le résultat doit ressembler à ce qui suit :

   +---------------------+-----------+------------------+
   | visitorId           | contentId | session_duration |
   +---------------------+-----------+------------------+
   | 7337153711992174438 | 100074831 | 44652            |
   +---------------------+-----------+------------------+
   | 5190801220865459604 | 100170790 | 121420           |
   +---------------------+-----------+------------------+
   | 2293633612703952721 | 100510126 | 47744            |
   +---------------------+-----------+------------------+
   | 5874973374932455844 | 100510126 | 32109            |
   +---------------------+-----------+------------------+
   | 1173698801255170595 | 100676857 | 10512            |
   +---------------------+-----------+------------------+
   

Créer le modèle

Créez un modèle de factorisation matricielle et entraînez-le sur les données de la table analytics_session_data. Le modèle est entraîné pour prédire un indice de confiance pour chaque paire visitorId-contentId. L'indice de confiance est créé en recentrant les données et en appliquant une mise à l'échelle en fonction de la durée médiane de la session. Les enregistrements dont la durée de session est supérieure à 3,33 fois la médiane sont filtrés, car ils sont considérés comme des valeurs aberrantes.

L'instruction CREATE MODEL suivante utilise ces colonnes pour générer des recommandations :

• visitorId : ID du visiteur.
• contentId : ID de contenu.
• rating : note implicite comprise entre 0 et 1, calculée pour chaque paire visiteur/contenu, centrée et mise à l'échelle.

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.mf_implicit`
     OPTIONS (
       MODEL_TYPE = 'matrix_factorization',
       FEEDBACK_TYPE = 'implicit',
       USER_COL = 'visitorId',
       ITEM_COL = 'contentId',
       RATING_COL = 'rating',
       L2_REG = 30,
       NUM_FACTORS = 15)
   AS
   SELECT
     visitorId,
     contentId,
     0.3 * (1 + (session_duration - 57937) / 57937) AS rating
   FROM `bqml_tutorial.analytics_session_data`
   WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1;

   L'exécution de la requête prend environ 10 minutes, après quoi le modèle mf_implicit apparaît dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, les résultats de la requête ne sont pas affichés.

Obtenir des statistiques d'entraînement

Si vous le souhaitez, vous pouvez afficher les statistiques d'entraînement du modèle dans la consoleGoogle Cloud .

Pour créer un modèle, un algorithme de machine learning crée de nombreuses itérations du modèle à l'aide de différents paramètres, puis sélectionne la version du modèle qui minimise la perte. Ce processus est appelé minimisation du risque empirique. Les statistiques d'entraînement du modèle vous permettent de voir la perte associée à chaque itération du modèle.

Pour afficher les statistiques d'entraînement du modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, développez votre projet, l'ensemble de données bqml_tutorial, puis le dossier Modèles.

3. Cliquez sur le modèle mf_implicit, puis sur l'onglet Entraînement.

4. Dans la section Afficher sous la forme, cliquez sur Tableau. Le résultat doit ressembler à ce qui suit :

   +-----------+--------------------+--------------------+
   | Iteration | Training Data Loss | Duration (seconds) |
   +-----------+--------------------+--------------------+
   |  5        | 0.0027             | 47.27              |
   +-----------+--------------------+--------------------+
   |  4        | 0.0028             | 39.60              |
   +-----------+--------------------+--------------------+
   |  3        | 0.0032             | 55.57              |
   +-----------+--------------------+--------------------+
   |  ...      | ...                | ...                |
   +-----------+--------------------+--------------------+
   

   La colonne Perte de données d'entraînement représente la métrique de perte calculée après entraînement du modèle. Étant donné qu'il s'agit d'un modèle de factorisation matricielle, cette colonne affiche l'erreur quadratique moyenne.

Évaluer le modèle

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE évalue les classifications de contenu prédites renvoyées par le modèle par rapport aux métriques d'évaluation calculées pendant l'entraînement.

Pour évaluer le modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.mf_implicit`);

   Le résultat doit ressembler à ce qui suit :

   +------------------------+-----------------------+---------------------------------------+---------------------+
   | mean_average_precision |  mean_squared_error   | normalized_discounted_cumulative_gain |    average_rank     |
   +------------------------+-----------------------+---------------------------------------+---------------------+
   |     0.4434341257478137 | 0.0013381759837648962 |                    0.9433280547112802 | 0.24031636088594222 |
   +------------------------+-----------------------+---------------------------------------+---------------------+
   

   Pour en savoir plus sur le résultat de la fonction ML.EVALUATE, consultez Modèles de factorisation matricielle.

Obtenir les notes prévues pour un sous-ensemble de paires visiteur/contenu

Utilisez ML.RECOMMEND pour obtenir la note prédite pour chaque contenu pour cinq visiteurs du site.

Pour obtenir des notes prédictives, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     *
   FROM
     ML.RECOMMEND(
       MODEL `bqml_tutorial.mf_implicit`,
       (
         SELECT
           visitorId
         FROM
           `bqml_tutorial.analytics_session_data`
         LIMIT 5
       ));

   Le résultat doit ressembler à ce qui suit :

   +-------------------------------+---------------------+-----------+
   | predicted_rating_confidence   | visitorId           | contentId |
   +-------------------------------+---------------------+-----------+
   | 0.0033608418060270262         | 7337153711992174438 | 277237933 |
   +-------------------------------+---------------------+-----------+
   | 0.003602395397293956          | 7337153711992174438 | 158246147 |
   +-------------------------------+---------------------+--  -------+
   | 0.0053197670652785356         | 7337153711992174438 | 299389988 |
   +-------------------------------+---------------------+-----------+
   | ...                           | ...                 | ...       |
   +-------------------------------+---------------------+-----------+
   

Générer des recommandations

Utilisez les notes prédites pour générer les cinq ID de contenu recommandés les mieux notés pour chaque ID de visiteur.

Pour générer des recommandations, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Écrivez les notes prédites dans un tableau. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE TABLE `bqml_tutorial.recommend_content`
   AS
   SELECT
     *
   FROM
     ML.RECOMMEND(MODEL `bqml_tutorial.mf_implicit`);

3. Sélectionnez les cinq premiers résultats par visiteur. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     visitorId,
     ARRAY_AGG(
       STRUCT(contentId, predicted_rating_confidence)
       ORDER BY predicted_rating_confidence DESC
       LIMIT 5) AS rec
   FROM
     `bqml_tutorial.recommend_content`
   GROUP BY
     visitorId;

   Le résultat doit ressembler à ce qui suit :

   +---------------------+-----------------+---------------------------------+
   | visitorId           | rec:contentId   | rec:predicted_rating_confidence |
   +---------------------+-----------------+-------------------------  ------+
   | 867526255058981688  | 299804319       | 0.88170525357178664             |
   |                     | 299935287       | 0.54699439944935124             |
   |                     | 299410466       | 0.53424780863188659             |
   |                     | 299826767       | 0.46949603950374219             |
   |                     | 299809748       | 0.3379991197434149              |
   +---------------------+-----------------+---------------------------------+
   | 2434264018925667659 | 299824032       | 1.3903516407308065              |
   |                     | 299410466       | 0.9921995618196483              |
   |                     | 299903877       | 0.92333625294129218             |
   |                     | 299816215       | 0.91856701667757279             |
   |                     | 299852437       | 0.86973661454890561             |
   +---------------------+-----------------+---------------------------------+
   | ...                 | ...             | ...                             |
   +---------------------+-----------------+---------------------------------+