Mulai menggunakan rekomendasi media

Anda dapat dengan cepat membangun aplikasi rekomendasi media canggih. Rekomendasi media memungkinkan audiens Anda menemukan konten yang lebih dipersonalisasi, seperti hal untuk ditonton atau dibaca berikutnya, dengan hasil berkualitas Google yang disesuaikan dengan tujuan pengoptimalan.

Untuk mengetahui informasi umum tentang Vertex AI Search untuk media, lihat Pengantar penelusuran dan rekomendasi media.

Dalam tutorial memulai ini, Anda akan menggunakan set data Movielens untuk mendemonstrasikan cara mengupload katalog konten media dan peristiwa pengguna ke Vertex AI Search serta melatih model rekomendasi film yang dipersonalisasi. Set data Movielens berisi katalog film (dokumen) dan rating film pengguna (peristiwa pengguna).

Dalam tutorial ini, Anda akan melatih model rekomendasi berjenis Lainnya yang Mungkin Anda Sukai yang dioptimalkan untuk rasio klik-tayang (CTR). Setelah pelatihan, model dapat merekomendasikan film berdasarkan ID pengguna dan film awal.

Untuk memenuhi persyaratan data minimum untuk model, setiap rating film positif (4 atau lebih tinggi) diperlakukan sebagai peristiwa lihat item.

Perkiraan waktu untuk menyelesaikan tutorial ini:

  • Langkah-langkah awal untuk mulai melatih model: ~1,5 jam.
  • Menunggu model dilatih: ~24 jam. (Melatih model)
  • Mengevaluasi prediksi model dan membersihkan: ~30 menit. (Pratinjau rekomendasi)

Jika Anda telah menyelesaikan tutorial Mulai menggunakan penelusuran media dan masih memiliki penyimpanan data (nama yang disarankan quickstart-media-data-store), Anda dapat menggunakan penyimpanan data tersebut, bukan membuat penyimpanan data lain. Dalam hal ini, Anda harus memulai tutorial di Membuat aplikasi untuk rekomendasi media.

Tujuan

  • Pelajari cara mengimpor data dokumen media dan peristiwa pengguna dari BigQuery ke Vertex AI Search.
  • Latih dan evaluasi model rekomendasi.

Sebelum mengikuti tutorial ini, pastikan Anda telah melakukan langkah-langkah di bagian Sebelum Anda memulai.


Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya


Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the AI Applications, Cloud Storage, BigQuery APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the AI Applications, Cloud Storage, BigQuery APIs.

    Enable the APIs

Menyiapkan set data

Anda menggunakan Cloud Shell untuk mengimpor set data Movielens dan menyusun ulang set data untuk Vertex AI Search for media.

Buka Cloud Shell

  1. Buka Google Cloud console.
  2. Pilih project Google Cloud Anda.
  3. Catat ID project di kartu Project info di halaman dasbor. Anda akan memerlukan project ID untuk prosedur berikut.
  4. Klik tombol Activate Cloud Shell di bagian atas konsol. Sesi Cloud Shell akan terbuka di dalam frame baru di bagian bawah konsolGoogle Cloud dan menampilkan perintah command line.

    Cloud Shell

Mengimpor set data

Set data Movielens tersedia di bucket Cloud Storage publik untuk mempermudah pengimporan.

  1. Jalankan perintah berikut menggunakan project ID Anda untuk menetapkan project default untuk command line.

    gcloud config set project PROJECT_ID
    
  2. Buat set data BigQuery:

    bq mk movielens
    
  3. Muat movies.csv ke dalam tabel BigQuery movies baru:

    bq load --skip_leading_rows=1 movielens.movies \
      gs://cloud-samples-data/gen-app-builder/media-recommendations/movies.csv \
      movieId:integer,title,genres
    
  4. Muat ratings.csv ke dalam tabel BigQuery ratings baru:

    bq load --skip_leading_rows=1 movielens.ratings \
      gs://cloud-samples-data/gen-app-builder/media-recommendations/ratings.csv \
      userId:integer,movieId:integer,rating:float,time:timestamp
    

Membuat tampilan BigQuery

Pada langkah ini, Anda akan menyusun ulang set data Movielens agar mengikuti format yang diharapkan untuk rekomendasi media. Rekomendasi media memerlukan data peristiwa pengguna untuk membuat model. Untuk panduan ini, Anda akan membuat peristiwa view-item palsu selama 90 hari terakhir dari rating positif (< 4).

  1. Buat tampilan yang mengonversi tabel film menjadi skema Document yang ditentukan Google:

    bq mk --project_id=PROJECT_ID \
     --use_legacy_sql=false \
     --view '
      WITH t AS (
        SELECT
          CAST(movieId AS string) AS id,
          SUBSTR(title, 0, 128) AS title,
          SPLIT(genres, "|") AS categories
          FROM `PROJECT_ID.movielens.movies`)
        SELECT
          id, "default_schema" as schemaId, null as parentDocumentId,
          TO_JSON_STRING(STRUCT(title as title, categories as categories,
          CONCAT("http://mytestdomain.movie/content/", id) as uri,
          "2023-01-01T00:00:00Z" as available_time,
          "2033-01-01T00:00:00Z" as expire_time,
          "movie" as media_type)) as jsonData
        FROM t;' \
    movielens.movies_view
    

    Sekarang, tampilan baru memiliki skema yang diharapkan oleh AI Applications API.

  2. Buka halaman BigQuery di konsol Google Cloud .

    Buka BigQuery

  3. Di panel Explorer, luaskan nama project Anda, luaskan set data movielens, lalu klik movies_view untuk membuka halaman kueri untuk tampilan ini.

    Tampilan produk

  4. Buka tab Table explorer.

  5. Di panel Kueri yang dihasilkan, klik tombol Salin ke kueri. Editor kueri akan terbuka.

  6. Klik Run untuk melihat data film dalam tampilan yang Anda buat.

  7. Buat peristiwa pengguna fiktif dari rating film dengan menjalankan perintah Cloud Shell berikut:

    bq mk --project_id=PROJECT_ID \
     --use_legacy_sql=false \
     --view '
     WITH t AS (
      SELECT
        MIN(UNIX_SECONDS(time)) AS old_start,
        MAX(UNIX_SECONDS(time)) AS old_end,
        UNIX_SECONDS(TIMESTAMP_SUB(
        CURRENT_TIMESTAMP(), INTERVAL 90 DAY)) AS new_start,
        UNIX_SECONDS(CURRENT_TIMESTAMP()) AS new_end
      FROM `PROJECT_ID.movielens.ratings`)
      SELECT
        CAST(userId AS STRING) AS userPseudoId,
        "view-item" AS eventType,
        FORMAT_TIMESTAMP("%Y-%m-%dT%X%Ez",
        TIMESTAMP_SECONDS(CAST(
          (t.new_start + (UNIX_SECONDS(time) - t.old_start) *
          (t.new_end - t.new_start) / (t.old_end - t.old_start))
        AS int64))) AS eventTime,
        [STRUCT(movieId AS id, null AS name)] AS documents,
      FROM `PROJECT_ID.movielens.ratings`, t
      WHERE rating >= 4;' \
      movielens.user_events
    

Mengaktifkan Aplikasi AI

  1. Di konsol Google Cloud , buka halaman AI Applications.

    Aplikasi AI

  2. Baca dan setujui Persyaratan Layanan, lalu klik Continue and activate the API.

Membuat aplikasi untuk rekomendasi media

Prosedur di bagian ini akan memandu Anda membuat dan men-deploy aplikasi rekomendasi media.

  1. Di konsol Google Cloud , buka halaman AI Applications.

    Aplikasi AI

  2. Klik Buat aplikasi.

  3. Di halaman Create app, pada bagian Media recommendations, klik Create.

  4. Di kolom Nama aplikasi, masukkan nama untuk aplikasi Anda, seperti quickstart-media-recommendations. ID aplikasi Anda akan muncul di bawah nama aplikasi.

  5. Di bagian Jenis rekomendasi, pastikan Lainnya yang mungkin Anda sukai dipilih.

  6. Di bagian Tujuan Bisnis, pastikan Rasio klik-tayang (CTR) dipilih.

  7. Klik Lanjutkan.

  8. Buat penyimpanan data.

    1. Di halaman Data Stores, klik Create data store.

    2. Masukkan nama tampilan untuk penyimpanan data Anda, seperti quickstart-media-data-store, lalu klik Buat.

  9. Pilih penyimpanan data yang baru saja Anda buat, lalu klik Buat untuk membuat aplikasi Anda.

Mengimpor data

Selanjutnya, impor data film dan peristiwa pengguna yang telah diformat sebelumnya.

Mengimpor dokumen

Impor dokumen movies_view yang dibuat di bagian Buat tampilan BigQuery ke penyimpanan data quickstart-media-data-store Anda.

  1. Di bagian Sumber native di halaman Impor dokumen, pilih BigQuery.

  2. Masukkan nama tampilan BigQuery yang Anda buat, lalu klik Impor.movies

    PROJECT_ID.movielens.movies_view
    
  3. Tunggu hingga semua dokumen selesai diimpor, yang akan memakan waktu sekitar 15 menit. Setelah selesai, akan ada 86537 dokumen.

    Anda dapat memeriksa tab Aktivitas untuk mengetahui status operasi impor. Setelah impor selesai, status operasi impor akan berubah menjadi Selesai.

Mengimpor peristiwa pengguna

Impor user_events catatan yang dibuat di bagian Buat tampilan BigQuery ke penyimpanan data Anda.

  1. Di tab Acara, klik Impor Acara.

  2. Di bagian Sumber native di halaman Impor dokumen, pilih BigQuery.

  3. Masukkan nama tampilan BigQuery user_events yang Anda buat, lalu klik Impor.

    PROJECT_ID.movielens.user_events
    
  4. Tunggu hingga minimal satu juta peristiwa diimpor sebelum melanjutkan ke langkah berikutnya, untuk memenuhi persyaratan data guna melatih model baru.

    Anda dapat memeriksa tab Aktivitas untuk mengetahui status operasi. Proses ini memerlukan waktu sekitar satu jam karena Anda mengimpor jutaan baris.

  5. Untuk melihat apakah persyaratan telah dipenuhi, buka tab Kualitas data > Persyaratan. Bahkan setelah peristiwa pengguna diimpor, perlu waktu beberapa saat agar tab Persyaratan memperbarui statusnya menjadi Persyaratan data terpenuhi.

Melatih model rekomendasi

  1. Buka halaman Konfigurasi.

  2. Klik tab Serving. Konfigurasi inferensi telah dibuat.

    Jika ingin menyesuaikan setelan Penurunan rekomendasi atau Diversifikasi hasil, Anda dapat melakukannya di halaman ini.

  3. Klik tab Training.

    Setelah persyaratan data terpenuhi, model akan mulai dilatih secara otomatis. Anda dapat melihat status pelatihan dan penyesuaian di halaman ini.

    Mungkin perlu waktu beberapa hari agar model dilatih dan siap untuk dikueri. Kolom Siap dikueri menunjukkan Ya saat proses selesai. Anda perlu memuat ulang halaman untuk melihat perubahan Tidak menjadi Ya.

Pratinjau rekomendasi

Setelah model siap untuk dikueri:

  1. Di menu navigasi, klik Pratinjau.

  2. Klik kolom ID Dokumen. Daftar ID dokumen akan muncul.

  3. Masukkan ID dokumen awal (film), seperti 4993 untuk "The Lord of the Rings: The Fellowship of the Ring (2001)".

    Masukkan ID

  4. Pilih nama Konfigurasi penayangan dari menu drop-down.

  5. Klik Dapatkan rekomendasi. Daftar dokumen yang direkomendasikan akan muncul.

Men-deploy aplikasi untuk data terstruktur

Tidak ada widget rekomendasi untuk men-deploy aplikasi Anda. Untuk menguji aplikasi Anda sebelum deployment:

  1. Buka halaman Data, tab Dokumen, dan salin ID dokumen.

  2. Buka halaman Integrasi. Halaman ini menyertakan contoh perintah untuk metode servingConfigs.recommend di REST API.

  3. Tempelkan ID dokumen yang Anda salin sebelumnya ke kolom Document ID.

  4. Biarkan kolom ID Pseudo Pengguna apa adanya.

  5. Salin contoh permintaan dan jalankan di Cloud Shell.

Untuk mendapatkan bantuan dalam mengintegrasikan aplikasi rekomendasi ke dalam aplikasi web Anda, lihat contoh kode di Mendapatkan rekomendasi media.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Anda dapat menggunakan kembali penyimpanan data yang Anda buat untuk penelusuran media dalam tutorial Mulai menggunakan penelusuran media. Coba tutorial tersebut sebelum melakukan prosedur pembersihan ini.

  1. Untuk menghindari biaya yang tidak perlu, gunakan Google Cloud console untuk menghapus project Anda jika tidak lagi diperlukan. Google Cloud
  2. Jika Anda membuat project baru untuk mempelajari Aplikasi AI dan Anda tidak lagi memerlukan project tersebut, hapus project tersebut.
  3. Jika Anda menggunakan project Google Cloud yang sudah ada, hapus resource yang Anda buat untuk menghindari tagihan pada akun Anda. Untuk mengetahui informasi selengkapnya, lihat Menghapus aplikasi.
  4. Ikuti langkah-langkah di Menonaktifkan Vertex AI Search.
  5. Jika Anda membuat set data BigQuery, hapus set data tersebut di Cloud Shell:

    bq rm --recursive --dataset movielens
    

Langkah berikutnya