Halaman ini menjelaskan cara menggunakan eksperimen A/B untuk memahami dampak Vertex AI Search untuk commerce terhadap bisnis Anda.
Ringkasan
Eksperimen A/B adalah eksperimen acak dengan dua grup: grup eksperimental dan grup kontrol. Grup eksperimental menerima beberapa perlakuan yang berbeda (dalam hal ini, prediksi atau hasil penelusuran dari Vertex AI Search untuk e-commerce); grup kontrol tidak.
Saat menjalankan eksperimen A/B, Anda menyertakan informasi tentang grup tempat pengguna berada saat Anda mencatat peristiwa pengguna. Informasi tersebut digunakan untuk menyempurnakan model dan memberikan metrik.
Kedua versi aplikasi Anda harus sama, kecuali pengguna dalam grup eksperimental melihat hasil yang dihasilkan oleh Vertex AI Search untuk e-commerce dan grup kontrol tidak. Anda mencatat peristiwa pengguna untuk kedua grup.
Untuk mengetahui informasi selengkapnya tentang pemisahan traffic, lihat Memisahkan Traffic dalam dokumentasi App Engine.
Platform eksperimen
Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti
VWO, AB Tasty. Grup kontrol dan eksperimental masing-masing mendapatkan ID eksperimen unik dari platform. Saat merekam peristiwa pengguna,
tentukan grup tempat pengguna berada dengan menyertakan ID eksperimen di kolom
experimentIds. Dengan memberikan ID eksperimen, Anda dapat membandingkan metrik untuk versi aplikasi yang dilihat oleh grup kontrol dan eksperimental.
Praktik terbaik untuk eksperimen A/B
Tujuan eksperimen A/B adalah untuk menentukan secara akurat dampak pembaruan situs Anda (dalam hal ini, menggunakan Vertex AI Search untuk commerce). Untuk mendapatkan pengukuran yang akurat terhadap dampaknya, Anda harus mendesain dan menerapkan eksperimen dengan benar, sehingga perbedaan lain tidak muncul dan memengaruhi hasil eksperimen.
Untuk mendesain eksperimen A/B yang bermakna, gunakan tips berikut:
Sebelum menyiapkan eksperimen A/B, gunakan pratinjau penelusuran atau prediksi untuk memastikan model Anda berperilaku seperti yang Anda harapkan.
Pastikan perilaku situs Anda identik untuk grup eksperimental dan grup kontrol.
Perilaku situs mencakup latensi, format tampilan, format teks, tata letak halaman, kualitas gambar, dan ukuran gambar. Tidak boleh ada perbedaan yang terlihat untuk semua atribut ini antara pengalaman grup kontrol dan grup eksperimen.
Terima dan tampilkan hasil sebagaimana yang ditampilkan dari Vertex AI Search untuk e-commerce, dan tampilkan dalam urutan yang sama seperti yang ditampilkan.
Memfilter item yang stoknya habis dapat diterima. Namun, Anda harus menghindari pemfilteran atau pengurutan hasil berdasarkan aturan bisnis Anda.
Jika Anda menggunakan peristiwa pengguna penelusuran dan menyertakan token atribusi yang diperlukan, pastikan peristiwa tersebut disiapkan dengan benar. Lihat dokumentasi untuk Token atribusi.
Pastikan konfigurasi penayangan yang Anda berikan saat meminta rekomendasi atau hasil penelusuran sesuai dengan maksud Anda untuk rekomendasi atau hasil penelusuran tersebut, dan lokasi tempat Anda menampilkan hasilnya.
Saat Anda menggunakan rekomendasi, konfigurasi penayangan memengaruhi cara model dilatih dan produk yang direkomendasikan. Pelajari lebih lanjut.
Jika Anda membandingkan solusi yang ada dengan Vertex AI Search untuk e-commerce, pastikan pengalaman grup kontrol benar-benar terpisah dari pengalaman grup eksperimental.
Jika solusi kontrol tidak memberikan rekomendasi atau hasil penelusuran, jangan berikan rekomendasi atau hasil penelusuran dari Vertex AI Search untuk e-commerce di halaman kontrol. Tindakan ini akan mendistorsi hasil pengujian Anda.
Pastikan pengguna Anda tidak beralih antara grup kontrol dan grup eksperimen. Hal ini sangat penting dalam sesi yang sama, tetapi juga direkomendasikan di seluruh sesi. Hal ini akan meningkatkan performa eksperimen dan membantu Anda mendapatkan hasil pengujian A/B yang signifikan secara statistik lebih cepat.