Vertex AI Search untuk retail diganti namanya menjadi Vertex AI Search untuk commerce. Kami sedang memperbarui konten untuk mencerminkan branding baru ini.
Panduan umum tentang cara melakukan eksperimen A/B
Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Halaman ini menjelaskan cara menggunakan eksperimen A/B untuk memahami dampak Vertex AI Search untuk commerce terhadap bisnis Anda.
Ringkasan
Eksperimen A/B adalah eksperimen
acak dengan dua grup: grup eksperimental dan grup kontrol. Grup eksperimental menerima beberapa perlakuan yang berbeda (dalam hal ini, prediksi atau hasil penelusuran dari Vertex AI Search untuk e-commerce); grup kontrol tidak.
Saat menjalankan eksperimen A/B, Anda menyertakan
informasi tentang grup tempat pengguna berada saat Anda mencatat peristiwa pengguna.
Informasi tersebut digunakan untuk menyempurnakan model dan memberikan metrik.
Kedua versi aplikasi Anda harus sama, kecuali pengguna dalam grup eksperimental melihat hasil yang dihasilkan oleh Vertex AI Search untuk e-commerce dan grup kontrol tidak. Anda mencatat peristiwa pengguna untuk kedua grup.
Untuk mengetahui informasi selengkapnya tentang pemisahan traffic, lihat Memisahkan Traffic dalam dokumentasi App Engine.
Platform eksperimen
Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti
VWO, AB Tasty. Grup kontrol dan eksperimental masing-masing mendapatkan ID eksperimen unik dari platform. Saat merekam peristiwa pengguna,
tentukan grup tempat pengguna berada dengan menyertakan ID eksperimen di kolom
experimentIds. Dengan memberikan ID eksperimen, Anda dapat membandingkan metrik untuk versi aplikasi yang dilihat oleh grup kontrol dan eksperimental.
Praktik terbaik untuk eksperimen A/B
Tujuan eksperimen A/B adalah untuk menentukan secara akurat dampak pembaruan situs Anda (dalam hal ini, menggunakan Vertex AI Search untuk commerce). Untuk mendapatkan pengukuran yang akurat
terhadap dampaknya, Anda harus mendesain dan menerapkan eksperimen dengan benar, sehingga
perbedaan lain tidak muncul dan memengaruhi hasil eksperimen.
Untuk mendesain eksperimen A/B yang bermakna, gunakan tips berikut:
Sebelum menyiapkan eksperimen A/B, gunakan pratinjau penelusuran atau prediksi untuk
memastikan model Anda berperilaku seperti yang Anda harapkan.
Pastikan perilaku situs Anda identik untuk grup eksperimental dan grup kontrol.
Perilaku situs mencakup latensi, format tampilan, format teks, tata letak halaman, kualitas gambar, dan ukuran gambar. Tidak boleh ada perbedaan yang terlihat
untuk semua atribut ini antara pengalaman grup kontrol dan
grup eksperimen.
Terima dan tampilkan hasil sebagaimana yang ditampilkan dari
Vertex AI Search untuk e-commerce, dan tampilkan dalam urutan yang sama seperti yang
ditampilkan.
Memfilter item yang stoknya habis dapat diterima. Namun, Anda harus
menghindari pemfilteran atau pengurutan hasil berdasarkan aturan bisnis
Anda.
Jika Anda menggunakan peristiwa pengguna penelusuran dan menyertakan token atribusi yang diperlukan, pastikan peristiwa tersebut disiapkan dengan benar. Lihat dokumentasi untuk Token atribusi.
Pastikan konfigurasi penayangan yang Anda berikan saat meminta
rekomendasi atau hasil penelusuran sesuai dengan maksud Anda untuk
rekomendasi atau hasil penelusuran tersebut, dan lokasi tempat Anda menampilkan
hasilnya.
Saat Anda menggunakan rekomendasi, konfigurasi penayangan memengaruhi cara model dilatih dan produk yang direkomendasikan.
Pelajari lebih lanjut.
Jika Anda membandingkan solusi yang ada dengan Vertex AI Search untuk e-commerce, pastikan pengalaman grup kontrol benar-benar terpisah dari pengalaman grup eksperimental.
Jika solusi kontrol tidak memberikan rekomendasi atau hasil penelusuran, jangan berikan rekomendasi atau hasil penelusuran dari Vertex AI Search untuk e-commerce di halaman kontrol.
Tindakan ini akan mendistorsi hasil pengujian Anda.
Pastikan pengguna Anda tidak beralih antara grup kontrol dan grup eksperimen. Hal ini sangat penting dalam sesi yang sama, tetapi juga direkomendasikan di seluruh sesi. Hal ini akan meningkatkan performa eksperimen dan
membantu Anda mendapatkan hasil pengujian A/B yang signifikan secara statistik lebih cepat.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-08-18 UTC."],[],[],null,["# General guidance on conducting A/B experiments\n\nThis page describes how you can use A/B experiments to understand how\nVertex AI Search for commerce is impacting your business.\n\nOverview\n--------\n\nAn [A/B experiment](https://en.wikipedia.org/wiki/A/B_testing) is a randomized\nexperiment with two groups: an experimental group and a control group. The\nexperimental group receives some different treatment (in this case, predictions\nor search results from Vertex AI Search for commerce); the control group does not.\n\nWhen you run an A/B experiment, you include the\ninformation about which group a user was in when you record user events.\nThat information is used to refine the model and provide\nmetrics.\n\nBoth versions of your application must be the same, except that users in the\nexperimental group see results generated by Vertex AI Search for commerce and\nthe control group does not. You log user events for both groups.\n\nFor more on traffic splitting, see [Splitting Traffic](/appengine/docs/standard/python3/splitting-traffic) in the App Engine documentation. \n\nExperiment platforms\n--------------------\n\nSet up the experiment using a third-party experiment platform such as\n[VWO](https://vwo.com/), [AB Tasty](https://www.abtasty.com/). The control and experimental groups\neach get a unique experiment ID from the platform. When you record a user event,\nspecify which group the user is in by including the experiment ID in the\n`experimentIds` field. Providing the experiment ID lets\nyou to compare the metrics for the versions of your\napplication seen by the control and experimental groups.\n\nBest practices for A/B experiments\n----------------------------------\n\nThe goal of an A/B experiment is to accurately determine the impact of updating\nyour site (in this case, employing Vertex AI Search for commerce). To get an accurate measure\nof the impact, you must design and implement the experiment correctly, so that\nother differences don't creep in and impact the experiment results.\n\nTo design a meaningful A/B experiment, use the following tips:\n\n- Before setting up your A/B experiment, use prediction or search preview to\n ensure that your model is behaving as you expect.\n\n- Make sure that the behavior of your site is identical for the experimental\n group and the control group.\n\n Site behavior includes latency, display format, text format, page layout,\n image quality, and image size. There should be no discernible differences\n for any of these attributes between the experience of the control and\n experiment groups.\n- Accept and display results as they are returned from\n Vertex AI Search for commerce, and display them in the same order as they are\n returned.\n\n Filtering out items that are out of stock is acceptable. However, you should\n avoid filtering or ordering results based on your business\n rules.\n- If you are using search user events and include the required attribution token with them, make sure they are\n set up correctly. See the documentation for [Attribution tokens](/retail/docs/attribution-tokens).\n\n- Make sure that the serving config you provide when you request\n recommendations or search results matches your intention for that\n recommendation or search result, and the location where you display the\n results.\n\n When you use recommendations, the serving config\n affects how models are trained and therefore what products are recommended.\n [Learn more](/retail/docs/models).\n- If you are comparing an existing solution with Vertex AI Search for commerce,\n keep the experience of the control group strictly segregated from the\n experience of the experimental group.\n\n If the control solution does not provide a recommendation or search result,\n don't provide one from Vertex AI Search for commerce in the control pages.\n Doing so will skew your test results.\n\n Make sure your users don't switch between the control group and the\n experiment group. This is especially important within the same session, but\n also recommended across sessions. This improves experiment performance and\n helps you get statistically significant A/B test results sooner."]]
