En esta página se describe cómo puedes usar experimentos A/B para saber cómo afecta Vertex AI Search for commerce a tu empresa.
Información general
Un experimento A/B es un experimento aleatorio con dos grupos: un grupo experimental y un grupo de control. El grupo experimental recibe un tratamiento diferente (en este caso, predicciones o resultados de búsqueda de Vertex AI Search for commerce), mientras que el grupo de control no.
Cuando realiza un experimento A/B, incluye la información sobre el grupo al que pertenece un usuario al registrar eventos de usuario. Esa información se usa para perfeccionar el modelo y proporcionar métricas.
Ambas versiones de tu aplicación deben ser iguales, excepto que los usuarios del grupo experimental verán los resultados generados por Vertex AI Search for commerce y los del grupo de control no. Registras eventos de usuario de ambos grupos.
Para obtener más información sobre la división del tráfico, consulta el artículo Dividir el tráfico de la documentación de App Engine.
Plataformas de experimentos
Configura el experimento con una plataforma de experimentos de terceros, como VWO o AB Tasty. Los grupos de control y experimental reciben un ID de experimento único de la plataforma. Cuando registre un evento de usuario, especifique en qué grupo se encuentra el usuario incluyendo el ID del experimento en el campo experimentIds. Si proporciona el ID del experimento, podrá comparar las métricas de las versiones de su aplicación que ven los grupos de control y experimental.
Prácticas recomendadas para los experimentos A/B
El objetivo de un experimento A/B es determinar con precisión el impacto de actualizar tu sitio (en este caso, empleando Vertex AI Search para el comercio). Para medir el impacto con precisión, debe diseñar e implementar el experimento correctamente, de forma que no se produzcan otras diferencias que afecten a los resultados.
Para diseñar un experimento A/B significativo, sigue estos consejos:
Antes de configurar tu experimento A/B, usa la predicción o la vista previa de búsqueda para asegurarte de que tu modelo se comporta como esperas.
Asegúrate de que el comportamiento de tu sitio sea idéntico para el grupo experimental y el grupo de control.
El comportamiento del sitio incluye la latencia, el formato de visualización, el formato de texto, el diseño de la página, la calidad de la imagen y el tamaño de la imagen. No debe haber diferencias apreciables en ninguno de estos atributos entre la experiencia del grupo de control y la del grupo experimental.
Acepta y muestra los resultados tal como los devuelve Vertex AI Search para el comercio y muéstralos en el mismo orden en que se devuelven.
Es aceptable filtrar los artículos que están agotados. Sin embargo, debe evitar filtrar u ordenar los resultados en función de sus reglas de negocio.
Si usa eventos de usuario de búsqueda e incluye el token de atribución obligatorio, asegúrese de que estén configurados correctamente. Consulta la documentación sobre los tokens de atribución.
Asegúrate de que la configuración de publicación que proporciones al solicitar recomendaciones o resultados de búsqueda se corresponda con tu intención para esa recomendación o resultado de búsqueda, así como con la ubicación en la que muestres los resultados.
Cuando usas recomendaciones, la configuración de servicio afecta a la forma en que se entrenan los modelos y, por lo tanto, a los productos que se recomiendan. Más información
Si comparas una solución actual con Vertex AI Search para comercio, mantén la experiencia del grupo de control estrictamente separada de la del grupo experimental.
Si la solución de control no proporciona ninguna recomendación ni ningún resultado de búsqueda, no proporcione ninguno de Vertex AI Search for commerce en las páginas de control. Si lo haces, los resultados de la prueba no serán precisos.
Asegúrate de que tus usuarios no cambien entre el grupo de control y el grupo de experimento. Esto es especialmente importante en la misma sesión, pero también se recomienda en diferentes sesiones. De esta forma, se mejora el rendimiento de los experimentos y se obtienen resultados de pruebas A/B estadísticamente significativos antes.