A Vertex AI para Pesquisa no varejo está sendo renomeada como Vertex AI para Pesquisa no comércio. Estamos atualizando o conteúdo para refletir o novo branding.
Orientações gerais sobre como realizar experimentos A/B
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Nesta página, descrevemos como usar experimentos A/B para entender como a
Vertex AI para Pesquisa de Comércio está afetando seus negócios.
Visão geral
Um experimento A/B é um experimento aleatório
com dois grupos: um grupo experimental e um grupo de controle. O
grupo experimental recebe um tratamento diferente (nesse caso, previsões
ou resultados da pesquisa da Vertex AI Search para e-commerce); o grupo de controle não.
Ao executar um experimento A/B, você inclui as
informações sobre em qual grupo um usuário estava quando registrava eventos do usuário.
Essas informações são usadas para refinar o modelo e fornecer métricas.
Ambas as versões do aplicativo precisam ser as mesmas, exceto que os usuários no grupo experimental veem resultados gerados pela Pesquisa da Vertex AI para comércio e o grupo de controle não. Você registra eventos de usuário em ambos os grupos.
Para mais informações sobre a divisão de tráfego, consulte Como dividir o tráfego na documentação do App Engine.
Plataformas experimentais
Configure o experimento usando uma plataforma de experimento de terceiros, como VWO ou AB Tasty. Os grupos experimental e de controle recebem um ID de experimento exclusivo da plataforma. Ao registrar um evento de usuário, especifique o grupo em que o usuário está, incluindo o código do experimento no campo experimentIds. Fornecer o ID do experimento permite
comparar as métricas das versões do seu
aplicativo vistas pelos grupos de controle e experimental.
Práticas recomendadas para experimentos A/B
O objetivo de um experimento A/B é determinar com precisão o impacto da atualização
do seu site (neste caso, a implantação da Vertex AI para Pesquisa no comércio). Para ter uma medida precisa
do impacto, é necessário projetar e implementar o experimento corretamente para que
outras diferenças não se influenciem e afetem os resultados.
Para criar um experimento A/B significativo, use as seguintes dicas:
Antes de configurar seu experimento A/B, use a previsão ou a visualização de pesquisa para
garantir que o modelo esteja se comportando conforme o esperado.
Verifique se o comportamento do seu site é idêntico ao do grupo experimental
e do grupo de controle.
O comportamento do site inclui latência, formato de exibição, formato de texto, layout da página, qualidade da imagem e tamanho da imagem. Não pode haver diferenças visíveis para nenhum desses atributos entre a experiência dos grupos de controle e experimental.
Aceitar e mostrar os resultados da maneira como são retornados da
Pesquisa da Vertex AI para e-commerce e exibi-los na mesma ordem em que são
retornados.
Filtrar itens que estão esgotados é aceitável. No entanto, evite filtros ou organize os resultados com base nas suas regras de negócios.
Se você estiver usando eventos de usuário de pesquisa e incluir o token de atribuição obrigatório com eles, verifique se eles estão
configurados corretamente. Consulte a documentação sobre tokens de atribuição.
Certifique-se de que a configuração de exibição fornecida quando você solicita recomendações ou resultados da pesquisa corresponda à sua intenção para essa recomendação ou resultado da pesquisa e o local em que você exibe os resultados.
Quando você usa recomendações, a configuração de exibição
afeta a forma como os modelos são treinados e quais produtos são recomendados.
Saiba mais.
Se você estiver comparando uma solução atual com a Vertex AI para Pesquisa para e-commerce,
mantenha a experiência do grupo de controle separada estritamente da experiência do grupo experimental.
Se a solução de controle não fornecer uma recomendação ou um resultado da pesquisa,
não forneça um da Vertex AI Search para e-commerce nas páginas de controle.
Se você fizer isso, os resultados do teste serão distorcidos.
Verifique se os usuários não estão alternando entre o grupo de controle e o grupo
experimental. Isso é especialmente importante na mesma sessão, mas também recomendado em várias sessões. Isso melhora a performance do experimento e ajuda você a receber resultados de teste A/B com significância estatística mais rápido.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-09-02 UTC."],[],[],null,["# General guidance on conducting A/B experiments\n\nThis page describes how you can use A/B experiments to understand how\nVertex AI Search for commerce is impacting your business.\n\nOverview\n--------\n\nAn [A/B experiment](https://en.wikipedia.org/wiki/A/B_testing) is a randomized\nexperiment with two groups: an experimental group and a control group. The\nexperimental group receives some different treatment (in this case, predictions\nor search results from Vertex AI Search for commerce); the control group does not.\n\nWhen you run an A/B experiment, you include the\ninformation about which group a user was in when you record user events.\nThat information is used to refine the model and provide\nmetrics.\n\nBoth versions of your application must be the same, except that users in the\nexperimental group see results generated by Vertex AI Search for commerce and\nthe control group does not. You log user events for both groups.\n\nFor more on traffic splitting, see [Splitting Traffic](/appengine/docs/standard/python3/splitting-traffic) in the App Engine documentation. \n\nExperiment platforms\n--------------------\n\nSet up the experiment using a third-party experiment platform such as\n[VWO](https://vwo.com/), [AB Tasty](https://www.abtasty.com/). The control and experimental groups\neach get a unique experiment ID from the platform. When you record a user event,\nspecify which group the user is in by including the experiment ID in the\n`experimentIds` field. Providing the experiment ID lets\nyou to compare the metrics for the versions of your\napplication seen by the control and experimental groups.\n\nBest practices for A/B experiments\n----------------------------------\n\nThe goal of an A/B experiment is to accurately determine the impact of updating\nyour site (in this case, employing Vertex AI Search for commerce). To get an accurate measure\nof the impact, you must design and implement the experiment correctly, so that\nother differences don't creep in and impact the experiment results.\n\nTo design a meaningful A/B experiment, use the following tips:\n\n- Before setting up your A/B experiment, use prediction or search preview to\n ensure that your model is behaving as you expect.\n\n- Make sure that the behavior of your site is identical for the experimental\n group and the control group.\n\n Site behavior includes latency, display format, text format, page layout,\n image quality, and image size. There should be no discernible differences\n for any of these attributes between the experience of the control and\n experiment groups.\n- Accept and display results as they are returned from\n Vertex AI Search for commerce, and display them in the same order as they are\n returned.\n\n Filtering out items that are out of stock is acceptable. However, you should\n avoid filtering or ordering results based on your business\n rules.\n- If you are using search user events and include the required attribution token with them, make sure they are\n set up correctly. See the documentation for [Attribution tokens](/retail/docs/attribution-tokens).\n\n- Make sure that the serving config you provide when you request\n recommendations or search results matches your intention for that\n recommendation or search result, and the location where you display the\n results.\n\n When you use recommendations, the serving config\n affects how models are trained and therefore what products are recommended.\n [Learn more](/retail/docs/models).\n- If you are comparing an existing solution with Vertex AI Search for commerce,\n keep the experience of the control group strictly segregated from the\n experience of the experimental group.\n\n If the control solution does not provide a recommendation or search result,\n don't provide one from Vertex AI Search for commerce in the control pages.\n Doing so will skew your test results.\n\n Make sure your users don't switch between the control group and the\n experiment group. This is especially important within the same session, but\n also recommended across sessions. This improves experiment performance and\n helps you get statistically significant A/B test results sooner."]]
