关于开展 A/B 实验的一般指南

本页介绍了如何使用 A/B 实验来了解 Vertex AI Search 商务解决方案对您的业务有何影响。

概览

A/B 实验是针对两个组（实验组和对照组）的随机实验。实验组会接收一些不同的处理结果（在这种情况下，是来自 Vertex AI Search for commerce 的预测或搜索结果），而对照组则不接收。

当您运行 A/B 实验时，您需要包括当您记录用户事件时用户所在群组的相关信息。该信息用于优化模型和提供指标。

应用的两个版本必须相同，但实验组中的用户会看到 Vertex AI Search for commerce 生成的结果，而对照组无法看到。您可以记录两个组的用户事件。

如需详细了解流量拆分，请参阅 App Engine 文档中的拆分流量。

实验平台

使用第三方实验平台（如 VWO、AB Tasty）来设置实验。对照组和实验组均会从平台获得一个唯一的实验 ID。记录用户事件时，请在 experimentIds 字段中添加实验 ID，以指定用户属于哪个组。通过提供实验 ID，您可以比较对照组和实验组中各个应用版本的指标。

A/B 实验最佳做法

A/B 实验的目标是准确地确定更新网站（在本例中是使用 Vertex AI Search for Commerce）的影响。如需准确衡量影响，您必须正确设计并实施实验，这样其他差异就不会混入并影响实验结果。

如需设计有意义的 A/B 实验，请参考以下提示：

• 在设置 A/B 实验之前，请使用预测或搜索预览来确保模型的行为符合预期。

• 请确保实验组网站和对照组网站的行为相同。

  网站行为包括延迟时间、显示格式、文本格式、页面布局、图片质量、图片大小。在对照组和实验组的实验之间，上述任何特性应该没有明显的差异。

• 接受并显示从 Vertex AI Search for Commerce 返回的结果，并按照返回结果的顺序显示。

  您可以过滤掉缺货的商品。但是，您应该避免根据业务规则过滤结果或对建议结果进行排序。

• 如果您使用的是搜索用户事件，并随附了必需的归因令牌，请确保这些事件设置正确。请参阅有关归因令牌的文档。

• 您在请求推荐或搜索结果时提供的投放配置应与此建议或搜索结果的意图以及显示结果的位置相匹配。

  当您使用推荐功能时，投放配置会影响模型的训练方式，从而推荐哪些产品。 了解详情。

• 如果要将现有解决方案与 Vertex AI Search for Commerce 进行比较，请将对照组的体验与实验组的体验严格隔离。

  如果控制解决方案未提供建议或搜索结果，请不要在控制页面中提供 Vertex AI Search for Commerce 中的建议或搜索结果。这样做会导致测试结果出现偏差。

  确保用户不会在对照组和实验组之间切换。这在同一会话中尤为重要，但我们也建议在不同会话中这样做。这有助于提高实验效果，并帮助您更快地获得具有统计显著性的 A/B 测试结果。