如何在 statpx 中运行 A/B 测试:变体、转化和显著性
statpx 中的 A/B 测试无需单独的实验平台。您决定如何分配流量(在自己的代码中进行简单的随机分配就足够了),用一次 JS 调用记录访客看到的变体,用另一次调用记录转化,剩下的——包括统计工作——都由 statpx 完成。本指南涵盖这两次调用、实验如何自动出现,以及如何解读 A/B 测试页面上的结果表。
statpx 中 A/B 测试的工作原理
每个实验都由一个 exp_key 标识——一个您自己选择的字符串,例如 homepage_cta 或 pricing_layout。在一个实验中,每个访客会看到一个变体,同样由您选择的名称标识,例如 control、green 或 variant_b。一旦您为一个新的 exp_key 记录了第一次曝光,该实验就会自动出现在 A/B 测试页面上——不需要在仪表板中单独执行"创建"实验的步骤。
记录变体曝光
当您的代码决定向访客展示哪个变体时,调用:
每个会话只调用一次,在变体渲染的那一刻调用——而不是每次页面浏览都调用。第二个参数是 exp_key,第三个参数是该访客的变体名称。statpx 使用此调用来计算每个变体转化率的访客数(分母)。
记录转化
当您正在优化的目标发生时——注册、购买、升级——调用:
第二个参数同样与 exp_key 匹配。statpx 会将转化与该会话之前所曝光的变体进行匹配,因此您在转化时无需再次传递变体名称。每当转化具有美元价值时,将收入金额作为第四个参数传递——statpx 会自动按变体汇总。
解读结果表
A/B 测试页面上的结果表按变体显示:会话数、转化率、收入、相对于对照组的提升幅度,以及统计显著性判定。对照组(control)要么是字面上命名为 control 的那个变体,要么——如果您没有使用该名称——是会话数最多的那个变体。每个其他变体都会显示其提升幅度:与对照组相比转化率的百分比差异。
显著性判定运行两比例检验,只有当两组都至少有 100 个会话且各自至少有一次转化时,才会在 95% 置信水平宣布结果显著——小样本噪声会被过滤掉,而不是被报告为虚假的胜利。在此之前,表格会显示原始数字而不给出判定,因此您始终知道自己看到的是真实结果还是仍需要更多流量。
关于为什么转化率首先是正确的优化指标的背景知识,请参阅我们的转化率分析指南,关于测试设计的更广泛内容,请阅读如何使用分析数据运行更智能的 A/B 测试。
总结
statpx 中的 A/B 测试刻意做到了代码优先、仪表板轻量:两次 _st() 调用处理追踪,仪表板处理那些手工容易算错的运算——提升幅度、收入归因,以及差异是真实的还是噪声。选择一个 exp_key,清晰地命名您的变体(用 control 作为基准),让显著性判定——而不是第一天的排行榜——来决定您何时拥有了赢家。