statpx 中显示转化率、提升幅度和显著性的 A/B 测试结果表

如何在 statpx 中运行 A/B 测试:变体、转化和显著性

statpx 中的 A/B 测试无需单独的实验平台。您决定如何分配流量(在自己的代码中进行简单的随机分配就足够了),用一次 JS 调用记录访客看到的变体,用另一次调用记录转化,剩下的——包括统计工作——都由 statpx 完成。本指南涵盖这两次调用、实验如何自动出现,以及如何解读 A/B 测试页面上的结果表。

statpx 中 A/B 测试的工作原理

每个实验都由一个 exp_key 标识——一个您自己选择的字符串,例如 homepage_ctapricing_layout。在一个实验中,每个访客会看到一个变体,同样由您选择的名称标识,例如 controlgreenvariant_b。一旦您为一个新的 exp_key 记录了第一次曝光,该实验就会自动出现在 A/B 测试页面上——不需要在仪表板中单独执行"创建"实验的步骤。

记录变体曝光

当您的代码决定向访客展示哪个变体时,调用:

_st('experiment', 'homepage_cta', 'green'); // 或 'control'

每个会话只调用一次,在变体渲染的那一刻调用——而不是每次页面浏览都调用。第二个参数是 exp_key,第三个参数是该访客的变体名称。statpx 使用此调用来计算每个变体转化率的访客数(分母)。

记录转化

当您正在优化的目标发生时——注册、购买、升级——调用:

_st('experiment_convert', 'homepage_cta'); // 可选的第四个参数 = 归因于此次转化的收入 _st('experiment_convert', 'homepage_cta', null, 49.99);

第二个参数同样与 exp_key 匹配。statpx 会将转化与该会话之前所曝光的变体进行匹配,因此您在转化时无需再次传递变体名称。每当转化具有美元价值时,将收入金额作为第四个参数传递——statpx 会自动按变体汇总。

解读结果表

A/B 测试页面上的结果表按变体显示:会话数、转化率、收入、相对于对照组的提升幅度,以及统计显著性判定。对照组(control)要么是字面上命名为 control 的那个变体,要么——如果您没有使用该名称——是会话数最多的那个变体。每个其他变体都会显示其提升幅度:与对照组相比转化率的百分比差异。

显著性判定运行两比例检验,只有当两组都至少有 100 个会话且各自至少有一次转化时,才会在 95% 置信水平宣布结果显著——小样本噪声会被过滤掉,而不是被报告为虚假的胜利。在此之前,表格会显示原始数字而不给出判定,因此您始终知道自己看到的是真实结果还是仍需要更多流量。

不要因为某个变体看起来领先就提前停止测试。在两组都达到 100 个会话的门槛之前,早期的领先经常会逆转。请等待显著性判定,再将获胜方推广到 100% 的流量。

关于为什么转化率首先是正确的优化指标的背景知识,请参阅我们的转化率分析指南,关于测试设计的更广泛内容,请阅读如何使用分析数据运行更智能的 A/B 测试

免费运行您的第一个 A/B 测试

statpx 自动为每个变体计算转化率、提升幅度、收入和统计显著性——只需两次 JS 调用即可开始。

免费开始 →

总结

statpx 中的 A/B 测试刻意做到了代码优先、仪表板轻量:两次 _st() 调用处理追踪,仪表板处理那些手工容易算错的运算——提升幅度、收入归因,以及差异是真实的还是噪声。选择一个 exp_key,清晰地命名您的变体(用 control 作为基准),让显著性判定——而不是第一天的排行榜——来决定您何时拥有了赢家。

Continue reading

Technical
How to Identify and Block Referrer Spam in Website Analytics
Metrics
How to Track and Reduce Shopping Cart Abandonment with Analytics
Privacy
Google Consent Mode v2 Explained: What It Means for Your Analytics
Analytics by statpx