A/B 测试 - 工作原理


您可以使用统计和分析来监控访问者的操作,以确定产生更高转化率的版本。A/B 测试结果通常以奇特的数学和统计术语给出,但数字背后的含义实际上非常简单。您可以通过两种重要方法使用 A/B 测试检查转化率 -

  • 数据抽样
  • 置信区间

让我们详细讨论这两种方法。

数据抽样

样本数量取决于执行的测试数量。转化率的统计称为样本,收集这些样本的过程称为抽样。

例子

假设您有两种产品 A 和 B,您想根据市场需求收集样本数据。您可以请几个人从产品 A 和 B 中进行选择,然后要求他们参与调查。随着参与人数的增加,它将开始呈现出现实的转化率

有多种工具可用于确定正确的样本数量。一种可用的免费工具是 -

www.evmiller.org

数据抽样

A/B 测试中的置信区间

置信区间是对多个样本的平均值的偏差的测量。让我们假设 22% 的人更喜欢上例中的产品 A,置信区间为 ±2%。这个区间表示选择产品A的人数的上限和下限,也称为误差幅度。为了在这次平均调查中获得最佳结果,误差幅度应尽可能小

例子

假设在产品B中,我们添加了一个小的更改,然后对这两个产品进行了A/B测试。置信区间乘积 A 和 B 分别为 10%(±1%)和 20%(±2%)。所以这表明一个微小的改变就提高了转化率。如果我们忽略误差幅度,测试变体 A 的转化率为 10%,测试变体 B 的转化率为 20%,即测试变体增加 10%。

现在,如果我们将差异除以控制变异率 10% ÷ 10% = 1.0 = 100%,则显示改进为 100%。因此,我们可以说A/B测试是一种基于数学方法和分析的技术。有多种在线工具可用于计算 A/B 显着性。

http://getdatadriven.com

A/B 测试置信区间