测量结果


在本章中,我们将讨论如何衡量结果并简化网站上所做测试的统计。

了解统计数据

研究人员可能了解也可能不了解统计数据。但是,A/B 测试工具通过简化这些统计数据被证明是一个救世主。这样就可以避免大量的计算。大多数测试工具都一致使用 95% 的标准作为成功完成目标。

这意味着满分 10 分,您以 9 分获胜。让我们举个例子。您的测试工具报告如下 -

变化 兑换率
控制页面 1.91%
1 2.39%
2 2.16%
3 3.10%

此报告预测 95% 区间内的转化率差异或多或少为 0.20%。据统计,目标范围在1.76到2.06之间。

获取见解

在计划测试时,我牢记两个目标。首先是增加收入,另一个是获取有关推动更高投资回报率的因素的见解。

例如,在案例研究中,我们将流量转移到产品页面而不是类别页面或主页是否会提高转化率。我们采取了三种变体,在一种变体中,我们将加载类别和子类别的主页上的流量引导至产品页面。在第二个中,我们将流量引导至添加过滤器的类别页面。在第三种中,我们直接将其定向到带有购买按钮的产品详细信息页面。

令我惊讶的是,第三种变体获胜了。这只是买家所需的有关产品的信息。这让我们了解转化率提升和持续改进如何帮助我们扩大销售线索。

毫无疑问,在测试中添加许多变化和见解使我们重新设计了网站。

了解结果

让我把它弄清楚。并非所有测试都会成功。是的,这很痛苦,但却是事实。

有些测试可以给你带来出色的结果。还有一些尝试了很多次之后也没有结果。但是,如果您计划通过洞察驱动细分进行测试,则可以有一个新的假设进行测试。并非所有测试都能帮助您提高收入。

举个例子就明白了。共有三个具有不同转化率的广告系列。

活动A 8.2%
活动B 19.1%
活动C 5.2%

任何人都会盲目地说“活动B”是一个超级表演者。但让我们进一步挖掘一下。

访问量 交易 兑换率
活动A 1820 150 8.2%
活动B 20 4 19.1%
活动C 780 41 5.2%

仔细观察,“营销活动 B”太小,不具备统计显着性。活动 B 一次访问 1 笔交易将提供 100% 的转化率。“广告活动 A”的效果优于“广告活动 C”。在得出结果时,需要考虑几个因素,并且每次结果可能会有所不同。您需要查看所有见解并决定结果。