A/B 测试 - 快速指南

A/B 测试 – 概述

A/B 测试（也称为拆分测试）定义了一种比较应用程序或网页的两个版本的方法，使您能够确定哪个版本性能更好。这是分析应用程序或网页以创建新版本的最简单方法之一。此后，可以比较这两个版本以找到转化率，这进一步有助于找到这两个版本中性能更好的版本。

例子

让我们假设有一个网页，并且所有流量都定向到该页面。现在，作为 A/B 测试的一部分，您在同一页面上进行了一些小的更改，例如标题、编号等，并且一半的流量被定向到该网页的修改版本。现在，您拥有同一网页的版本 A 和版本 B，您可以使用统计和分析来监控访问者的操作，以确定产生更高转化率的版本。

转化率定义为网站上的任何访问者执行所需操作的情况。A/B 测试使您能够确定最适合您企业的在线营销策略。看看下面的插图。它显示版本 A 的转化率为 15%，版本 B 的转化率为 22%。

A/B 测试 - 工作原理

您可以使用统计和分析来监控访问者的操作，以确定产生更高转化率的版本。A/B 测试结果通常以奇特的数学和统计术语给出，但数字背后的含义实际上非常简单。您可以通过两种重要方法使用 A/B 测试检查转化率 -

数据抽样
置信区间

让我们详细讨论这两种方法。

数据抽样

样本数量取决于执行的测试数量。转化率的统计称为样本，收集这些样本的过程称为抽样。

例子

假设您有两种产品 A 和 B，您想根据市场需求收集样本数据。您可以请几个人从产品 A 和 B 中进行选择，然后要求他们参与调查。随着参与人数的增加，它将开始呈现出现实的转化率。

有多种工具可用于确定正确的样本数量。一种可用的免费工具是 -

http://www.evmiller.org

A/B 测试中的置信区间

置信区间是对多个样本的平均值的偏差的测量。让我们假设 22% 的人更喜欢上例中的产品 A，置信区间为 ±2%。这个区间表示选择产品A的人数的上限和下限，也称为误差幅度。为了在这次平均调查中获得最佳结果，误差幅度应尽可能小。

例子

假设在产品B中，我们添加了一个小的更改，然后对这两个产品进行了A/B测试。置信区间乘积 A 和 B 分别为 10%（±1%）和 20%（±2%）。所以这表明一个微小的改变就提高了转化率。如果我们忽略误差幅度，测试变体 A 的转化率为 10%，测试变体 B 的转化率为 20%，即测试变体增加 10%。

现在，如果我们将差异除以控制变异率 10% ÷ 10% = 1.0 = 100%，则显示改进为 100%。因此，我们可以说A/B测试是一种基于数学方法和分析的技术。有多种在线工具可用于计算 A/B 显着性。

http://getdatadriven.com

A/B 测试 - 为什么使用？

A/B 测试用于根据数据得出的结果做出业务决策，而不仅仅是做出预测。它允许您创建网站或应用程序的变体，然后帮助您确认或放弃做出更改的决定。

通过此测试，您可以优化您的网站或应用程序，从而提高转化率。更高的转化率意味着从现有用户那里获得更多价值，而不必为流量获取支付更多费用。A/B 测试还可以帮助您改变业务中的其他因素，例如改变工作文化等。它可以帮助您使用数学数据和统计数据来确定产品变化的方向。

无论您是设计师、业务分析师还是开发人员，A/B 测试都提供了一种简单的方法来利用数据和统计的力量来降低风险、改进结果并在工作中变得更加数据驱动。

要运行 A/B 测试，您应该考虑以下几点 -

如果有可能超过原始变化 >5%，请始终执行 A/B 测试。
测试应该运行相当长的时间，以便您应该有足够的样本数据来进行统计和分析。

A/B 测试还使您能够从网页上的现有流量中获得最大收益。与在网站上设置流量的成本相比，提高转化率的成本是最低的。A/B 测试的ROI （投资回报）是巨大的，因为网站上的一些微小变化就可以导致转化率的显着提高。

A/B 测试 - 测试什么？

A/B 测试是指创建应用程序或网站的多个变体，然后使用示例比较所有这些版本，以确定具有最大转化率的最佳变体。有不同类型的变体，可以应用于网页或应用程序。A/B 测试不仅限于应用程序或网页，因为您还可以为其他产品创建变体。网页上任何可能影响访问者浏览网站时Behave的内容都可以使用 A/B 测试进行测试。

以下是可以应用于网页的 A/B 测试变体的列表 -

头条新闻
副标题
图片
文本
CTA 文本和按钮
链接
徽章
媒体提及
社会提及
促销和优惠
价格结构
交付选项
付款方式
站点导航和用户界面

有多种工具可用于创建变体，您将在本教程后面详细阅读这些工具。

A/B 测试 – 流程

A/B 测试由一组过程组成，必须按顺序遵循这些过程才能得出现实的结论。在本章中，我们将详细讨论 A/B 测试过程的步骤，您可以使用它在任何网页上运行测试 -

背景研究

背景研究在 A/B 测试中起着至关重要的作用。第一步是找出网站的跳出率。这可以借助几种广泛使用的背景研究工具（例如 Google Analytics 等）来完成。

收集数据

来自 Google Analytics 的数据可以帮助您找到网站上的访问者Behave。始终建议从站点收集足够的数据。尝试找到转化率低或流失率高、可以进一步改进的页面。还计算在网站上运行此测试所需的每天访问者数量。

设定业务目标

下一步是设定您的业务或转化目标，这将有助于理解目标是什么。完成后，您就可以找到确定新版本是否比原始版本更成功的指标。

构建假设

一旦为 A/B 测试设定了目标和指标。下一步是寻找如何改进原始版本以及如何使其比当前版本更好的想法。一旦你有了一个想法清单，就根据预期影响和实施难度对它们进行优先排序。

例如，最有效的方法之一就是向网站添加图像，这将有助于在一定程度上降低跳出率。

创建变体/假设

市场上有许多 A/B 测试工具都有可视化编辑器来有效地进行这些更改。成功执行 A/B 测试的关键决定是选择正确的工具。一些最常用的工具是 -

视觉网站优化器（VWO）
谷歌内容实验
优化地

可以将不同类型的变体应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。

运行变体

向访问者展示您的网站或应用程序的所有变体。他们的每一个变化的Behave都会受到监控。此外，还会对每个变体的访问者交互进行测量和比较，以确定特定变体的执行情况。

分析数据

实验完成后，下一步就是分析结果。A/B 测试工具将呈现实验数据，并告诉您不同版本网页的性能和效率之间的差异。它还将借助数学方法和统计学来显示变化之间是否存在显着差异。

例如，如果网页上的图像降低了跳出率，您可以添加更多图像以提高转化率。如果因此您发现跳出率没有变化，请返回到上一步以创建新的假设/变体来执行新的测试。

A/B 测试 - 收集数据

来自 Google Analytics 的数据可以帮助您发现访客Behave。始终建议从站点收集足够的数据。尝试找到转化率低或流失率高且可以改进的页面。在本章中，我们将讨论一些可用于收集 A/B 测试数据的工具。

Google Analytics/混合面板（分析工具）

大多数网站都安装了 Google Analytics，以了解访问者如何与网站互动。如果您没有安装 Google Analytics 来监控流量，您可以从互联网上安装它。谷歌分析是最好的免费分析工具之一。

要在您的网站上安装 Google Analytics，您只需复制代码并将其部署在您的网站上，您将获得大量可供使用的数据。您还可以应用该工具的自定义来实现您的业务目标。

鼠标流/疯狂蛋（重播工具）

重播工具用于更好地了解网站上的用户操作。它还允许您通过用户点击的点击图和热图来检查用户在网站上浏览的程度。

诸如“鼠标流”之类的重播工具允许您以某种方式查看访问者的会话，就好像您与访问者本身在一起一样。视频重播工具可以更深入地了解访问者浏览您网站上各个页面的情况。

WebEngage（调查工具）

调查工具用于从网站收集定性反馈。这涉及向回访者询问一些调查问题。这项调查向他们询问一般性问题，并允许他们输入自己的观点或从预先提供的选项中进行选择。

其他工具 – 聊天、电子邮件

实时聊天功能允许访客从客户服务团队那里获得快速解答，并帮助更快地解决问题。这还可以帮助您了解访问者的一般问题并收集用于测试的数据。

A/B 测试 – 确定目标

下一步是设置您的转化目标。找到确定变体是否比原始版本更成功的指标。目标来自您的业务目标，因此举个例子，如果您必须根据目标增加衣服的销量，则可以是 -

清晰的产品图片。
提高网站访问率。
降低购物车掉落率。

接下来是定义满足您的业务目标的指标。仅当度量与您的目标相关时，它才会成为KPI（关键绩效指标）。

实施例1

您的服装店的业务目标是销售衣服，因此该业务目标的 KPI 可能是在线销售的衣服数量。您需要明确定义您的业务目标，否则您将无法确定您的 KPI。如果您正确设置 KPI 并定期对其进行测量，您就能使您的策略保持在正确的轨道上，以创建变体并执行 A/B 测试。接下来是找到您的业务目标的目标指标。

实施例2

您的布料店上周售出 100 件产品。这是好还是坏？为了让您的 KPI 对您有意义，它们需要目标指标。为每个对您重要的 KPI 定义一个目标。一旦定义了业务目标和目标指标，您就拥有了一个框架，它将有助于确定您将要做的工作是否与您的业务目标相关。

A/B 测试 - 生成假设

确定您的业务目标后，下一步是生成 A/B 测试想法和假设，说明为什么您认为它们会比当前版本更好。创建您认为可以创建的所有假设的列表，根据预期影响以及如何使用各种工具实现它们来确定所有变化的优先级。

例子

您可以通过在底部添加更多图像来降低跳出率。您还可以添加各种社交网站的链接以提高转化率。

A/B 测试 - 创建变体

A/B 测试是创建应用程序或网页的新版本，然后比较所有版本以查看转化率。您可以通过分析统计数据来检查新的变体来提高转化率。

有不同类型的变体可以应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。市场上有许多 A/B 测试工具都具有可视化编辑器这些改变是有效的。成功执行 A/B 测试的关键决定是选择正确的工具。一些最常用的工具是 -

视觉网站优化器（VWO）
谷歌内容实验
优化地

视觉网站优化器 (VWO)

可视化网站优化器使您能够测试同一页面的多个版本。它还包含“所见即所得”(WYSIWYG) 编辑器，使您能够进行更改并运行测试，而无需更改页面的 HTML 代码。您可以更新标题、元素编号并运行测试，而无需更改 IT 资源。

要在 VWO 中创建变体以进行 A/B 测试，请在所见即所得编辑器中打开您的网页，然后您可以将以下更改应用于网页 -

更改文本
更改网址
编辑/编辑 HTML
改编
移动
调整大小
隐藏
消除
改变CSS

谷歌内容实验

这允许您为任何网页创建最多五个变体，然后将所有页面加载到 Google Analytics 以执行 A/B 测试。Google内容实验用于衡量所有变体的结果并确定具有最大转化率的变体。使用 Google Content Experiments 的主要优点是它是 Google 的免费软件，但您必须将变体加载到 Google Analytics 中才能执行测试。

优化地

Optimizely 是一种用于在网页或移动应用程序上执行 A/B 测试、多变量测试的工具，可让您比较网页或应用程序的不同版本，以确定哪种版本可以为您的业务提供更好的转化率。

该软件可以通过执行单行 JavaScript 片段在您的网页上运行。代码片段被定义为单行代码，它将在您的网站上优化加载并改变访问者在您网站上的体验。

要使用 Optimizely 测试移动应用程序，它通过适用于 iOS 和/或 Android 的软件开发套件运行。在网页上优化运行会收集网站访问者和转化率的数据，并在统计引擎上运行它们以确定哪个变体是赢家或输家。将这些统计数据与目标和设定指标进行比较后，它们可以帮助您决定要在网站上应用的变化。

优化地允许您执行这些测试 -

比较不同 URL 的 A/B 测试。
跨多个页面、流程等运行的 A/B 测试。
针对不同的受众群体运行不同的变体。
在网页上为所有访问者应用修补程序。

A/B 测试 - 运行实验

它涉及向访问者展示您的网站或应用程序的所有变体，并针对每个变体监视他们的操作。测量并比较每个变体的访客交互，以确定该变体的表现如何。

正如前一章所讨论的，有多种工具可用于生成假设并运行变化 -

视觉网站优化器（VWO）
谷歌内容实验
优化地

视觉网站优化器

有多种 A/B 测试工具允许营销专业人员使用点击式编辑器创建其网页的多种变体。它不需要任何 HTML 知识，您可以检查哪个版本产生最大的转化率或销售额。

执行 VWO 对比测试软件非常简单，因为您只需将代码片段复制粘贴到您的网站中，就可以轻松地将其提供给访问者。视觉网站优化器还提供多变量测试选项，并包含其他数量的工具来执行Behave定位、热图、可用性测试等。

VWO 中有多种功能可确保该工具涵盖您的所有转化率优化活动。许多企业和小型在线商店正在使用 A/B 测试 VWO 软件来优化登陆页面、增加网站销量并提高转化率。

公司还提供 30 天的试用版，可以从https://vwo.com/免费下载。

VWO 的一些主要特征如下 -

测试和实验
可视化编辑器
分析和报告
热图和点击图
平台和集成

怎么运行的？

在网页上优化运行会收集网站访问者的数据、转化率，并在统计引擎上运行这些数据，以确定哪种变体是赢家，哪个变体是输家。将这些统计数据与目标和设定指标进行比较后，它将帮助您决定要在网站上应用的变化。

谷歌内容实验

它允许您创建最多五个网页变体，然后将所有这些页面加载到 Google Analytics 以执行 A/B 测试。

要开始使用 Google Analytics，您需要有一个Google Analytics 帐户并在您的网站上安装跟踪代码。如果您没有帐户，可以使用以下工具进行注册 - http://www.google.com/analytics/

直接将跟踪代码添加到网站

要完成此过程，您必须能够访问您的网站源代码，您还应该能够轻松地编辑 HTML（或者有一位网站管理员/开发人员可以帮助您完成此操作），您还应该拥有一个已设置的 Google Analytics 帐户和属性向上。

在您的网页中设置跟踪代码

找到跟踪代码片段并登录您的 Google Analytics（分析）帐户，然后选择顶部的“管理”选项卡。
转到“帐户和属性”选项卡，选择您正在使用的属性。单击跟踪信息 → 跟踪代码。您在 Analytics 帐户中找到跟踪代码的位置的图片 → 单击展开此图片并查看这些选项在界面中的显示位置。
找到您的跟踪代码片段。它位于一个盒子里，里面有几行 JavaScript。此框中的所有内容都是您的跟踪代码片段。它以 <script> 开始，以 </script> 结束。
跟踪代码包含与每个 Google Analytics（分析）媒体资源相对应的唯一 ID。不要混合来自不同属性的跟踪代码片段，也不要在多个域上重复使用相同的跟踪代码片段。
复制该片段并粘贴到您要跟踪的每个网页中。将其粘贴到紧靠结束 </head> 标记之前。
如果您使用模板为网站动态生成页面，则可以将跟踪代码片段粘贴到其自己的文件中，然后将其包含在页面标题中。

验证跟踪代码是否有效

您可以验证跟踪代码是否正常工作，检查实时报告，还可以监控用户活动的发生。如果您在这些报告中看到数据，则意味着您的跟踪代码当前正在收集数据。

内容实验

内容实验是测试网页（登陆页面、主页、类别页面）最快的方法之一，并且需要更少的代码实现。它可用于在 Google Analytics 内创建 A/B 测试。

内容实验的一些最常见的特征是 -

您需要使用原始页面脚本来运行测试，标准的Google Analytics跟踪代码将用于测量目标和变化。
Google Analytics（分析）上定义的目标可以用作实验目标，包括 AdSense 收入。
Google Analytics 细分构建器可用于根据任何细分标准对结果进行细分。
它允许您将测试设置为在 3 个月后自动过期，以防止测试继续运行（如果测试不太可能产生统计上显着的获胜者）。

如何使用内容实验来创建 A/B 测试？

转到“Behave”部分并单击“实验”链接。它还将向您显示一个包含所有现有实验的表格。单击此表顶部的“创建实验”选项。

输入 → 实验名称、实验目标、参与的站点流量百分比、重要更改的任何邮件通知、将流量分配给所有变体、设置实验运行的时间以及阈值。

您可以添加原始页面的 URL 以及要创建的所有变体，然后单击下一步按钮。选择实现方法，点击下一步按钮→点击验证（如果有代码实现就会验证，如果没有代码则会显示错误信息）→开始实验。

运行此实验后，您将看到以下选项 -

兑换率
停止实验
重新验证
禁用变化
细分- 它允许您查看每个变体对网页上每个访问者细分的执行情况。

A/B 测试 - 分析结果

实验完成后，下一步就是分析结果。A/B 测试工具将展示实验数据，并借助数学方法和统计告诉您网页上不同变体的执行方式之间的差异，以及变体之间是否存在显着差异。

例子

如果网页上的图片降低了跳出率，那么当您在网页上上传更多图片时，您可以决定它是否具有良好的转化。如果您发现跳出率因此没有变化，请返回上一步并创建新的假设/变体以执行新的测试。

VWO 和 Optimizely 等工具用于运行测试，但 Google Analytics 最适合运行测试后分析。该分析用于决定前进的方向。A/B 测试工具讲述测试结果，但也需要执行事后分析。要进行事后分析，您需要将每个测试与 Google Analytics 集成。

VWO 和 Optimizely 都提供内置的 Google Analytics 集成功能。这两个工具的每次测试数据都应发送到 Google Analytics。通过这样做，它可以增强您的分析能力并确保测试数据。您的测试工具可能会错误地记录数据，如果您没有其他测试数据来源，您永远无法确定是否信任它。

A/B 测试 - 工具

有多种工具可用于生成假设并运行变化，其中包括 -

视觉网站优化器（VWO）
谷歌内容实验
优化地

所有这些工具都能够运行 A/B 测试并找到获胜者，但要执行后期分析，这些工具应与 Google Analytics 集成。

A/B 测试 – 谷歌分析

谷歌分析有两种分析数据的选项 -

通用分析
经典谷歌分析

新的 Universal Analytics 功能允许您使用 20 个并发 A/B 测试将数据发送到 Google Analytics，但经典版本最多只允许 5 个。

与 Google Universal Analytics 优化集成

要将 Optimizely 集成到 Universal Google Analytics，请首先选择其侧面板上的 ON 按钮。然后，您必须有一个可用的自定义来填充 Optimizely 实验数据。然后，跟踪代码必须放置在页面 <head> 部分的底部。除非 Optimizely 代码段位于此 Analytics 代码段之上，否则 Google Analytics 集成将无法正常运行。

配置步骤

Optimizely 使用通用 Google Analytics（分析）的“自定义维度”通过添加的实验和变体来标记访问者。配置 Optimizely 以开始将此信息发送到 Universal Analytics 需要四个步骤 -

步骤1

在 ga('create'...) 函数触发后、Universal Analytics ga('send','pageview') 函数触发并进行跟踪调用之前，将以下 JavaScript 代码添加到您的网站中存在 Universal Analytics 代码的位置（详情请参阅下一节）-

// Optimizely Universal Analytics Integration
window.optimizely = window.optimizely || [];
window.optimizely.push("activateUniversalAnalytics");

第2步

在 Optimizely 编辑器中，转到选项 → 集成，然后单击 Universal Analytics 复选框以启用集成。

步骤3

选择您希望 Optimizely 使用的自定义维度。您必须确保自定义维度不应已被网站的任何其他部分或其他当前运行的 Optimizely 实验使用。

步骤4

如果您使用的是默认事件跟踪器以外的自定义事件跟踪器，请选择自定义跟踪器。这将更改 Optimizely 的集成调用以使用自定义跟踪器而不是默认跟踪器。

例子

假设您的网站正在使用以下调用 -

ga('tracker3.send', 'pageview');

在这种情况下，您将在指定自定义跟踪器字段时输入 tracker3，Optimizely 将与 tracker3 而不是默认跟踪器集成。

使用 Google Analytics 创建自定义报告

第一步是登录您的 Universal Analytics 帐户，然后单击顶部的“自定义”选项卡。您应该会看到自定义报告列表。

接下来是为已集成 Universal Analytics 的每个实验设置自定义报告。

单击“新建自定义报告”→ 输入报告标题并添加您希望在报告中查看的指标组。
要仅针对您的 Optimizely 实验过滤此报告，请选择您之前设置的自定义维度作为维度深入分析之一。
在“过滤器”部分中添加此维度，并在要过滤的实验的实验 ID 上使用正则表达式匹配。
单击“保存”。

A/B 测试 - 多变量

与 A/B 测试一样，多变量测试基于相同的机制，但它比较更多数量的变量，并提供有关这些变量Behave方式的更多信息。在 A/B 测试中，您可以在设计的不同版本之间分配页面的流量。多变量测试用于衡量每个设计的有效性。

例子

假设有一个网页已收到足够的流量来运行测试。现在，对每个变体的数据进行比较，以检查最成功的变体，但它还包括对访问者交互产生最大积极或消极影响的元素。

使用多变量的优点

多变量测试是一种有效的工具，可以帮助您定位和重新设计页面元素并显示影响最大的区域。多变量方法对于创建登陆页面营销活动非常有用。

例子

有关某个元素设计的影响的数据可以应用于未来的活动，即使该元素的上下文已经改变。

局限性

多变量测试的局限性是完成测试所需的流量。由于所有实验都是完全阶乘的，因此一次太多的变化元素可能会快速增加必须测试的大量可能组合。即使是流量相当高的站点也可能难以在可行的时间内完成具有超过 25 个组合的测试。

多变量测试和 A/B 测试之间的区别

A/B 测试也称为拆分测试，是一种网站优化方法，您可以比较页面的两个版本（即 A 和 B）的转化率。所有访问者都会分为一个版本或另一个版本。一旦访问者访问这两个版本（A 或 B），他们就会点击各种按钮，甚至注册新闻通讯。这使您可以确定哪个版本的页面更有效。

A/B 测试 - SEO

SEO 是一种在搜索相关项目时在页面顶部显示您的网站的方法。它包括您的网站向访问者提供的信息以及为什么网页内容与搜索结果顶部相关。许多潜在客户认为 A/B 测试或多变量测试会对他们的搜索引擎排名产生影响。

有四种方法可以确保您运行 A/B 测试，而不必担心失去潜在的 SEO 价值。

不要隐藏

当您向 Googlebot 代理显示网页的一个版本并向网站访问者显示另一版本时，即称为隐藏。谷歌表示你不应该隐藏，并且对此非常严格。它甚至可能导致您的网站被排除在搜索结果之外或在 SEO 排名中降级。您必须确保不会根据用户代理将访问者划分到不同版本的 A/B 测试中。谷歌并不关心他们的机器人是否看到一个版本或另一个版本，它只关心其机器人是否具有与随机访问者相同的用户体验。

使用“rel=规范”

当您使用多个 URL 进行 A/B 测试时，您可以将“rel=canonical”添加到网页中，以向 Google 指示您想要将哪个 URL 编入索引。谷歌建议使用规范元素，它是一个无索引标签，因为它更符合其意图。您仅表明哪些内容是原创的。通过这种方式，Google 可以相应地对页面进行分组和索引。

注意- 如果无法使用规范，那么您必须确保 HTML 或 HTTP 标头中有 noindex 标记，如果没有，您应该确保它至少有一个 robots.txt。

使用 302 重定向而不是 301

Google 建议使用临时方向方法 - 302 而非永久 301 重定向。与任何 A/B 测试一样，这不是永久性的搬迁，而只是临时性的搬迁。始终建议使用 302 重定向，因为它是临时重定向的通知。因此，如果您使用重定向进行 A/B 测试，请确保使用 302 标头。

SEO 需要考虑的最重要的一点是，您必须向搜索引擎明确表示，他们不应从索引中删除您的原始 URL，而只是暂时保留它。当蜘蛛回来进行下一次索引时，它们将再次检查重定向是否仍然适用，如果不适用，则将再次恢复旧的 URL。

不要进行较长时间的实验

请注意，当您的 A/B 测试完成后，您应该尽快删除变体并对您的网页进行更改并开始使用获胜的转化。您必须确保删除测试的所有元素 - 例如替代 URL 和测试脚本。

如果你运行测试的时间较长，谷歌就会将此视为欺骗搜索引擎的一种方式。当您在较长时间内向大量访问者展示测试变体时，可能会发生这种情况。

A/B 测试 - 面试问题

您对 A/B 测试有何理解？执行 A/B 测试的目标是什么？

A/B 测试（也称为拆分测试）定义了一种比较应用程序或网页的两个版本的方法，使您能够确定哪个版本性能更好。A/B 测试是最简单的方法之一，您可以修改应用程序或网页来创建新版本，然后比较这两个版本以找出转化率。这也让我们知道，两者中哪一个表现更好。

您对 A/B 测试中的数据采样有何理解？

样本数量取决于执行的测试数量。转化率的计数称为样本，收集这些样本的过程称为采样。

A/B 测试中置信区间有什么用？

置信区间称为对多个样本的平均值的偏差的测量。让我们假设 22% 的人更喜欢产品 A，置信区间为 +/- 2%。这个区间表示选择产品A的人数的上限和下限，也称为误差幅度。为了在这次平均调查中获得最佳结果，误差幅度应尽可能小。

您什么时候应该考虑执行 A/B 测试？

如果有可能超过原始变化>5%，请始终执行 A/B 测试。测试应该运行相当长的时间，以便您应该有足够的样本数据来进行统计和分析。A/B 测试还使您能够从网页上的现有流量中获得最大收益。

与在网站上设置流量的成本相比，增加转化率的成本是最低的。A/B 测试的ROI （投资回报）是巨大的，因为网站上的一些微小变化就可以导致转化率的显着提高。

什么是多变量测试？它与 A/B 测试相比如何？

与 A/B 测试一样，多变量测试基于相同的机制，但它比较更多数量的变量，并提供有关这些变量Behave方式的更多信息。在 A/B 测试中，您可以在设计的不同版本之间分配页面的流量。多变量测试用于衡量每个设计的有效性。

我应该测试多少个变量？

同时测试多个变量的问题在于，很难准确确定哪些变量产生了差异。虽然您可以说一个页面的性能优于另一个页面，但如果每个页面都有三到四个变量，您就无法确定为什么其中一个变量实际上对页面有害，也无法复制好的元素在其他页面上。

列举一些可以应用于网页的变体？

以下是一些可以应用于网页的 A/B 测试变体。该列表包括 - 标题、副标题、图像、文本、CTA 文本和按钮、链接、徽章、媒体提及、社交提及、销售促销和优惠、价格结构、交付选项、付款选项、网站导航和用户界面。

解释 A/B 测试的分步过程。

背景研究- A/B 测试的第一步是找出网站上的跳出率。这可以借助任何工具（例如 Google Analytics）来完成。
收集数据- 来自 Google Analytics 的数据可以帮助您找到访客Behave。始终建议从站点收集足够的数据。尝试找到转化率低或流失率高且可以改进的页面。
设置业务目标- 下一步是设置您的转化目标。找到确定变体是否比原始版本更成功的指标。
构建假设- 一旦为 A/B 测试设定了目标和指标，下一步就是寻找改进原始版本以及如何比当前版本更好的想法。一旦你有了一个想法清单，就根据预期影响和实施难度对它们进行优先排序。
创建变体/假设- 市场上有许多 A/B 测试工具，它们具有可视化编辑器来有效地进行这些更改。成功执行 A/B 测试的关键决定是选择正确的工具。
运行变体- 向访问者展示您的网站或应用程序的所有变体，并针对每个变体监视他们的操作。对每个变体的访问者交互进行测量和比较，以确定该变体的执行情况。
分析数据- 实验完成后，下一步是分析结果。A/B 测试工具将呈现实验数据，并告诉您网页不同变体的执行方式之间的差异。另外，借助数学方法和统计数据，变化之间是否存在显着差异。

可用于收集 A/B 测试数据的常见工具类型有哪些？

最常见的数据收集工具类型包括分析工具、重播工具、调查工具、聊天和电子邮件工具。

使用Replay工具的目的是什么？列举一些用于 A/B 测试的重播工具。

重播工具用于更好地了解网站上的用户操作。它还允许您单击用户单击的地图和热图，并检查用户在网站上浏览的距离。鼠标流等重播工具允许您以与访问者在一起的方式查看访问者的会话。

视频重播工具可以更深入地了解访问者浏览您网站上各个页面的情况。最常用的工具是Mouse Flow 和 Crazyegg。

我们为什么使用调查工具？举一个收集数据的调查示例。

调查工具用于从网站收集定性反馈。这涉及向回访者询问一些调查问题。该调查询问他们一般性问题，并允许他们输入自己的观点或从预先提供的选项中进行选择。

举几个在 A/B 测试中生成假设的例子？

您可以通过在底部添加更多图像来减少跳出率。您可以添加社交网站的链接以进一步提高转化率。

您对 A/B 测试中创建变体有何理解？有哪些常用工具可以用于此目的？

有不同类型的变体可以应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。市场上有许多 A/B 测试工具都具有可视化编辑器这些改变是有效的。成功执行 A/B 测试的关键决定是选择正确的工具。

最常用的工具是 Visual Website Optimizer、Google Content Experiments 和 Optimizely。

VWO 中的所见即所得编辑器是什么？您如何使用它来创建变体？

可视化网站优化器或 VWO 使您能够测试同一页面的多个版本。它还包含“所见即所得”(WYSIWYG) 编辑器，使您能够进行更改并运行测试，而无需更改页面的 HTML 代码。您可以更新标题、元素编号并运行测试，而无需更改 IT 资源。

要在 VWO 中创建变体以进行 A/B 测试，请在所见即所得编辑器中打开您的网页，然后您可以将许多更改应用到任何网页。其中包括更改文本、更改 URL、编辑/编辑 HTML、重新排列和移动。

可以使用 VWO 执行哪些其他类型的测试？

视觉网站优化器还提供多变量测试选项，并包含其他数量的工具来执行Behave定位、热图、可用性测试等。

除了网页之外，您还可以在哪里使用 A/B 测试？

这些测试也适用于其他几个地方，例如电子邮件、移动应用程序、PPC 和 CTA。

您对 A/B 测试 - 分析结果有何理解？

实验完成后，接下来就是分析结果。A/B 测试工具将呈现实验数据，并告诉您该网页的不同变体的执行方式之间的差异。它还将显示使用数学方法和统计的变化之间是否存在显着差异。

如何将 Google Analytics 与 Optimizely 集成？

要将 Optimizely 集成到 Universal Google Analytics，请首先选择侧面板上的 ON 按钮。然后，您必须有一个可用的自定义来填充 Optimizely 实验数据。

通用 Google Analytics（分析）跟踪代码必须放置在页面 <head> 部分的底部。除非 Optimizely 代码段位于 Analytics 代码段上方，否则 Google Analytics 集成将无法正常运行。

通用 GA 和经典 Google Analytics 有什么区别？

Google Analytics（分析）有两种用于分析数据的选项，即通用分析（Universal Analytics）和经典谷歌分析（Classic Google Analytics）。新的 Universal Analytics 功能允许您使用 20 个并发 A/B 测试将数据发送到 Google Analytics，但经典版本最多只允许 5 个。

A/B 测试会对 SEO 产生负面影响吗？解释一下确保运行 A/B 测试而不担心失去潜在 SEO 价值的不同方法？

A/B 测试会损害搜索引擎排名，因为它可能被归类为重复内容，这是一个神话。可以应用以下四种方法来确保您在运行 A/B 测试时不会失去潜在的 SEO 价值。

不要隐藏- 隐藏是指您向 Googlebot 代理显示网页的一个版本，并向网站访问者显示其他版本。

使用 'rel=canonical' - 当您对多个 URL 进行 A/B 测试时，您可以将 'rel=canonical' 添加到网页，以向 Google 指示您想要索引哪个 URL。谷歌建议使用规范元素而不是 noindex 标签，因为它更符合其意图。

使用 302 重定向而不是 301 - Google 建议使用临时方向方法 - 302 优于永久 301 重定向。

不要运行较长时间的实验- 请注意，当您的 A/B 测试完成后，您应该尽快删除变体并对您的网页进行更改并开始使用获胜的转化。