A/B 测试 - 面试问题

您对 A/B 测试有何理解？执行 A/B 测试的目标是什么？

A/B 测试（也称为拆分测试）定义了一种比较应用程序或网页的两个版本的方法，使您能够确定哪个版本性能更好。A/B 测试是最简单的方法之一，您可以修改应用程序或网页来创建新版本，然后比较这两个版本以找出转化率。这也让我们知道，两者中哪一个表现更好。

您对 A/B 测试中的数据采样有何理解？

样本数量取决于执行的测试数量。转化率的计数称为样本，收集这些样本的过程称为采样。

A/B 测试中置信区间有什么用？

置信区间称为对多个样本的平均值的偏差的测量。让我们假设 22% 的人更喜欢产品 A，置信区间为 +/- 2%。这个区间表示选择产品A的人数的上限和下限，也称为误差幅度。为了在这次平均调查中获得最佳结果，误差幅度应尽可能小。

您什么时候应该考虑执行 A/B 测试？

如果有可能超过原始变化>5%，请始终执行 A/B 测试。测试应该运行相当长的时间，以便您应该有足够的样本数据来进行统计和分析。A/B 测试还使您能够从网页上的现有流量中获得最大收益。

与在网站上设置流量的成本相比，增加转化率的成本是最低的。A/B 测试的ROI （投资回报）是巨大的，因为网站上的一些微小变化就可以导致转化率的显着提高。

什么是多变量测试？它与 A/B 测试相比如何？

与 A/B 测试一样，多变量测试基于相同的机制，但它比较更多数量的变量，并提供有关这些变量Behave方式的更多信息。在 A/B 测试中，您可以在设计的不同版本之间分配页面的流量。多变量测试用于衡量每个设计的有效性。

我应该测试多少个变量？

同时测试多个变量的问题在于，很难准确确定哪些变量产生了差异。虽然您可以说一个页面的性能优于另一个页面，但如果每个页面都有三到四个变量，您就无法确定为什么其中一个变量实际上对页面有害，也无法复制好的元素在其他页面上。

列举一些可以应用于网页的变体？

以下是一些可以应用于网页的 A/B 测试变体。该列表包括 - 标题、副标题、图像、文本、CTA 文本和按钮、链接、徽章、媒体提及、社交提及、销售促销和优惠、价格结构、交付选项、付款选项、网站导航和用户界面。

解释 A/B 测试的分步过程。

背景研究- A/B 测试的第一步是找出网站上的跳出率。这可以借助任何工具（例如 Google Analytics）来完成。
收集数据- 来自 Google Analytics 的数据可以帮助您找到访客Behave。始终建议从站点收集足够的数据。尝试找到转化率低或流失率高且可以改进的页面。
设置业务目标- 下一步是设置您的转化目标。找到确定变体是否比原始版本更成功的指标。
构建假设- 一旦为 A/B 测试设定了目标和指标，下一步就是寻找改进原始版本以及如何比当前版本更好的想法。一旦你有了一个想法清单，就根据预期影响和实施难度对它们进行优先排序。
创建变体/假设- 市场上有许多 A/B 测试工具，它们具有可视化编辑器来有效地进行这些更改。成功执行 A/B 测试的关键决定是选择正确的工具。
运行变体- 向访问者展示您的网站或应用程序的所有变体，并针对每个变体监视他们的操作。对每个变体的访问者交互进行测量和比较，以确定该变体的执行情况。
分析数据- 实验完成后，下一步是分析结果。A/B 测试工具将呈现实验数据，并告诉您网页不同变体的执行方式之间的差异。另外，借助数学方法和统计数据，变化之间是否存在显着差异。

可用于收集 A/B 测试数据的常见工具类型有哪些？

最常见的数据收集工具类型包括分析工具、重播工具、调查工具、聊天和电子邮件工具。

使用Replay工具的目的是什么？列举一些用于 A/B 测试的重播工具。

重播工具用于更好地了解网站上的用户操作。它还允许您单击用户单击的地图和热图，并检查用户在网站上浏览的距离。鼠标流等重播工具允许您以与访问者在一起的方式查看访问者的会话。

视频重播工具可以更深入地了解访问者浏览您网站上各个页面的情况。最常用的工具是Mouse Flow 和 Crazyegg。

我们为什么使用调查工具？举一个收集数据的调查示例。

调查工具用于从网站收集定性反馈。这涉及向回访者询问一些调查问题。该调查询问他们一般性问题，并允许他们输入自己的观点或从预先提供的选项中进行选择。

举几个在 A/B 测试中生成假设的例子？

您可以通过在底部添加更多图像来减少跳出率。您可以添加社交网站的链接以进一步提高转化率。

您对 A/B 测试中创建变体有何理解？有哪些常用工具可以用于此目的？

有不同类型的变体可以应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。市场上有许多 A/B 测试工具都具有可视化编辑器这些改变是有效的。成功执行 A/B 测试的关键决定是选择正确的工具。

最常用的工具是 Visual Website Optimizer、Google Content Experiments 和 Optimizely。

VWO 中的所见即所得编辑器是什么？您如何使用它来创建变体？

可视化网站优化器或 VWO 使您能够测试同一页面的多个版本。它还包含“所见即所得”(WYSIWYG) 编辑器，使您能够进行更改并运行测试，而无需更改页面的 HTML 代码。您可以更新标题、元素编号并运行测试，而无需更改 IT 资源。

要在 VWO 中创建变体以进行 A/B 测试，请在所见即所得编辑器中打开您的网页，然后您可以将许多更改应用到任何网页。其中包括更改文本、更改 URL、编辑/编辑 HTML、重新排列和移动。

可以使用 VWO 执行哪些其他类型的测试？

视觉网站优化器还提供多变量测试选项，并包含其他数量的工具来执行Behave定位、热图、可用性测试等。

除了网页之外，您还可以在哪里使用 A/B 测试？

这些测试也适用于其他几个地方，例如电子邮件、移动应用程序、PPC 和 CTA。

您对 A/B 测试 - 分析结果有何理解？

实验完成后，接下来就是分析结果。A/B 测试工具将呈现实验数据，并告诉您该网页的不同变体的执行方式之间的差异。它还将显示使用数学方法和统计的变化之间是否存在显着差异。

如何将 Google Analytics 与 Optimizely 集成？

要将 Optimizely 集成到 Universal Google Analytics，请首先选择侧面板上的 ON 按钮。然后，您必须有一个可用的自定义来填充 Optimizely 实验数据。

通用 Google Analytics（分析）跟踪代码必须放置在页面 <head> 部分的底部。除非 Optimizely 代码段位于 Analytics 代码段上方，否则 Google Analytics 集成将无法正常运行。

通用 GA 和经典 Google Analytics 有什么区别？

Google Analytics（分析）有两种用于分析数据的选项，即通用分析（Universal Analytics）和经典谷歌分析（Classic Google Analytics）。新的 Universal Analytics 功能允许您使用 20 个并发 A/B 测试将数据发送到 Google Analytics，但经典版本最多只允许 5 个。

A/B 测试会对 SEO 产生负面影响吗？解释一下确保运行 A/B 测试而不担心失去潜在 SEO 价值的不同方法？

A/B 测试会损害搜索引擎排名，因为它可能被归类为重复内容，这是一个神话。可以应用以下四种方法来确保您在运行 A/B 测试时不会失去潜在的 SEO 价值。

不要隐藏- 隐藏是指您向 Googlebot 代理显示网页的一个版本，并向网站访问者显示其他版本。

使用 'rel=canonical' - 当您对多个 URL 进行 A/B 测试时，您可以将 'rel=canonical' 添加到网页，以向 Google 指示您想要索引哪个 URL。谷歌建议使用规范元素而不是 noindex 标签，因为它更符合其意图。

使用 302 重定向而不是 301 - Google 建议使用临时方向方法 - 302 优于永久 301 重定向。

不要运行较长时间的实验- 请注意，当您的 A/B 测试完成后，您应该尽快删除变体并对您的网页进行更改并开始使用获胜的转化。