如何为 A/B 测试的成功做好准备

已发表: 2021-06-15

我喜欢电子邮件的一件事是数据。因为它很容易获得，所以很容易运行拆分测试并实时查看电子邮件性能。您经常会发现我仔细研究电子表格并不断刷新数据，就好像我正在观看一场势均力敌的比赛。

但如果 A/B 测试设置不正确，这些都不重要。

如果没有坚实的基础，您的 A/B 测试结果是不可靠的，并且可能会将您引向错误的方向。这可能会让您在参与度、转化率以及最终订阅者和客户方面付出代价。因此，在您考虑下一次测试之前，请确保您已做好准备，以获得推动营销策略所需的洞察力。

还有谁比我们的常驻测试专家和高级增长经理 John Kim 更适合谈论 A/B 测试？ John 在我们的网站上运行大部分转换测试，并教会了我很多来提高自己的技能。现在你也可以向他学习了。

要成功运行 A/B 测试，您需要做哪些关键事情？

无论您在何处进行测试（例如电子邮件、网站、应用程序内或付费广告），基础知识都保持不变。把它们弄对，你就会顺利地获得可以信任的结果并采取行动。

知道你在测试什么

在执行 A/B 测试之前，准确了解您计划测试的内容至关重要。在 Litmus，我们为每个 A/B 测试制定了许多标准，以确保我们最大限度地提高成功和学习的机会。

假设

也许你的 A/B 测试中最重要的元素——一个好的假设——是你试图解决的问题的答案。

你的假设应该是明确的、有重点的，并且有一些潜在的或有限的证据。简而言之，这是对如何解决复杂业务问题的有根据的猜测。明确定义您的假设很重要，因为您的实验旨在测试它。

开始写你的假设！在我们的例子中，它们通常是使用if-then语句编写的。

示例：如果我们将标准按钮颜色更改为橙色而不是绿色，我们将看到点击率增加。

目标

在运行任何实验之前，我们喜欢记录的下一个元素是实验的目标。最终，您想为您的企业实现什么目标？

明确成功对你意味着什么。

示例：我们的目标是增加按钮的点击率，进而增加下一页的转化率，从而提高整体的试用注册或激活率。

指标

在运行您的实验之前，了解您将监控主要指标的内容非常重要。考虑到你的假设和目标，当涉及到你之前陈述的目标时，请清楚你将使用哪一个或两个指标来确定成功。

这一步很重要，因为您需要确保：

了解哪些指标对您很重要
能够监控该活动并将其归因回给定的用户和群组（您的测试和控制受众来自您的整体受众）。
了解您的次要指标。除了主要指标之外，监控用户如何与您体验的其余部分进行交互也很重要。

护栏

任何给定的测试影响您的业务的不同方式都可能令人惊讶。

我们在这一步所做的是记录即将到来的 A/B 测试可能产生积极或消极影响的所有指标和渠道。

完成这个练习很重要，这样我们就可以：

尽量减少任何给定测试的意外
权衡（尽可能地）潜在收益与风险/护栏。

我们的团队在准备测试方面付出了巨大的努力。我们以切合实际的期望、成功和失败的阈值进入每个测试，并为多种结果做好准备。

在 Litmus Analytics 中访问不那么典型的电子邮件指标

打开率、点击率、退订率等标准电子邮件指标只能告诉您这么多。通过电子邮件客户端、阅读率等详细信息了解您的受众如何与您的电子邮件互动。

获取更多电子邮件数据 →

拆分测试和跟踪

A/B 测试或拆分测试是一项广泛可用的功能，大多数电子邮件服务提供商 (ESP) 和营销自动化平台都提供该功能。如果您想在营销网站或应用上运行测试，VWO 或 Optimizely 等工具也可以提供解决方案。

在选择您的受众时，确定您需要从您的受众中获得多少人参与您的整体测试以建立统计显着性，或者 A 组和 B 组之间的转化率差异不是由于随机机会造成的可能性. 如果您有足够多的观众，您将需要从整体观众中抽取一部分，将 50/50 分成这些组。在 Litmus，多年来我们遇到了各种工具来提供帮助。我们的最爱之一是 Neil Patel 的 A/B 测试计算器。

一旦确定了测试受众中需要多少人，其中的一半不应对其体验进行任何更改。该组将成为您的控制组。尽可能地，他们的体验应该与您认为的基准或典型体验非常相似。您的另一半受众将是您的变体群组。对于该组中的用户，应用测试处理。

A/B 测试通常在队列级别进行分析。意义——我们评估接受治疗经验的队列是否与对照组有显着差异。

至关重要的是，将观众成员放入给定的队列是随机的，并且每个给定的人只接受一次治疗。如果我们要考虑每个群组（测试和对照）的构成，我们希望确保不会对单个群组的特定人口统计、公司统计或用户的任何其他特征引入任何偏见。随机化您的群组并使用更少的变体更好地确保您的群组代表随机选择的受众。

包起来

A/B 测试不一定很难，但如果你没有正确设置它们，你从中收集到的见解将没有多大意义。了解我们在此处探索的基础知识将为您的成功奠定基础，因此您可以将您的知识应用到您的整个营销策略中。请记住，退后一步仔细考虑每个元素，您就会顺利进行。请继续关注我们关于 A/B 测试您的电子邮件营销的博客，我们将更深入地测试我们最喜欢的频道。

更多数据。 更多见解。

当您超越标准电子邮件指标时，获取更多电子邮件数据——更多洞察。借助内置于 Litmus Plus 的 Litmus Email Analytics 的强大功能，访问读取率、转发率等。

免费试用 Litmus Plus →