限制您成功的 13 个电子邮件 A/B 测试错误

已发表: 2018-12-06

“你必须进行测试，否则你只是在做出有根据的猜测，”来自 Litmus Live London 2017 的 Red C 的 Stuart Clark 说。电子邮件 A/B 测试是去年所有三场 Litmus Live 活动中反复出现的话题，以及这次年。这并不奇怪，因为这是电子邮件营销人员迭代和改进其活动的最强大的机会之一。

A/B 测试可以帮助您发现主题行、电子邮件设计、登录页面等方面的重大变化。收益有多大？

“经过 A/B 测试的电子商务品牌
他们的电子邮件产生的收入增加了 20%
一般。”
——亚历克斯·凯利（MailChimp）
在 Litmus Live 2017

推特此报价 →

要对您的电子邮件进行 A/B 测试，您需要做的就是向两个不同的订阅者群体呈现两种变体，然后倾听。这些指标会告诉您他们的偏好，然后您可以在短期内通过将获胜的变体发送给更多受众来采取行动，或者通过将该偏好应用于未来的活动而在长期内采取行动。

这听起来很简单——在某种程度上，这要归功于电子邮件服务提供商和测试软件提供商推出的功能，使电子邮件 A/B 测试比过去更容易执行。但是，搞乱电子邮件 A/B 测试并得出错误结论或完全破坏结果也很简单。

为了避免这种命运，这里有 13 条提示，可确保您从电子邮件 A/B 测试中获得最大收益：

1. 测试您的自动化和交易电子邮件，而不仅仅是您的广播和分段电子邮件。

根据 Litmus 的 2018 年电子邮件现状调查，近 39% 的品牌从不或很少对他们的广播和分段电子邮件进行 A/B 测试。

这是一个错失的机会，但是当您查看自动和交易电子邮件时，桌上还有更多的钱。超过 65% 的品牌从不或很少对他们的自动电子邮件进行 A/B 测试，76% 的品牌从不或很少对他们的交易电子邮件进行 A/B 测试。

这是一种耻辱，因为虽然 A/B 测试您的广播和分段电子邮件可为您提供竞争优势，但 A/B 测试您的自动化和交易电子邮件可为您提供巨大的优势。与不太成功的程序相比，成功的电子邮件程序每年至少对其触发的电子邮件进行一次 A/B 测试的可能性要高 58%。成功的程序每年至少对他们的交易电子邮件进行一次 A/B 测试的可能性要高 53%。

这两项行动都在成功的电子邮件营销计划所做的 20 件事中的前 10 名。

虽然触发式电子邮件经常被称赞为“一劳永逸”的程序，但请记住，电子邮件营销中没有什么是“一劳永逸”的。根据 Litmus 的 2018 年电子邮件现状调查，这些电子邮件占超过 13% 品牌的电子邮件营销收入的大部分。而这个百分比只会在未来几年增长。

2. 将您的电子邮件 A/B 测试工作重点放在最有可能提高性能的活动元素上。

有时对次要元素的微小调整可以为您带来帮助，但通常明智的做法是将测试重点放在关键的电子邮件元素上，例如主题行、号召性用语和图像。

根据我们对 3,000 名营销人员的调查，这是大多数品牌目前专注于电子邮件 A/B 测试工作的地方。你也应该。

除了这些元素之外，您的自动电子邮件还有其他值得测试的元素。在我的《电子邮件营销规则》一书中，我建议测试：

自动电子邮件的不同触发逻辑
消息触发后多快发送
是否发送一系列自动邮件
一系列自动电子邮件之间的延迟
在什么情况下会跳过系列中的自动电子邮件
自动电子邮件系列在什么条件下结束

3. 了解您的测试是否会让您更接近局部最大值或全局最大值。

您是否正在测试对电子邮件的增量调整或彻底更改？了解这一点很重要，因为正如 Indeed 产品经理 Janie Clarke 在 Litmus Live San Francisco 上指出的那样，小的调整可以帮助您达到局部最大值的顶部，但不会帮助您发现新的全局最大值。要找到这一点，您需要尝试一种完全不同的方法。

例如，测试按钮的颜色或测试文本链接与按钮的对比只会帮助您更接近优化电子邮件设计——或达到局部最大值。然而，例如，测试复制密集型设计与图像密集型设计或交互式电子邮件与纯文本电子邮件，可能会帮助您找到传达信息的最佳方式——或发现全局最大值。

4. 将您的 A/B 测试一次限制为一件事。

除非您进行多变量测试，否则您将希望将 A/B 测试限制为每个测试一次更改。例如，您可以测试...

绿色按钮与蓝色按钮
包含社会证明的电子邮件副本与不包含社会证明的电子邮件副本
生活方式英雄形象与产品英雄形象
百分比折扣与美元折扣折扣

版本 A 和 B 之间的差异不止一个，因此很难明确确定导致性能差异的元素。

5. 有明确的假设。

不要只是为了看看什么可能有效而进行随机更改。了解您要实现的目标，并有充分的理由说明为什么您正在测试的内容将帮助您实现预期目标。

例如，如果您想提高转化率，您可以创建一个版本的电子邮件副本，其中号召性用语位于首屏以使其更显眼，而另一个版本的内容位于 CTA 之前并试图生成强大的对 CTA 的兴趣。此外，如果您想查看在欢迎电子邮件的主题行中按姓名寻址新订阅者是否促进了转化，您可以测试一个主题行是否带有个性化，而另一个主题行没有。

像 Behave.org 这样的网站可以根据其他品牌的做法为您提供许多测试想法。

6. 选择与您的竞选目标一致的测试胜利指标。

我们再怎么强调也不为过：一定要在漏斗下进行足够远的测试——在大多数情况下，这意味着尽可能在漏斗下进行测试。大多数电子邮件活动都试图产生电子邮件转化或销售转化，因此您的电子邮件 A/B 测试也应侧重于移动这些指标。

一些营销人员出错的地方在于，他们认为主题行只能影响打开次数，电子邮件内容只能影响点击次数，而着陆页内容只能影响转化次数。不对！电子邮件交互的不同阶段不是孤立运行的。它们都一起工作，因为订阅者一起体验它们。

当你接受这一点时，你就会意识到主题行的目标不是产生打开。这是为了产生可能转换的开场白。同样，电子邮件内容的目标不是产生点击。这是为了生成可能转换的点击者。

不服气？自己确认很容易。只需运行一些主题行 A/B 测试，看看不同的主题行如何影响电子邮件交互漏斗中的活动。

另外，如果主题行 B 产生更多的转换，谁会关心主题行 A 是否比主题行 B 产生更多的打开次数？如果电子邮件内容 B 产生更多转化，那么谁在乎电子邮件内容 A 是否比电子邮件内容 B 产生更多点击？我们保证您的老板会更喜欢更多的转换。

2018 年电子邮件分析现状

您的电子邮件分析功能与同行相比如何？通过我们有史以来的第一份电子邮件分析状态报告，了解品牌衡量哪些电子邮件指标（以及他们使用哪些工具来衡量）。

获取您的副本 →

7. 使用类似订阅者的测试细分受众群。

就像您控制对电子邮件的 A 和 B 版本所做的更改一样，您还需要控制每个版本的获取者。您希望您的两个测试组由相同类型的订阅者组成，例如，无论是新订阅者、作为客户的订阅者还是特定地理区域的订阅者。

8. 使用活跃订阅者的测试细分受众群。

同样，您要确保两组测试收件人都包含经常与您的电子邮件互动的活跃订阅者。否则，如果版本 A 属于比获得版本 B 的组更活跃的一组订阅者，那么版本 A 更有可能“获胜”，原因可能与版本 A 中的内容无关。

一个警告是，如果您正在测试重新参与的电子邮件，在这种情况下，您当然希望针对不活跃的订阅者。

9. 确保您的测试组足够大，以便您的结果具有统计显着性。

如果您的测试受众太少，那么您的测试结果可能只是随机性造成的。通过拥有足够多的测试受众，确保您的结果具有统计意义。

Kissmetrics、AB Testguide 和 Optimizely 都有在线计算器来帮助您。

10. 适当时使用坚持组。

对于您测试的任何电子邮件，请考虑您的订阅者根本没有收到该电子邮件的影响。拥有一群未收到电子邮件的订阅者是您衡量这种效果的方法。

在测试自动电子邮件时，坚持小组特别有价值。例如，如果您正在测试新的购物车放弃电子邮件的性能，您希望确保部分购物车放弃者根本不会收到购物车放弃电子邮件。这样做可以让您衡量您的购物车放弃电子邮件是否让订阅者烦恼或扰乱了他们的自然购物行为。

但是，您可以对发送的任何电子邮件使用保留组，以确保该电子邮件实际上对您的订阅者产生了积极影响。参与平台的 Atlassian 高级产品经理 Jeff Sinclair 告诉 Litmus Live San Francisco 的与会者，企业软件公司 Atlassian 已经建立了一个系统，需要对每封电子邮件进行测试，包括强制保留组。

11. 制定测试计划，以便定期测试并记录测试结果。

临时 A/B 测试效率低下，因为它是零星的且没有重点。为了充分利用 A/B 测试，您需要一个计划。制定测试计划，记录：

你试图证实的理论
您使用哪些电子邮件来测试每个理论
每个测试的结果以及它们如何影响您未来的测试计划

目标是在至少一半的广播和分段促销电子邮件中包含 A/B 测试，因为我们的研究表明，当品牌测试频率低于此频率时，他们几乎没有竞争优势。同样，当品牌至少每 6 个月对触发式和交易性电子邮件进行一次 A/B 测试时，他们报告的成功率显着增加。

您还需要制定测试计划，因为您需要……

12. 确认测试结果。

任何单一的 A/B 测试都不会永远是决定性的。在短期内，您看到的任何提升都可能是新奇效应的结果。订阅者被新的吸引，它可以使您所做的任何更改与控件相比都更上一层楼。

然而，新奇效应很快就会消失。因此，如果您在一段时间内运行相同的测试两三次，您将消除任何新奇的效果，并能够看到更改的真实影响。

从长远来看，消费者的行为和态度会发生变化。您的电子邮件列表的组成也会随着时间的推移而发生变化，具体取决于订阅者获取实践、您的产品或服务产品的变化、某些地区的扩张或撤退以及其他因素。

测试的成功越明确，您可能等待再次确认的时间就越长。但最终，您将需要至少一次或两次定期重新确认每个测试——这也是 A/B 测试计划至关重要的原因。

13. 与贵公司的其他渠道所有者分享电子邮件 A/B 测试的结果。

Holistic Email Marketing 的 Jonathan Pay 告诉 Litmus Live London 与会者一定要与他们的网络、社交媒体和广告团队分享他们的电子邮件 A/B 测试见解。这是一个很好的建议，因为电子邮件营销的学习可以推动其他渠道的成功。

根据 Litmus 对 600 多名营销人员的调查，跨渠道和部门之间的协调不力被认为是 2018 年电子邮件营销人员面临的最大挑战。分享 A/B 测试结果只是品牌培育全渠道营销和客户体验方法的另一种方式。

为了充分利用您的电子邮件 A/B 测试工作……

遵循这 13 条建议：

测试您的自动化和交易电子邮件，而不仅仅是您的广播和分段电子邮件。
将您的电子邮件 A/B 测试工作重点放在最有可能提高性能的活动元素上。
了解您的测试是否会让您更接近局部最大值或全局最大值。
将您的 A/B 测试一次限制为一件事。
有一个明确的假设。
选择与您的广告系列目标一致的测试胜利指标。
使用类似订阅者的测试细分受众群。
使用活跃订阅者的测试细分受众群。
确保您的测试组足够大，以便您的结果具有统计意义。
适当时使用坚持组。
创建测试计划，以便您定期测试并记录测试结果。
确认测试结果。
与贵公司的其他渠道所有者分享电子邮件 A/B 测试的结果。