如何在实验中真正取胜(即使你不这样做)——方法和灵感
已发表: 2023-02-03为了提高转化率并跟上不断变化的客户行为,企业越来越多地接受实验文化,以尽可能地消除决策过程中的猜测。
但是,一旦您运行了测试并获得了成功的结果,您就很难再考虑失败的测试了。
但实验就是为了获胜吗?
如果您期望您的每项测试都能带来收入提升,那您就错了,我的朋友。
现实与它相差甚远,您不能简单地期望实验是一根魔杖,可以在一夜之间修复所有业务指标。
相反,实验是一个过程,可以帮助您找到问题的答案并验证您的假设,从而帮助您实现战略业务目标。 这是一种考验和恐怖的练习,需要时间和一致性。
如果你明白这一点,那就是成功的一半。
那么,即使您的测试结果很糟糕,您如何获胜呢? 当你改变你的实验方法和你对它的期望时,你就赢了。 下面我们讨论一种方法,可以让您开始思考这条线并专注于重要的结果。
如何从 A/B 测试结果中学习和改进
每次运行测试都无法保证转化率提升。 那么,您为什么要费心运行测试呢? 你认为亚马逊、Netflix 和 Facebook 等全球巨头为什么要进行测试? 并非每项测试对他们来说都是赢家。 测试背后的最终目标是了解哪些想法可以帮助改善用户体验,哪些不能帮助改善用户体验。 测试有助于您进行用户体验创新。
当您专注于长期胜利时,即使从纸面上看起来不太成功的 A/B 测试中,您也会从中学到很多东西。 下面我们将告诉您一些步骤,以采用一种全新而精致的方法来进行整体实验。
集思广益
激励组织中的每个人贡献测试想法,而不局限于某些角色和职位。 您可以从您从未想过贡献的人那里获得下一个最佳测试想法。
你的小猫已经有一些成功的测试了吗? 与您的利益相关者分享结果。 例如,向他们展示优化网络表单如何将免费增值订阅增加 20% 或 30%。 或者,如果您有一个测试,您通过迭代测试导致了一个大赢家,请分享一些测试如何进行耐心测试但完全值得最终结果。
这样,您还可以激励您的团队成员对实验产生兴趣,并使其成为他们工作中不可或缺的一部分。 这种群众参与对于转向实验文化是必要的。
VWO 可以帮助您完成这个构思之旅。 如何? VWO Plan 是一项有用的功能,可以让团队协作变得轻而易举。 它提供了一个集中式存储库,您可以在其中添加与特定测试相关的所有注释、观察结果、见解和想法。 这有助于以结构化的方式构建数据支持的假设,使每个团队成员都能了解与所有测试相关的更详细信息。
此外,您可以随时参考我们的检查清单,了解为维护实验质量而需要做的所有事情。 你在完成测试时表现得越巧妙,你就越能告诉你的员工效仿。
加强你的假设
实验要么验证要么反驳你的假设。 如果你的假设是错误的,你的现状仍然是一个强大的执行者怎么办? 这不是某种意义上的胜利吗? 你是一个 A/B 测试,远离验证你控制背后的假设和避免一个坏主意的传播。
假设您从结帐页面中删除了折扣代码和促销代码字段以减少对用户的干扰,希望让他们无缝结帐。
但与您的预期相反,您从数据中看到删除这些字段导致结帐页面的流失率增加。 这会让您相信用户可能想要享受折扣,因此希望在整个网站旅程中看到这些元素。
使用您通过 A/B 测试获得的有关您网站上客户行为的所有知识来为您的假设创建过程提供信息。 回到我们的示例,看到您的用户在之前的测试中放弃搜索折扣代码或比较第三方网站上的产品,您可以围绕在网站上提供此类信息来构建测试想法,以提高结账和购买完成度。
关键在于将实验视为一个集成过程,而不是将每个 A/B 测试都视为孤岛。
VWO Plan 派上用场,因为它允许您记下用户行为分析的观察结果,根据这些观察结果创建假设,以及管理和优先测试想法。 将所有必要的详细信息集中在一个地方,您可以通过假设仪表板上的进度视图跟踪所有假设。
选择合适的样本量
要从 A/B 测试中获得具有统计意义的结果,您必须在获得足够流量的页面上运行这些测试。 如果样本量较小,您将不得不花很多时间让测试具有统计显着性。
我们建议您在开始测试活动之前解决这个问题。 怎么做? 试试 VWO A/B 测试计算器。 免费!
除此之外,基于贝叶斯推理的 VWO SmartStats 使您在很大程度上免除了需要最小样本量的麻烦。 只需输入访问者数量和转化次数以进行控制和变化以计算显着性。
充分利用平台特性和功能
人们经常看到,营销人员并未充分利用其 CRO 平台上的所有功能。
例如,在 VWO 中,您可以使用自定义维度进行报告过滤后细分。 这使您可以更深入地了解不同用户群在测试活动中的行为方式。 但如果您不知道它的用例和目的,您将无法释放它对您的 CRO KPI 施展的魔力。
如果你选择了VWO,你一定也知道它的能力之一也是访客行为分析。 您不应该将自己局限于测试; 相反,您必须探索其他 VWO 功能才能使您的整个优化程序更上一层楼。
评估报告
评估 A/B 测试结果时,不要再想“赢”了。 您必须将实验视为发现和学习如何优化未来广告系列效果的旅程。 只有当您以正确的方式阅读或评估实验结果时,才有可能获得很好的学习成果。
以下是您在运行测试后可以问自己的几个问题:
- 不同的用户群对变化有何反应?
- 哪些变体最适合现有用户或新用户?
- 这个假设与之前的假设有何不同?
- 我们是否发现了未来的任何其他测试机会?
这些问题的答案应该指导您的后续步骤——无论您是想运行迭代测试以获得更精细的数据,还是需要在更大的营销策略中为新想法腾出空间。
如果您使用 VWO 进行 A/B 测试,则很容易深入到细节。 您不仅可以通过研究每个变体的特定指标来查看所有变体的效果,还可以使用图表比较它们的转化率。 即使您的 A/B 测试失败了,您也可以使用自定义维度的功能来查看此结果是否在所有用户细分中都一致,或者是否有任何特定细分对测试反应良好。 这也可以构成您下一个个性化活动的基础——您可以使用此测试验证的更改来定位此特定细分市场。 由于 VWO 是一个集成平台,所有这些发现相互反馈,一切都通过一个仪表板进行管理。 参加全包式免费试用以了解实际效果。
让我们用一个例子来解释自定义维度是如何工作的。
想象一下,您想突出显示已上市并开始在您的电子商务商店销售中性运动鞋的顶级品牌。
您认为在您的网站主页上添加展示顶级品牌男女通用运动鞋的旋转木马会激起访问者对该系列的兴趣,甚至促使他们购买。
因此,您想运行测试并跟踪轮播中“立即购买”CTA 按钮的点击次数。
然而,您看到测试表现不佳,因为可能轮播图片不吸引人,底部的单选按钮不突出,或者 CTA 文案没有说服力——原因可能是任何原因。
但是随后您决定对报告进行切片和切块,并希望在粒度级别研究访问者与元素的交互。 现在您会看到该变体对 22-28 岁的女性表现更好。
基于这一观察,您可以决定向来自对运动鞋感兴趣的上述年龄段的女性访客发送提供折扣或促销代码的个性化电子邮件通讯。 或者,您可以仅针对该特定客户群使用轮播个性化登录页面。
在 VWO 自定义维度的帮助下,这句话——当一扇门关闭时,另一扇门打开——在这种情况下变得生动起来。
采用实验思维并取得成功的公司
了解 Paperstone 的“永不放弃”测试方法如何增加收入
这家总部位于英国的办公用品公司与许多销售类似产品的大公司和小公司展开竞争。 Paperstone 使用 VWO 优化其网站并提供一流的用户体验,以在竞争中保持领先地位。
通过一项用户调查,该公司发现他们的客户和潜在客户期望批量折扣。 但考虑到业务的竞争性,利润率已经很微薄了。 只有当平均订单价值增加时,批量折扣才会起作用。
因此,他们提出了一个假设,即对某些产品提供折扣可以提高他们网站的利润率。
虽然控件没有显示批量折扣,但变体显示了批量购买流行产品的折扣。
虽然原本以为亮黄色的团购丝带会吸引用户的眼球,但用户却完全无视了。 最初的失败使 Paperstone 重新考虑其整个批量折扣测试策略。 但他们最终进行了另一次迭代,他们决定运行更长时间的测试,测试更多的访问者,以获得具有统计意义的结果。
使用相同的假设,这一次该公司使用 VWO 来跟踪收入。 有趣的是,变化优于控制,AOV 增加了 18.94%,批量折扣优惠的 AOV 增加了 5%,收入增加了 16.85%。
POSist 的迭代测试策略使他们发现了最佳变体中的最佳变体
作为基于 SaaS 的餐厅管理平台,POSist 的目标是增加免费演示的注册数量。 该团队希望控制网站主页和联系页面的流失,因为这两个页面在他们的网站转换渠道中发挥着关键作用。 鉴于这些原因,POSist 求助于 VWO 并开始了其优化之旅。
POSist 使用 VWO 运行了 2 个主页测试。 在第一个测试中,该团队通过加入吸引人的标题和减少滚动长度来修改主页上的首屏内容。 该变体增加了对联系页面的访问,转化率为 15.45%,比对照的 13.25% 提高了 16%。
对于第二个测试,他们添加了自定义徽标、推荐和“为什么 POSist”部分。 此外,他们将产品分为两部分——升级和过渡——针对转向销售点 (POS) 软件应用程序的潜在客户和首次购买者。
采用迭代方法进行测试,POSist 将此变体与先前测试的获胜变体进行了测试。 新变体仅在一周内就将联系页面的访问量增加了 5%! 因此,这个主页变体在他们的网站上上线了。
在对主页进行排序后,该团队研究了来自 VWO Form Analytics 的定量数据,并推断减少联系表格的宽度可以提高注册转化率。 变化产生了 11.26% 的转化率,比对照的 9.37% 提高了 20%。
但正如他们对主页所做的那样,POSist 创建了一个更注重转化的联系页面,并针对变体 1 对其进行了测试。该测试导致转化率提升了 7%,而两个联系页面测试将转化率加起来提高了 12% .
这样,公司在一个月内多获得了 52% 的潜在客户! 这表明迭代测试可以帮助您优化有助于改善用户体验的每一个小差距。 正是这种对迭代测试的承诺将实验融入了组织的文化中。
不要停下来,而是调整你的测试计划
我们在成长过程中阅读的所有关于成功的“永不放弃”名言都应该像在现实生活中一样在实验中付诸实践。 如果您希望从长远来看专注于大企业的胜利。 因此,获得有意义的见解应该是您运行的每个测试背后的主要目标,无论它产生的结果如何。
但要自信地走这条路,请确保您拥有一个可靠的 CRO 工具供您使用。 VWO 是公认的最佳工具,凭借其强大的功能和易用性,可以帮助您在组织的价值体系中进行实验。 因此,下次您测试一个想法时,期待学习并做出更明智的业务决策。 测试愉快!