移动 A/B 测试：您需要避免的 7 个大错误和误解

营销总体上很大程度上依赖于数据，这已经不是什么秘密了。 这同样适用于移动营销和用户获取。 在这个领域，为 App Store 和 Google Play 选择正确的产品页面元素可以对应用程序或手机游戏的成功产生至关重要的影响。 移动 A/B 测试是一种有助于根据数据做出选择的工具。

然而，我们有多少次听到 A/B 测试没有带来预期结果的争论，或者有人不确定他们是否正确地进行了移动实验？ 这通常是由于一些常见的错误和对数据的误解而发生的。 在这篇文章中，我将介绍移动应用 A/B 测试中最大的错误和误导性结论，了解这些将帮助您取得成功。

1. 在获得合适的流量之前完成实验

这是移动 A/B 测试中最常见的错误之一。 如果您是经典 A/B 测试的拥护者，则在获得必要的流量（样本大小）之前完成实验存在风险，您将获得统计上不可靠的结果。

要获得可靠的证据，您需要等到 A 和 B 变体都达到所需的流量。

如果您正在寻找经典选项的替代方案，请使用顺序 A/B 测试。 您将需要开始与指定的基线转化率（当前的变化的转换率），统计功率（80％默认情况下），显着性水平和最低检出效应（MDE） -这将帮助您确定样本规模。

显着性水平默认为 5%，即误差幅度不会超过 5%。 您可以与MDE一起自定义此值 -您希望看到的最小预期转化率增长。 注意：不要在开始实验后更改显着性水平、MDE 或统计功效。

通过顺序 A/B 测试，该算法将不断检查您在显着性水平和剩余流量方面的变化，直到实验完成。 这就是它在我们的 SplitMetrics A/B 测试平台上的工作方式。

经验教训：如果您运行经典的 A/B 测试，请在达到正确的流量之前不要完成实验。 或者，尝试顺序 A/B 测试，您将可以随时检查结果。

2. 7天前完成实验

为什么至少要等7天？ 好吧，各种应用程序和手机游戏会在一周中的不同天体验活动高峰。 例如，商业应用程序在星期一观看活动的爆发，而游戏在周末最受用户欢迎。

为了从移动 A/B 测试实验中获得可靠的结果，您应该在实验期间捕获应用程序的高峰天数。 否则，您将冒着妄下结论的风险。

例如，您为任务管理应用程序运行测试。 你在周三开始实验，周六完成。 但是您的大多数目标受众都在周一使用您的应用程序，因此您将错过重点，因为活动激增尚未进入实验期。 反之亦然，从周五到周日，您一直在为您的赛车游戏运行 A/B 测试：在游戏的高峰日。 在这种情况下，结果也会不充分。

因此，即使您已经避免了第一个错误并且在第一天就已经获得了所需的流量，也不要在 7 天后停止实验。

经验教训：由于每个手机游戏或应用程序的活动峰值较弱，因此请勿在完整（7 天）周期过去之前完成实验。

3. 测试设计中的变化太小

移动 A/B 测试中一个更常见的错误是比较由于设计上的微小差异而看起来几乎相同的变体。

如果您正在测试的移动应用程序图标之间的唯一区别是蓝色背景色而不是浅蓝色，或者您在另一个屏幕截图变体中添加了一个小细节，那么您肯定有麻烦了。 用户只是不会注意到如此小的变化。

在这种情况下，两种变化都会显示相同的结果，这是完全正常的。 因此，如果您曾经尝试运行应用商店 A/B 测试但后来放弃了它们，因为变化的表现相同，那么是时候反思哪里出了问题。 也许你的变化看起来几乎一样。

为确保您正在对重大更改进行 A/B 测试，请向您的家人或朋友展示这两个版本。 让您的同事观察每个变化 3-5 秒。 如果他们不知道其中的区别，您最好重新设计您的视觉资产。

经验教训：如果您测试设计更改太小的变体，您应该期望它们会显示相同的结果。 这样的变化对用户来说太微不足道了，所以最好测试彼此明显不同的应用程序图标和屏幕截图。

4.您的横幅广告与应用商店视觉资产之一具有相同的设计

如果您使用第三方移动 A/B 测试工具，例如 SplitMetrics，您购买流量并在广告网络上放置横幅。 关键是这样的横幅不应看起来像您正在测试的视觉资产之一，无论是屏幕截图还是图标上的相同元素。

例如，您为教育应用运行实验。 您设计的横幅具有与变体 A 中的图标相同的元素，而变体 B 则完全是另一个图标。 变体 A 将显示更高的转化率，因为它具有与用户最初看到和点击的横幅相同的设计。

研究表明，如果人们反复看到某样东西，他们的大脑会更快地处理信息，从而产生喜欢的感觉。 你可以在这里读更多关于它的内容。 因此，用户往往会无意识地点击已经熟悉的图像。

经验教训：在处理横幅广告时，尽可能使设计中性。 横幅设计不应与您的应用图标或屏幕截图变体的设计一致。

5.一次测试几个假设

在同一个实验中进行多次更改并对其进行测试是没有意义的。 一些移动营销人员在运行测试后得出错误的结论，因为他们进行了多次更改，实际上无法知道究竟是什么影响了结果。

如果您决定更改应用商店产品页面屏幕截图的颜色，请使用另一种背景颜色创建一个或几个变体并运行测试。 不要同时更改屏幕截图上的颜色、顺序和文本。 否则，您将看到获胜的变体（让它成为变体 B），并且您将不知道它是否是实际起作用的颜色变化。

经验教训：如果您一次测试多个假设，您将无法理解其中哪一个是正确的。

6. 当两个变体相同但您获得胜利时，会误解这种情况

在运行 A/A 测试时，当 A/B 测试工具显示两个相同资产之间的获胜变化时，您可能会感到困惑。 特别是，这对于 Google Play 商店用于运行实验的内置工具来说很常见。

在 SplitMetrics 平台上，在 5% 的显着性水平上，在这种情况下，您会看到结果不显着。

两个完全相同的变化之间的微小差异纯属巧合。 不同的用户反应略有不同。 这就像抛硬币一样：有 50-50 的几率会出现正面或反面，而其中一个变体有 50-50 的几率会显示出更好的结果。

要在这种情况下获得具有统计意义的结果，您应该从绝对所有用户那里获得结果，这是不可能的。

经验教训：如果您在测试相同的资产时获得了成功的变体，那么您的 A/B 测试工具没有任何问题，这只是巧合。 但是，通过顺序 A/B 测试，您会发现结果微不足道。

7. 当新变体输给当前变体时感到不安

一些移动营销人员和用户获取经理在实验表明当前变体获胜时感到失望，这是他们没想到的，并开始将预算浪费在更多付费流量上，希望新变体最终获胜。

如果你的假设没有得到证实，没有理由感到难过。 如果您未经测试就更改了应用商店产品页面上的某些内容，您将失去部分潜在客户，从而损失金钱。 同时，在这个实验上花钱了，你也为知识付费了。 现在您知道什么对您的应用有效，什么无效。

经验教训：任何事情的发生都是有原因的，如果你的 A/B 测试没有证实你的假设，你不应该感到抱歉。 您现在可以清楚地了解哪些资产最适合您的游戏或应用程序。