A/B 测试完整指南：来自 Google、HubSpot 等的专家提示
已发表: 2020-04-10这可能不是您第一次阅读有关 A/B 测试的内容。 您甚至可能已经对您的电子邮件主题行或社交媒体帖子进行了 A/B 测试。
尽管在营销领域有很多关于 A/B 测试的说法，但很多人仍然误解了它。 结果？ 人们根据不正确测试的不准确结果做出重大业务决策。
A/B 测试通常过于简化，尤其是在为店主编写的内容中。 您将在下面找到开始使用不同类型的电子商务 A/B 测试所需了解的所有内容，并尽可能简单地进行解释。
目录
- 什么是 A/B 测试？
- A/B 测试的工作原理
- 什么是 A/B/n 测试？
- A/B 测试应该运行多长时间？
- 为什么要进行 A/B 测试？
- 你应该 A/B 测试什么？
- 优先考虑 A/B 测试想法
- AB测试统计速成课程
- 如何设置 A/B 测试
- 如何分析 A/B 测试结果
- 如何归档过去的 A/B 测试
- 专业人士的 A/B 测试流程
- 为您的业务优化 A/B 测试
什么是 A/B 测试？
A/B 测试，有时也称为拆分测试，是比较同一网页、电子邮件或其他数字资产的两个版本以确定哪一个表现更好的过程。
此过程允许您回答重要的业务问题，帮助您从已有的流量中获得更多收入，并为基于数据的营销策略奠定基础。
了解更多：如何为您的企业进行 SWOT 分析
A/B 测试的工作原理
在营销环境中使用 A/B 测试时，您会展示 50% 的访问者版本 A（我们称之为“控制”）和 50% 的访问者版本 B（我们称之为“变体”）。
转化率最高的版本获胜。 例如，假设变体（版本 B）产生了最高的转化率。 然后，您将宣布它为赢家，并将 100% 的访问者推送到该变体。
然后，变体成为新的控件，您必须设计一个新的变体。
值得一提的是，A/B 测试转化率是衡量成功的不完美标准。 为什么？ 您可以通过免费提供商店中的所有内容来立即提高转化率。 当然，这是一个糟糕的商业决策。
这就是为什么您应该跟踪转换的价值，一直到收银机响起的声音。
免费阅读清单：初学者的转换优化
通过学习转化优化速成课程，将更多网站访问者转变为客户。 在下面访问我们免费的、精选的高影响文章列表。
将我们的转化优化阅读列表直接发送到您的收件箱。
快到了：请在下面输入您的电子邮件以获得即时访问权限。
我们还将通过 Shopify 时事通讯向您发送有关新教育指南和成功案例的更新。 我们讨厌垃圾邮件，并承诺保证您的电子邮件地址安全。
什么是 A/B/n 测试？
通过 A/B/n 测试，您可以针对对照测试多个变体。 因此，您可以向 25% 的访问者显示控件、25% 的第一个变体、25% 的第二个变体和 25% 的第三个变体，而不是向 50% 的访问者显示控件和 50% 的访问者变体。
注意：这与多变量测试不同，多变量测试也涉及多个变体。 运行多变量测试时，您不仅要测试多个变体，还要测试多个元素，例如 A/B 测试 UX 或 SEO 拆分测试。 目标是找出哪种组合表现最好。
您将需要大量流量来运行多变量测试，因此您现在可以忽略这些。
A/B 测试应该运行多长时间？
至少运行一个（最好是两个）完整业务周期的 A/B 测试。 不要仅仅因为你已经达到了意义就停止你的测试。 您还需要满足预定的样本量。 最后，不要忘记以整周的增量运行所有测试。
为什么是两个完整的商业周期？ 对于初学者：
- 你可以解释“我需要考虑一下”的买家。
- 您可以考虑所有不同的流量来源（Facebook、电子邮件通讯、自然搜索等）
- 您可以解释异常情况。 例如，您的星期五电子邮件通讯。
如果您使用过任何类型的 A/B 或登录页面测试工具，您可能对绿色的“统计显着”小图标很熟悉。
不幸的是，对于许多人来说，这是“测试已经完成，就叫它”的普遍标志。 正如您将在下文中了解的那样，仅仅因为 A/B 测试达到统计显着性并不意味着您应该停止测试。
你预定的样本量是多少？ 它并不像看起来那么吓人。 打开一个样本量计算器，就像 Evan Miller 的这个。
该计算表明，如果您当前的转化率为 5%，并且您希望能够检测到 15% 的效果，则每个变体需要 13,533 个样本。 因此，如果是标准 A/B 测试，总共需要超过 25,000 名访问者。
如果您想检测较小的影响，请注意会发生什么：
改变的只是最小可检测效应（MDE）。 它从 15% 下降到 8%。 在这种情况下，每个变体需要 47,127 个样本。 因此，如果是标准 A/B 测试，总共需要近 100,000 名访问者。
无论您是进行 A/B 测试 UX 还是 SEO 拆分测试，都应在测试开始之前预先计算样本量。 即使达到显着性，您的测试也不能停止，直到达到预定的样本量。 如果是，则测试无效。
这就是为什么您不能漫无目的地遵循最佳实践，例如“在 100 次转化后停止”。
为整周增量运行测试也很重要。 您的流量可能会根据一周中的某一天和一天中的时间而变化，因此您需要确保包括一周中的每一天。
为什么要进行 A/B 测试？
假设您在 Facebook 广告上花费 100 美元，将 10 人发送到您的网站。 您的平均订单价值为 25 美元。 其中八名游客没有买任何东西就离开了，另外两人每人花费 25 美元。 结果？ 你损失了 50 美元。
现在假设您在 Facebook 广告上花费了 100 美元，以将 10 人发送到您的网站。 您的平均订单价值仍为 25 美元。 不过，这一次，只有五个游客没有买任何东西就离开了，另外五个人每人花费 25 美元。 结果？ 你赚了 25 美元。
当然，这是更简单的 A/B 测试示例之一。 但是通过提高现场转化率，您使相同的流量更有价值。
A/B 测试图像和副本还可以帮助您发现洞察力，无论您的测试是赢还是输。 这个价值是非常可转移的。 例如，来自产品描述 A/B 测试的文案洞察力可以帮助告知您的价值主张、产品视频或其他产品描述。
您也不能忽视专注于不断提高商店效率的内在价值。
你应该做A/B测试吗？
不必要。 如果您运行的是低流量网站或 Web 或移动应用程序，A/B 测试可能不是您的最佳优化工作。 例如，通过进行用户测试或与客户交谈，您可能会看到更高的投资回报率 (ROI)。
尽管普遍认为，转化率优化并不是以测试开始和结束的。
考虑上面样本量计算器中的数字。 如果您的基准转化率为 5%，则每个变体有 47,127 名访问者来检测 8% 的影响。 假设您要测试产品页面。 它会在两到四个星期内接待近 100,000 名访客吗？
为什么是两到四个星期？ 请记住，我们希望至少运行两个完整的业务周期的测试。 通常，这可以持续两到四个星期。 现在也许你在想，“没问题，Shanelle，我会运行两到四个星期以上的测试，以达到所需的样本量。” 那也行不通。
您会看到，测试运行的时间越长，就越容易受到外部有效性威胁和样本污染的影响。 例如，访问者可能会删除他们的 cookie 并最终以新访问者的身份重新进入 A/B 测试。 或者有人可以从他们的手机切换到桌面，然后看到另一种变化。
从本质上讲，让您的测试运行太久与不让它运行足够长的时间一样糟糕。
对于能够在两到四个星期内满足所需样本量的商店，测试是值得的。 在流量增加之前不能考虑其他形式的优化的商店。
Shopify 的数据科学家 Julia Starostenko 对此表示同意，并解释说：
朱莉娅 Starostenko，Shopify
“实验很有趣！ 但重要的是要确保结果准确。
“问问自己：你的观众够多吗？ 你收集到足够的数据了吗？ 为了获得真正的统计意义（在合理的时间范围内），受众规模需要足够大。”
你应该 A/B 测试什么？
我无法告诉你应该进行什么 A/B 测试。 我知道我知道。 如果我现在可以给你一份包含 99 项测试的清单，那肯定会让你的生活更轻松。 不乏愿意这样做以换取点击的营销人员。
事实是，唯一值得运行的测试是基于您自己的数据的测试。 我无权访问您的数据、您的客户等，也没有人策划那些庞大的 A/B 测试想法列表。 我们没有人能有意义地告诉你要测试什么。
唯一值得运行的测试是基于您自己的数据的测试。
相反，我鼓励您通过定性和定量分析自己回答这个问题。 一些流行的 A/B 测试示例是：
- 技术分析。 您的商店是否在每个浏览器上都能正确快速地加载？ 在每台设备上？ 您可能拥有一部闪亮的新 iPhone 11，但某个地方的某个人仍在使用 2005 年以来的摩托罗拉 Razr。如果您的网站无法正常快速地运行，那么它肯定无法进行转换。
- 现场调查。 当您的商店的访客四处浏览时，这些会弹出。 例如，现场调查可能会询问在同一页面上停留了一段时间的访问者是否有任何阻碍他们今天购买的东西。 如果是这样，它是什么？ 您可以使用这些定性数据来提高您的复制和转化率。
- 客户访谈。 没有什么可以代替打电话和与客户交谈。 他们为什么选择您的商店而不是竞争商店？ 当他们到达您的网站时，他们试图解决什么问题？ 您可以提出一百万个问题，以了解您的客户是谁以及他们真正向您购买的原因。
- 客户调查。 客户调查是针对已经购买的人（而不是访客）进行的全面调查。 在设计调查时，您希望关注：定义您的客户，定义他们的问题，定义他们在购买之前的犹豫，以及识别他们用来描述您的商店的单词和短语。
- 分析分析。 您的分析工具是否正确跟踪和报告您的数据？ 这听起来可能很愚蠢，但您会惊讶于有多少分析工具配置不正确。 分析分析就是要弄清楚访问者的行为方式。 例如，您可能专注于漏斗。 您最大的转化漏斗在哪里？ 换句话说，大多数人从你的漏斗中退出的地方在哪里？ 这是开始测试的好地方。
- 用户测试。 在这里，您可以在付费的受控实验中观看真实的人尝试在您的网站上执行任务。 例如，您可能会要求他们找到 40 到 60 美元之间的视频游戏并将其添加到他们的购物车中。 当他们执行这些任务时，他们会大声讲述自己的想法和行为。
- 会话重播。 会话重播类似于用户测试，但现在您正在与真实的人打交道，他们有真正的金钱和真正的购买意图。 您将看到您的实际访问者浏览您的网站。 他们有什么困难？ 他们在哪里感到沮丧？ 他们在哪里看起来很困惑？
还有其他类型的研究，但首先要为您选择最佳的 A/B 测试方法。 如果您浏览其中的一些，您将拥有大量值得测试的基于数据的想法。 我保证你的清单会给你带来比任何“现在要测试的 99 件事”文章都更有价值的文章。
优先考虑 A/B 测试想法
大量的 A/B 测试想法令人兴奋，但对决定测试什么没有帮助。 你从哪里开始？ 这就是优先级的用武之地。
您可以使用一些常见的优先级框架：
- 冰。 ICE 代表影响、信心和轻松。 这些因素中的每一个都获得 1-10 的排名。 例如，如果您可以在没有开发人员或设计师帮助的情况下轻松地自行运行测试，那么您可能会给轻松 8 分。 你在这里使用你的判断，如果你有不止一个人运行测试，排名可能会变得过于主观。 有一套指导方针来保持每个人的客观性是有帮助的。
- 馅饼。 PIE 代表潜力、重要性和轻松。 同样，每个因素都会获得 1-10 的排名。 例如，如果测试将达到您 90% 的流量，您可以将重要性设为 8。 PIE 与 ICE 一样具有主观性，因此指南也可以对这个框架有所帮助。
- PXL。 PXL 是 CXL 的优先级框架。 它有点不同，更可定制，迫使做出更客观的决定。 您会发现是/否问题和一个易于实施的问题，而不是三个因素。 例如，框架可能会问：“测试是否旨在提高动机？” 如果是，则为 1。如果否，则为 0。您可以了解有关此框架的更多信息并在此处下载电子表格。
现在你知道从哪里开始了，但它也有助于对你的想法进行分类。 例如，在我最近做的一些转换研究中，我使用了三个类别：实施、调查和测试。
- 实施。 去做就对了。 它坏了或很明显。
- 调查。 需要额外思考来定义问题或缩小解决方案。
- 测试。 这个想法是合理的并且有数据依据。 测试它！
在这个分类和优先级之间，你已经设置好了。
A/B 测试统计速成课程
在运行测试之前，深入研究统计数据很重要。 我知道，统计数据通常不是粉丝的最爱，但可以将其视为您勉强毕业的必修课。
统计数据是 A/B 测试的重要组成部分。 幸运的是，A/B 测试工具和拆分测试软件使优化器的工作变得更加容易，但是对幕后发生的事情的基本了解对于以后分析测试结果至关重要。
HubSpot 的增长营销经理 Alex Birkett 解释说：
亚历克斯·伯克特，HubSpot
“统计数据不是转换的神奇数字或二进制'成功！' 或“失败”的事情。 这是一个用于在不确定性下做出决策并通过尝试减少对给定决策结果的模糊性来降低风险的过程。
“考虑到这一点，我认为最有必要了解基础知识：什么是均值、方差、抽样、标准差、均值回归，以及什么是‘代表性’样本。 此外，当您开始进行 A/B 测试时，它有助于设置一些特定的防护机制，以尽可能减少人为错误。”
什么意思？
平均值是平均值。 你的目标是找到一个代表整体的平均值。
例如，假设您要查找视频游戏的平均价格。 您不会将世界上所有视频游戏的价格相加，然后除以世界上所有视频游戏的数量。 相反，您将分离出一个代表世界上所有视频游戏的小样本。
您最终可能会找到几百个视频游戏的平均价格。 如果您选择了具有代表性的样本，那么这 200 款电子游戏的平均价格应该可以代表世界上所有电子游戏。
什么是抽样？
样本量越大，变异性越小，这意味着平均值更可能准确。
因此，如果您将样本从 200 款视频游戏增加到 2000 款视频游戏，您的方差会更小，平均值也会更精确。
什么是方差？
方差是平均变异性。 本质上，变异性越高，预测单个数据点的平均值就越不准确。
那么，平均每个视频游戏的实际价格有多接近？
什么是统计学意义？
假设 A 和 B 之间没有区别，您多久会偶然看到这种效果？
统计显着性水平越低，您的获胜变异根本不是获胜者的可能性就越大。
简单地说，低显着性水平意味着你的“赢家”很可能不是真正的赢家（这被称为误报）。
请注意，大多数 A/B 测试工具和开源 A/B 测试软件都会调用统计显着性，而无需等待达到预定的样本量或时间点。 这就是为什么您可能会注意到您的测试在统计显着和统计不显着之间来回切换。
CXL Institute 创始人 Peep Laja 希望更多人真正了解 A/B 测试的统计意义及其重要性：
Peep Laja，CXL 研究所
“统计显着性不等于有效性——它不是一个停止规则。 当您达到 95% 或更高的统计显着性时，在满足其他两个更重要的条件之前，这意味着很少：
“1。 有足够的样本量，您可以使用样本量计算器计算出来。 意思是，足够多的人参与了实验，因此我们可以得出任何结论。
“2。 测试已经运行了足够长的时间，因此样本具有代表性（并且不会太长以避免样本污染）。 在大多数情况下，您需要进行两、三或四个星期的测试，具体取决于您获得所需样本的速度。”
什么是均值回归？
您可能会在 A/B 测试开始时注意到极端波动。
回归均值是这样一种现象，即如果某物在第一次测量时出现极端情况，那么在第二次测量时它可能会更接近平均值。
如果您调用测试的唯一原因是因为它达到了统计显着性，那么您可能会看到误报。 随着时间的推移，您的获胜变化可能会回归到平均值。
什么是统计功效？
假设 A 和 B 之间存在差异，您多久会看到一次效果？
功率级别越低，获胜者未被识别的可能性就越大。 功率级别越高，获胜者未被识别的机会就越低。 实际上，您需要知道的是，对于大多数 A/B 测试工具和/或任何拆分测试服务来说，80% 的统计能力是标准的。
Online Dialogue 创始人 Ton Wesseling 希望更多人了解统计功效：
Ton Wesseling，在线对话
“很多人担心误报。 我们更担心假阴性。 为什么要进行实验，以证明你的积极变化产生影响的机会非常低？”
什么是外部有效性威胁？
有一些外部因素会威胁测试的有效性。 例如：
- 黑色星期五网络星期一 (BFCM) 销售
- 正面或负面的新闻报道
- 重大的付费活动启动
- 星期几
- 不断变化的季节
外部有效性威胁影响您的结果的更常见的 A/B 测试示例之一是在季节性事件期间。 假设您要在 12 月进行测试。 主要的购物假期将意味着该月您商店的客流量增加。 您可能会在 1 月发现 12 月的获胜者表现不佳。
为什么？
由于外部有效性威胁：假期。
您基于您的测试决定的数据是异常的。 当事情在一月份稳定下来时，你可能会惊讶地发现你的赢家输了。
您无法消除外部有效性威胁，但您可以通过运行整周的测试来缓解它们（例如，不要在星期一开始测试并在星期五结束），包括不同类型的流量（例如，不要t 专门测试付费流量，然后将结果推广到每个流量源），并注意潜在威胁。
如果您碰巧在 BFCM 等繁忙的购物季节运行测试，或者遇到重大的外部有效性威胁，您可能需要阅读我们的 A/B 测试完整指南。
如何设置 A/B 测试
让我们来看一个 A/B 测试小教程。 在你测试任何东西之前，你需要有一个可靠的假设。 （太好了，我们刚上完数学课，现在开始学习科学了。）
别担心，这并不复杂。 基本上，你需要检验一个假设，而不是一个想法。 假设是可衡量的，渴望解决特定的转换问题，并且专注于洞察力而不是胜利。
你需要 A/B 测试一个假设，而不是一个想法。
每当我写假设时，我都会使用从 Craig Sullivan 的假设工具包中借来的公式：
- 因为你看到[插入数据/研究反馈]
- 您期望 [您正在测试的更改] 将导致 [您预期的影响] 并且
- 您将使用 [数据指标] 来衡量这一点
容易，对吧？ 您所要做的就是填补空白，您的测试想法已经转变为假设。
选择 A/B 测试工具
现在您可以开始选择 A/B 测试工具或拆分测试服务。 通常，您会首先想到 Google Optimize、Optimizely 和 VWO。
都是好的，安全的选择。
- 谷歌优化。 免费，除了一些多变量限制，如果您刚刚开始，这些限制不会对您产生真正的影响。 它在执行 Google Analytics A/B 测试时效果很好，这是一个优点。
- 优化。 即使没有技术技能，也可以轻松启动和运行小型测试。 Stats Engine 可以更轻松地分析测试结果。 通常，Optimizely 是三者中最昂贵的选择。
- 大众汽车。 VWO 具有 SmartStats，使分析更容易。 此外，它还为初学者提供了一个很棒的 WYSIWYG 编辑器。 每个 VWO 计划都附带热图、现场调查、表格分析等。
我们还在 Shopify 应用商店中提供了一些 A/B 测试工具，您可能会觉得它们很有帮助。
选择 A/B 测试工具或拆分测试软件后，请填写注册表并按照提供的说明进行操作。 该过程因工具而异。 但是，通常会要求您在您的网站上安装一个片段并设定目标。
如何分析 A/B 测试结果
还记得我说过写一个假设将重点从胜利转移到洞察力吗？ 谷歌分析倡导者和产品经理 Krista Seiden 解释了这意味着什么：
克里斯塔·赛登，谷歌
“A/B 测试最容易被忽视的方面是向你的失败者学习。事实上，在我运行的优化程序中，我养成了发布‘失败报告’的习惯，我会在其中指出一些最大的失败者季度以及我们从他们那里学到的东西。
“我一直以来最喜欢的一个活动来自一个酝酿了几个月的活动。 我们能够在它即将上线之前潜入登陆页面测试，这是我们所做的一件好事，因为它失败了。 如果我们真的按原样启动了该页面，我们就会对底线造成重大打击。 我们不仅最终为企业节省了大量资金，而且我们能够深入研究并做出一些假设（我们后来测试过）为什么新页面表现如此糟糕，这使我们成为更好的营销人员和更成功的人在未来的竞选活动中。”
如果您正确地制定假设，即使是失败者也是赢家，因为您将获得可用于未来测试和其他业务领域的见解。 因此，当您分析测试结果时，您需要关注洞察力，而不是测试是赢还是输。 总有一些东西要学习，总有一些东西要分析。 不要解雇失败者！
如果你正确地提出你的假设，即使是失败者也是胜利者。
这里要注意的最重要的事情是需要分段。 一项测试总体上可能是失败者，但它很可能在至少一个部分中表现良好。 我所说的分段是什么意思？
- 新访客
- 回头客
- iOS 访问者
- 安卓访客
- Chrome 访问者
- 野生动物园游客
- 桌面访问者
- 平板电脑访客
- 自然搜索访问者
- 付费访客
- 社交媒体访问者
- 已登录的买家
你明白了，对吧？
当您查看测试工具中的结果时，您正在查看整盒糖果。 你需要做的是按颜色区分聪明人，这样你就可以最后吃红色的了。 我的意思是，这样您就可以发现更深入的、细分的见解。
奇怪的是，该假设在某些细分市场中被证明是正确的。 这也告诉你一些事情。
分析不仅仅是测试是赢家还是输家。 细分您的数据，以发现表面之下隐藏的洞察力。
A/B 测试工具不会为您进行分析，因此随着时间的推移，这是一项重要的技能。
免费电子书：面向初学者的电子商务分析
找出哪些指标是建立和发展在线业务的关键。 这个免费指南是学习电子商务分析的完美第一步。
将面向初学者的电子商务分析直接发送到您的收件箱。
快到了：请在下面输入您的电子邮件以获得即时访问权限。
我们还将通过 Shopify 时事通讯向您发送有关新教育指南和成功案例的更新。 我们讨厌垃圾邮件，并承诺保证您的电子邮件地址安全。
如何归档过去的 A/B 测试
假设您明天进行第一次测试。 两年后的明天，你还记得那次测试的细节吗？ 不见得。
这就是归档 A/B 测试结果很重要的原因。 如果没有维护良好的档案，您获得的所有见解都将丢失。 另外，我不骗你，如果你不存档，很容易测试两次相同的东西。
但是，没有“正确”的方法可以做到这一点。 您可以使用 Projects 或 Effective Experiments 之类的工具，也可以使用 Excel。 这完全取决于您，尤其是当您刚刚开始时。 只要确保您跟踪：
- 假设
- 控制和变化的截图
- 不管是赢了还是输了
- 通过分析获得的见解
随着您的成长，您会感谢自己保留此档案。 它不仅会帮助您，还会帮助新员工和顾问/利益相关者。
专业人士的 A/B 测试流程
现在您已经完成了标准 A/B 测试教程，让我们来看看 Google 和 HubSpot 等公司的专业人士的确切流程。
免费阅读清单：初学者的转换优化
通过学习转化优化速成课程，将更多网站访问者转变为客户。 在下面访问我们免费的、精选的高影响文章列表。
将我们的转化优化阅读列表直接发送到您的收件箱。
快到了：请在下面输入您的电子邮件以获得即时访问权限。
我们还将通过 Shopify 时事通讯向您发送有关新教育指南和成功案例的更新。 我们讨厌垃圾邮件，并承诺保证您的电子邮件地址安全。
克里斯塔·赛登，谷歌
我的 web 和应用程序 A/B 测试的逐步过程从分析开始——在我看来，这是任何好的测试程序的核心。 在分析阶段，目标是检查您的分析数据、调查或用户体验数据，或您可能拥有的任何其他客户洞察力来源，以了解您的优化机会在哪里。
一旦您从分析阶段获得了良好的想法，您就可以继续假设可能出现的问题以及您如何可能修复或改进这些优化领域。
接下来，是构建和运行测试的时候了。 确保运行它们一段合理的时间（我默认为两周，以确保我考虑到每周的变化或异常情况），当你有足够的数据时，分析你的结果以确定你的赢家。
在这个阶段花一些时间来分析失败者也很重要——你能从这些变化中学到什么？
最后，您可能只有在花时间为可靠的优化计划奠定基础后才能达到这个阶段，是时候研究个性化了。 这不一定需要花哨的工具集，而是可以从您拥有的有关用户的数据中得出。
营销个性化可以像将正确的内容定位到正确的位置一样简单，也可以像基于单个用户操作的定位一样复杂。 不过，不要一下子就进入个性化位。 确保您花足够的时间首先掌握基础知识。
亚历克斯·伯克特，HubSpot
在高层次上，我尝试遵循这个过程：
- 收集数据并确保分析实施是准确的。
- 分析数据并找到见解。
- 将洞察转化为假设。
- 根据影响和易用性确定优先级，并最大限度地分配资源（尤其是技术资源）。
- 运行测试（根据我的知识和能力遵循统计最佳实践）。
- 分析结果，根据结果执行与否。
- 根据发现进行迭代，然后重复。
更简单地说：研究、测试、分析、重复。
尽管此过程可能会根据上下文而发生偏差或变化（我是否在测试关键业务产品功能？博客文章 CTA？创新与风险缓解的风险状况和平衡是什么？），它非常适用于任何规模或公司类型。
关键是这个过程是敏捷的，但它也收集了足够的数据，包括定性客户反馈和定量分析，以便能够提出更好的测试想法并更好地优先考虑它们，这样你就可以为你的在线商店增加流量。
Ton Wesseling，在线对话
当我们想要优化客户旅程时，我们总是回答的第一个问题是：该产品或服务在哪里适合我们在 Online Dialogue 中创建的 ROAR 模型？ 您是否仍处于风险阶段，我们可以进行大量研究，但无法通过 A/B 测试在线实验验证我们的发现（每月转化次数低于 1,000 次），还是处于优化阶段？ 甚至在上面？
- 风险阶段：大量研究，这将转化为从商业模式枢纽到全新设计和价值主张的任何东西。
- 优化阶段：将优化价值主张和商业模式的大型实验。
- 优化阶段：验证用户行为假设的小型实验，这将为更大的设计变更积累知识。
- 自动化：您仍然有实验能力（访问者），这意味着验证您的用户旅程不需要您的全部测试潜力。 剩下的应该被用来利用，现在更快地成长（而不是专注于长期学习）。 这可以通过运行强盗/使用算法来自动化。
- 重新思考：你停止添加大量研究，除非它是对新事物的支点。
因此，Web 或应用程序 A/B 测试只是 ROAR 优化阶段及以后的一件大事（直到重新思考）。
我们进行实验的方法是 FACT & ACT 模型：
我们所做的研究基于我们的 5V 模型：
我们收集所有这些见解以提出一个主要的研究支持假设，这将导致子假设将根据通过桌面或移动 A/B 测试收集的数据进行优先排序。 假设成立的机会越高，它的排名就越高。
一旦我们了解我们的假设是真是假，我们就可以开始结合学习并通过重新设计/重新调整客户旅程的更大部分来采取更大的步骤。 但是，在某些时候，所有获胜的实现都会导致局部最大值。 然后你需要迈出更大的一步才能达到潜在的全局最大值。
而且，当然，主要的学习内容将在整个公司传播，从而根据您经过验证的第一方见解进行各种更广泛的优化和创新。
您是否向国际受众进行营销？ 了解如何通过伪本地化简化该过程。
朱莉娅 Starostenko，Shopify
实验的目的是验证对现有网页进行更改是否会对业务产生积极影响。
在开始之前，重要的是要确定运行实验是否真的有必要。 考虑以下场景：有一个点击率极低的按钮。 降低此按钮的性能几乎是不可能的。 因此，无需验证对按钮的提议更改（即运行实验）的有效性。
同样，如果对按钮的建议更改很小，则可能不值得花时间设置、执行和拆除实验。 在这种情况下，应该将更改推广到每个人，并且可以监控按钮的性能。
如果确定运行实验实际上是有益的，那么下一步就是定义应该改进的业务指标（例如，提高按钮的转化率）。 然后我们确保适当的数据收集到位。
完成后，观众将在两组之间随机进行拆分测试； one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.
Peep Laja，CXL 研究所
A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.
My process typically looks like this (a simplified summary):
- 使用 ResearchXL 等框架进行转化研究，以确定您网站上的问题。
- 选择一个高优先级的问题（影响大部分用户并且是一个严重的问题），并尽可能多地集思广益来解决这个问题。 将您的转化研究见解告知您的构思过程。 确定您要在哪个设备上运行测试（您需要独立于桌面运行移动 A/B 测试）。
- 确定您可以测试多少种变体（基于您的流量/交易级别），然后选择您最好的一到两个想法来测试针对控制的解决方案。
- 线框精确处理（编写副本，进行设计更改等）根据更改的范围，您可能还需要包括设计师来设计新元素。
- 让您的前端开发人员在您的测试工具中实施处理。 设置必要的集成（谷歌分析），设置适当的目标。
- 对测试进行 QA（损坏的测试是迄今为止最大的 A/B 测试杀手），以确保它适用于每个浏览器/设备组合。
- 开始测试！
- 测试完成后，进行测试后分析。
- 根据结果，要么实施获胜者，迭代治疗，要么去测试其他东西。
免费网络研讨会：
营销101
努力增加销售额？ 在此免费培训课程中了解如何从第一天到首次销售。
为您的业务优化 A/B 测试
你有过程，你有力量！ 所以，走出去，获得最好的 A/B 测试软件，然后开始测试你的商店。 在您不知不觉中，这些见解将在您的银行中增加更多的钱。
如果您想继续学习优化，请考虑参加免费课程，例如 Google 的 Udacity 的 A/B 测试。 您可以了解有关 Web 和移动应用 A/B 测试的更多信息，以提高您的优化技能。