移动应用程序 A/B 测试入门? 这是您可以立即尝试的想法
已发表: 2023-04-19如果您想开始试验您的移动应用程序,那么这就是您需要的文章。 目的是让您在本文结束时熟悉创建假设、测试变体以及测量和实施更改。 因此,所讨论的想法和示例简单易行。
您可以尝试的移动应用实验类型
让我们看看对应用程序用户体验有显着影响的前四项实验,并使用真实示例展示如何在 VWO 中尝试它们。
1.搜索实验
注意力持续时间较短的用户很容易分心,如果障碍物太多,可能不会采取行动。 鉴于移动设备上的屏幕空间有限,包含大量菜单或各种过滤器以帮助在应用程序内导航是不切实际的。 因此,整合和优化搜索功能对于提高产品或功能的知名度并确保移动应用程序的适当展示是必要的。
要跟踪的指标
假设您已经在考虑优化应用搜索,请密切关注以下一些指标:
- 搜索退出率
- 选择搜索中显示的项目的用户数量
- 没有结果的搜索次数
这些指标可以在 VWO 中轻松定义。 从这些数据中得出的见解将使您清楚地了解您的应用程序的搜索性能目前处于什么位置以及落后的位置。
通过定性行为研究深入了解用户洞察
为了提供更深入的观察,用定性研究补充定量数据可能很有价值。 为此,热图被广泛使用(和喜爱),这是有充分理由的。 假设您发现搜索结果的点击次数有所下降。 可能有以下几个原因:
- 搜索结果不相关
- 结果顺序不个性化
- 搜索后显示的项目数太少
VWO 即将推出的 Mobile Insights 产品可以轻松利用会话记录和热图或滚动图来更深入地研究用户行为并确定需要优化的内容。 借助 VWO Mobile Insights,您可以找到以下问题的答案:
- 访问者如何使用搜索功能? (例如,寻找类别与特定产品)
- 自动完成会影响转化吗?
- 显示他们的搜索历史是否能有效提高以前购买的商品的销量?
- 是什么导致他们的搜索体验出现摩擦?
您可以尝试的示例
您可以根据您的观察通过 A/B 测试来制定和验证假设。
如果您想知道从哪里开始,这里有一些您可以参考的真实示例以获取灵感。
示例 1 – 按类别搜索结果
应用搜索的一些最佳实施是在 Instagram 和 YouTube 等社交媒体网站上进行的。 当您开始在 Instagram 搜索栏上输入内容时,您会看到按帐户、音频、标签、地点等类别组织的结果。Instagram 和 YouTube 会显示搜索历史记录,让用户可以一键式访问以重试之前的搜索短语。
示例 2 – 包含产品建议的搜索结果
美国电子商务平台 GOAT 实施了一项令人印象深刻的搜索功能,使用户能够快速找到他们需要的东西。 当您单击底部导航栏上的搜索图标时,它会显示一些要浏览的产品类别,并在页面中填充所选类别下的项目。 当您单击搜索栏并开始输入内容时,您可以看到带有相应文本和图像的产品建议。
可以设计的测试
因此,假设您想提高搜索结果的点击率。 您可以根据上述示例测试以下两个假设,以满足上述目标。
测试 1创意
假设 1:将搜索结果分组到不同类别(如人物、地点和群组)下将提高用户参与度。
控制:搜索结果显示为产品列表。
变体:搜索结果与“分组依据”过滤器一起显示。
测试 2想法
假设 2:将图片与搜索结果一起显示将提高产品建议的点击率。
控制:显示只有文本的产品建议的结果。
变体:显示包含文本和图像的产品建议的结果。
只需几个步骤,您就可以在 VWO 的移动 A/B 测试平台上快速实施此类测试。 例如,下面的视频演示了基于假设 1 为使用 Java 构建的 Android 应用程序创建测试所涉及的步骤。 VWO 还支持 Flutter、Cordova 和 React-Native 等框架。
VWO 幕后
VWO为 iOS、Android 和所有流行的后端语言提供轻量级 SDK 。 添加移动应用程序 SDK 是一个一次性集成过程,之后 VWO 生成 API 密钥,您可以使用这些密钥对 iOS 和 Android 应用程序进行应用程序初始化。 如果您需要详细的步骤说明,可以参考这份综合指南。
因此,您已经创建了变体、添加了转化目标并启动了移动应用程序测试。 下一个关键步骤是分析测试结果并从中提取见解。 VWO 的SmartStats 引擎,基于贝叶斯统计,进行繁重的计算,并将精确的测试结果呈现为易于使用的报告,您可以分析这些报告以得出可操作的见解。 VWO 的报告非常全面,允许您按日期和访问者细分过滤结果,甚至可以比较测试中多个目标的表现。
2.导航实验
导航是构建起来最棘手的事情之一,因为它涉及多种复杂性,例如分组、设计和功能发现的难易程度。 专家建议使用“树测试”来帮助为您的应用程序上的“可查找”内容设置基准。 这是一项针对用户进行的封闭测试,旨在了解他们在应用程序中找到内容的速度有多快。 本文是帮助您开始使用 Tree Tests 的好文章,也是设计实验以改进导航的重要的第一步。
要跟踪的指标
就像我们为改进搜索所做的实验一样,这里有一些您必须密切关注的指标
- 物品可寻率
- 寻找功能或产品所花费的时间
- 用户第一次点击就正确的次数
- 寻找时间的可变性
通过将这些指标的性能与定性研究见解相结合,您可以确定增强应用程序导航的有效策略。
您可以尝试的示例
示例 1 – 卡片导航
如果您正在寻找导航灵感,我最喜欢的一款是 Calm,一款冥想应用程序。 他们的布局类似于一系列的门,每扇门都是一个入口。 这些卡片进一步细分为“心理健康”、“推荐收藏”、“快速简单”等类别。 汉堡菜单可以替代这种导航风格,但由于其可发现性低,用户点击次数减少,它的使用已经减少。 相反,卡片式导航因其用户友好的设计而越来越受欢迎。
示例 2 – 简单的标签导航
谷歌地图是另一个具有用户友好导航的应用程序。 输入位置后,您会看到方向、共享和保存位置等选项,这些选项以易于察觉的过滤器按钮的形式出现。 此外,您还可以找到常用设施作为筛选按钮,帮助您探索输入位置附近的餐厅、购物中心、ATM 和公园。 Google 地图导航很简单,可以帮助人们充分利用该应用程序。
可以设计的测试
提高导航产品的点击率通常是电子商务所有者试图改善其应用程序导航体验的主要目标。 如果这也是您想要做的,这里有两个假设要测试:
测试 1创意
假设 1:用基于卡片的导航块取代汉堡菜单将提高转化率。
控制:汉堡菜单显示不同的产品类别供用户浏览。
变体:以卡片布局格式显示的产品类别。
测试 2想法
假设 2:显示日常用例的筛选按钮将导致用户更快地找到相关信息并更频繁地使用它们。
控制:功能搜索栏保留在应用程序的顶部,没有过滤器按钮。
变体:搜索栏位于顶部,日常用例的过滤器按钮位于屏幕的顶部和底部。
如果您希望同时运行这两个测试,您可以使用 VWO 这样做而不必担心数据偏斜。 VWO 有能力在移动应用程序上运行互斥测试。 这确保参与一个活动的移动应用程序用户不会参与属于互斥组的另一个活动。 您可以通过将多个活动添加到互斥组来实现此目的,以确保访问者不会在任何活动中重叠。 在 VWO 上创建互斥组可确保您的移动应用程序提供一致的体验,并且一个活动的结果不受另一个活动的影响,从而将转化归因于正确的活动。
3.入职实验
应用程序入门体验随着您的产品、类别、受众、目标等的发展而发生最大变化。 虽然入职体验会根据您的产品功能而发生巨大变化,但所有好的产品都有一些共同点。 他们:
- 恢复应用程序的价值主张
- 让用户熟悉功能和优势
- 鼓励成功采用该应用程序
- 最大限度地减少客户从使用您的应用程序中获得他们想要的价值所花费的时间
因此,如果您想改善您的应用优化体验,最好先找到一些相关问题的答案:
- 我们的应用程序上线过程是否太长?
- 人们什么时候在入职过程中意识到价值?
- 入职流程中的哪些步骤应该是可选的?
- 用户是否寻求入职帮助和支持?
要跟踪的指标
为了有效地支持您的目标和讨论,依赖数据并允许它们引导您的测试路线图是必不可少的。 跟踪下面列出的基本指标可能会有所帮助:
- 入职完成率
- 实现价值的时间(从您的应用程序开始使用到获得第一个价值之间的时间)
- 激活率反映了新用户如何看待您的应用
- 特定时期内生成的入职支持工单数量
您可以尝试的示例
让我们讨论一些可以激发您测试和改进应用程序入门流程的示例。
示例 1 – 入职流程中的多个登录选项
你想知道在用户入职期间是否应该提供电子邮件、社交登录或两者都提供吗? 美国的送餐平台 Every Plate 允许用户选择两种登录方式中的任意一种。
示例 2 – 多步骤入职流程
您应该在您的应用程序入职流程中包括多少步骤? 看看 Duolingo 如何取得成功——证明精心设计的多步骤入职流程可以在不失去用户兴趣的情况下取得成功。 语言学习应用程序会显示一系列屏幕,在入职期间向用户询问几个(但相关的)问题,以改善他们的学习体验。
可以设计的测试
您想知道有多少人完成了入职流程或提出了多少支持票吗? 您可以通过尝试以下测试想法来跟踪这些目标。
测试 1创意
假设 1:提供社交登录和电子邮件可以在步骤 1 中带来更好的转化
控制:只需电子邮件/电话登录
变体:电子邮件登录 + Google + Facebook
测试 2想法
假设 2:在入职期间显示进度条会促使用户完成入职流程。
控制:一个多步骤的入职流程,没有进度条。
变体:一个多步骤的入职流程,每个入职屏幕的顶部都有一个进度条。
使用像 VWO 这样的工具,您可以根据各种参数(如技术、访问者类型、时间等)为您的测试自定义目标受众。您可以从细分库中选择一个目标细分或创建一个自定义细分。
在前面的测试示例的上下文中,假设用户研究表明用户不愿意输入他们的电子邮件和密码并且更喜欢更灵活的登录选项。 根据这项研究,您可以首先瞄准缓慢市场(例如墨西哥)中的用户,看看提供社交登录选项是否会产生积极响应并增加完成第一个入职步骤的用户数量。 为此,您可以转到自定义细分以添加条件并选择相应的属性(国家/地区)和值(墨西哥)。
此外,您可以使用“AND/OR”运算符进行更精确的受众选择。 例如,假设您的学习应用程序主要针对墨西哥的职业中期专业人士。 在这种情况下,您可以选择自定义变量选项,并在名称字段中输入“年龄”,并在值字段中输入年龄段(例如 35-45 岁)。 然后,您可以选择两侧的括号并选择“与”操作。 或者,如果您想跟踪任何一组的表现,您可以在观众选择中使用“或”运算符。
如果您想了解更多信息,可以阅读一篇关于自定义细分的简短文章。
4.定价实验
提供折扣或优惠券对于促进销售和吸引客户使用您的应用程序是必要的。 但是您如何确定您的定价策略正在帮助您的业务增长呢?
将价格定得太高可能会赶走顾客,而定得太低可能意味着错失收入。
要跟踪的指标
要确定您的定价是否有效,请分析您应用的以下收入相关指标:
- 生命周期价值——每位用户从安装您的应用程序时产生的收入
- 购买频率 – 用户在给定时间内的平均购买次数。
- 每次安装成本——通过付费广告获取新用户所支付的价格。
这些指标可以在 VWO 中配置。 如果您认为这些数字不符合您的预期,可能是时候考虑 A/B 测试定价计划了。 这样做可以帮助您在不冒损失风险的情况下最大化收入。
您可以尝试的示例
示例 1 – 向订户提供折扣年度定价
Strava 是一款流行的健身应用程序,要求其用户支付月度或年度订阅费才能使用其高级功能。 客户可以选择按月或按年计费周期,后者可能会节省开支。 这种折扣可能会激励用户选择年度计划。
示例 2 – 显示有时间限制的动态定价
小心! 是一款流行的游戏,玩家将移动设备举到额头上,并根据朋友的线索尝试猜测屏幕上出现的单词或短语。 请注意原始价格是如何被划掉的,并显示了时间限制以营造紧迫感并鼓励用户迅速采取行动。
您可以根据这些定价显示方法创建有效的应用测试。
可以设计的测试
假设您想增加应用的交易/付费订阅数量。 以下是您可以尝试的测试思路。
测试 1想法
假设 1:显示订阅计划的潜在节省将鼓励用户选择时间更长的计划。
控制:包月计划和包年计划。
变化:月度和年度订阅对于上述两个计划都有潜在的节省。
测试 2想法
假设 2:紧迫感和划掉原价等心理策略可以增加选择此折扣优惠的用户数量。
控制:写有新价格的简单折扣横幅。
变化:一个充满活力的折扣横幅,原价被划掉,显示折扣价,还有一个计时器指示优惠的可用性。
让我们探索一种更高级的方法,称为多臂老虎机 (MAB),用于我们之前讨论的其中一个实验,例如受 Heads Up 示例启发的折扣测试。 与我们之前讨论的 A/B 测试不同,多臂老虎机方法稍微复杂一些,涉及不同的方法。
假设您有一个时间敏感的折扣优惠,其中包含多个要测试的变体,您需要尽快确定效果最好的变体,以最大程度地减少机会损失。 与专注于确定最佳变体的 A/B 测试不同,MAB 专注于更快地获得更好的变体。 当优化窗口较小时,MAB 更适合最大限度地减少定价、折扣、订阅等方面的机会损失。在这种情况下,获得次佳变体服务但未转化的访问者构成收入机会损失,因为他们可能已经如果它们是获胜变体的一部分,则转换。 您可以在此处了解有关 VWO 上的 MAB 的更多信息。
通过很棒的测试想法加速您的应用程序成功!
我们希望您发现本文中讨论的 A/B 测试想法对您有所帮助。 然而,伟大的想法只有在正确实施时才会有益。 因此,如果您正在寻找一个提供全面功能的平台,例如轻量级 Android/iOS SDK、对多种语言的 24*7 技术支持、选择自定义受众进行测试的能力,并为您提供可靠的实时报告, VWO Mobile App Testing 应该是您的首选。 此外,随着 Mobile Insights 全面发布的临近,您可以更深入地了解用户行为,改进转化指标,最重要的是,提升应用的整体用户体验。 申请免费演示,了解 VWO 如何改善您的移动应用程序用户的旅程。