iOS15:A/B 测试你的产品页面

已发表: 2022-02-24

抗体测试
随着 Apple 宣布即将对 App Store 进行一系列更改和改进,这将帮助开发人员更好地将他们的应用程序定位到用户,让更多人发现他们的应用程序,甚至突出他们的应用程序中正在发生什么样的事件以吸引新用户下载应用程序并鼓励现有用户返回。 App Store 将使您能够对应用产品页面的视觉元素进行 A/B 测试,以尝试获得更好的结果并提高应用下载转化率。

App Store A/B 测试将帮助您改进您的 ASO 策略,您将能够在您的 App Store 产品页面上尝试不同的应用程序图标、屏幕截图和预览(视频)。 您还可以比较产品页面的性能,以了解转化率最高的产品。

iOS15新特性如何利用A/B测试?

App Store 的新 A/B 测试功能可让您测试多达 3 个不同的元素。 您将在 App Store Connect 的 App Analytics 部分看到关键 ASO KPI 的结果,例如展示次数或转化率。 您将能够将它们与原始产品页面的性能进行比较。

但是,自定义产品页面 (CPP) 将不包括原生 A/B 测试,但允许移动营销团队手动运行测试。 提醒一下,在新设置下,如果您使用自定义产品页面 (CPP) 并将所有付费 UA 流量驱动到 35 个可用的自定义产品页面之一,则剩余部分流量,自然结束(浏览和搜索流量)将登陆您的默认产品页面。

要了解更多关于 iOS15 移动增长的信息,请查看我们之前文章的“ iOS15 新功能如何推动移动增长? ”。

ASO World 应用排名服务

点击“了解更多”,立即通过ASO World 应用推广服务推动您的应用和游戏业务。

产品页面优化 (PPO)

开发人员很快就会有一种简化的方法来测试对他们的想法集所做的更改。 从历史上看,iOS 开发人员必须将创意更改完全部署到 iOS App Store,然后在部署前后测量流量。 这个过程并不总是能提供最好的洞察力,因为从部署前到部署后,趋势和流量可能会发生显着变化。 产品页面优化将允许直接在应用程序的默认产品页面上实时执行 A/B 测试。

使用产品页面优化,开发人员可以测试各种应用程序图标、屏幕截图和预览视频。 Apple 将允许一次应用三种不同的治疗方法,每次测试的最长持续时间为 90 天。

虽然测试尽可能多的更改可能很诱人,但 Apple 建议限制每次测试的创意更改数量 - 这是任何测试迭代的最佳实践。 通过限制变量,更容易区分哪些特定更改将导致最佳结果。 要查看性能并将其与基线进行比较,开发人员可以在 App Analytics 中访问这些测试。

自定义产品页面 (CPP)

对于 iOS 15 背后的开发者来说,一个令人兴奋的新功能是自定义产品页面。 自定义产品页面是一种管理列表的新颖方式,以便它们同时与不同的人口统计数据相关。 这个新工具将允许开发人员向不同的用户组展示最相关的定位,所有用户都指向同一个应用程序。

Apple 将允许多达 35 个独特的自定义产品页面,每个页面通过不同的屏幕截图、应用程序预览和促销文本提供对各种功能的洞察。 然后,开发人员可以使用将放置在相关广告或第三方推荐中的唯一 URL 将流量吸引到相应的产品页面。

自定义产品页面的性能数据也将在 App Analytics 中提供。 目标页面视图将提供有关印象、应用下载、应用安装转化率和保留率的可操作数据。

应用分析

除了为开发人员提供更多工具来优化他们的性能之外,新的指标将使他们能够以 App Analytics 以前无法提供的方式了解性能。 与谷歌不同,谷歌在 2020 年使用新的 Google Play 开发者控制台更改了许多报告的指标,苹果将在添加新指标的同时保留熟悉的指标,如印象数和应用程序单元数。

开发人员现在将拥有一个专用的预购仪表板,由熟悉的指标(例如区域和设备类型)分隔 - 设备类型现在包括兼容应用程序的 macOS。 在指标选项卡上,可以随时间在折线图上查看预订,以查看预订开始时的参与度,直至发布前一天。

收入是开发人员可以通过 App Analytics 以及“销售”和“应用内购买”查看的另一个新指标。 进一步了解应用程序如何赚取利润可以帮助开发人员更好地了解如何进行优化以提高购买率。

苹果还将在 App Analytics 中添加“更新”和“重新下载”,这两个都是以前未报告的指标。 这将使开发者不仅可以通过“App Units”查看首次下载量,还可以查看总下载量,并能够区分新用户和回访用户。 开发人员最终将不仅可以洞察新用户的参与度,还可以通过更新和重新下载现有用户重新参与来了解持续的现有用户参与度。

要了解更多关于用户参与策略的信息,您可以查看“移动用户参与策略如何推动您的应用业务?” 从我们之前的文章中。

A/B 测试:iOS15 与 Play 商店

自 2015 年 5 月起,Google Play 商店允许开发者通过 Google Play Experiments 进行 A/B 测试,为开发者提供了一个有价值的工具来制定他们的应用商店优化策略。 iOS15 即将推出 A/B 测试,iOS 开发者不再需要部署新版本和比较前后指标来衡量产品页面的变化对产品页面转化率的影响。

然而,尽管看起来令人兴奋,但苹果的 A/B 测试平台与谷歌自己的不同。 随之而来的不确定性很容易导致许多潜在的并发症。 尽早解决这些问题并提前做出相应计划非常重要。 ASOWorld 技术团队预计以下 7 个基本差异供您准备。

1. 数据可用性

A/B 测试是一种定量研究方法。 这意味着每个测试背后的统计数据都是它的生命血液。 如果您收集和分析足够的数据,您将获得可靠的测试结果,以科学地验证或拒绝某些假设。 这些假设背后的想法最终是推动 CRO 的动力。 这就是为什么当 App Store 上的 A/B 测试与 Play Store 相比具有不同数量和形式的数据时,整个 CRO 会发生变化。

以下是您应该注意的最重要的区别。

  • 统计学意义

谷歌为测试结果提供了 90% 的统计显着性水平,而苹果是否会提供可比的东西仍然是个谜。 事实上,他们是否会提供任何置信区间是未知的,因为他们的公告没有提到这个话题(还)。

  • 表现历史

谷歌显示了一个图表,该图表连续映射每个测试变体的超时执行。 如果需要,您可以选择查看过去的表现以获得更详细的见解。

另一方面,苹果没有证据表明他们提供了类似的功能。 他们只提到您可以“在整个测试期间将 [测试变体] 的性能与原始产品页面进行比较”。这种比较是否适用于当前和过去的性能还有待确定。

  • 性能数据的完整性

Google 仅显示测试变体之间的安装次数、扩展安装次数和转化率 (CVR) 差异。 因此,您只能估计它们相互比较的好坏。 相反,Apple 会在 CVR 差异(改进)之上显示每个变体的流量大小(印象数)和准确的 CVR。这意味着您可以调查各个版本或在它们之间进行比较。

2. 资产选择

在 Google Play 上,除 App Title/Name 之外的所有可本地化资产都有资格进行 A/B 测试。 更重要的是,它们包括视觉和文本元素。 这为极其通用的 CRO 策略提供了足够的容量。

相比之下,只有 App Store 上的视觉资产被确定为符合 A/B 测试的条件。 它们是图标、屏幕截图和预览(视频)。 没有提供有关文本资产的进一步见解。

但是,查看产品页面优化和自定义产品页面中允许的不同资产,可能没有。 具体来说,苹果提到了与后者相关的促销文字,但没有提到前者。 以下是要考虑这一事实的因素。

  • Apple 确实考虑了文本资源,并决定允许自定义促销文本。 他们不太可能在开发或发布 iOS 15 功能时忘记它们。 这是 Apple 故意忽略文本资产的 A/B 测试的一个证据。

  • Apple 在 WWDC21、WWDC21 之后以及他们的网站上宣布了针对同一部分的产品页面优化和定制的两个产品页面。 但是,促销文字是专门针对第二个功能列出的。 这是 Apple 故意在 A/B 测试中省略文本资源的另一个证据。

  • 因此,至少有两个证据表明 Apple 不会让我们测试文本资产——至少不会立即在 iOS 15 中测试。

当然,这还有待证实。 但是,当有疑问时,为最坏的情况做准备是最安全的。 如果这被证明是正确的,那么与 Play Store 相比,在 App Store 的 A/B 测试中,您可以选择的资产要少得多。

3. 可定制性

这也与自定义应用商店的存在与 A/B 测试之间的关系有关:虽然您当然可以在自定义 Play 商店列表上运行实验,但在自定义产品页面上是否也是如此仍然是一个挑战。 如果是这样,iOS CRO 的可能性将大大扩展,例如使用“自定义产品页面优化”之类的东西 - 但这是一个很大的“如果”。

事实上,一些证据可能表明情况不太可能如此。 如前所述,促销文字展示了定制产品页面和产品页面优化之间的脱节,因为它可以定制但不能进行 A/B 测试。 另一个证明是 App Icon,它是可测试但不可定制的。 因此,如果 A/B 测试可以在自定义产品页面上运行,应用商店将变得无法容忍的不一致。

这就是问题所在:听起来苹果不允许这样做。 这意味着他们根本不允许这两个功能之间有任何交叉。 因此,可以肯定地说,我们不能期望对自定义产品页面进行 A/B 测试。

虽然促销文字和图标是这两个功能之间的区别,但它们确实在屏幕截图和预览中融合在一起。 如果运气好的话,Apple 会让我们在自定义产品页面上测试这两种资产中的一种,或两者兼而有之。 尽管这种情况听起来很牵强,但它仍然是一个合乎逻辑的可能性,不应过早地排除。

4.图标测试

图标是应用程序的重要视觉资产,它表达了其身份感。 如果有的话,它应该是跨应用商店的一致资产。 不幸的是,这种情况并非如此。
首先,您可以自由上传新图标以仅在 Google Play 上进行测试,而不能在 App Store 上进行测试。 Apple 将要求事先将 Icon 的所有变体(在设备上和商店中)添加到应用程序二进制文件中,并使用新的应用程序版本进行审查。 因此,如果它们被拒绝或延迟,A/B 测试将受到影响。

其次,再次与应用程序二进制要求相关,虽然 Google 允许在设备上和店内资产之间进行独立更改,但 Apple 将在它们之间强制实施某种程度的图标依赖性。 具体来说,如果您通过产品页面优化应用 App Store 图标变体,匹配的设备上图标变体将自动替换原始图标。

5. 可扩展性

本地化是 ASO 的重要组成部分,尤其是对 CRO 而言,这就是为什么能够在本地化产品页面上运行 A/B 测试至关重要的原因。 最重要的是,您可以同时运行的本地化测试越多,您在扩展整体 CRO 方面的效率就越高。

在 Google Play 上,最多允许进行五次此类测试(不包括自定义产品详细信息)。 在 Apple App Store 上,这个数字是未知的。 如果相同,您可以在两个商店以相同的方式扩展 CRO,因此不需要太多调整。 相反,如果一家商店允许同时运行比另一家多得多的测试,则您需要提前计划并考虑它们之间的差异以做出明智的决定。

为什么这很重要? 两个因素。

在标准 ASO 中

如果您可以为您的应用商店升级您的 CRO,您可以快速了解哪些有效,哪些无效。 你学得越多,你的决定就越有根据。 这就是为什么不同的可扩展性会导致不同级别的 CRO 性能。 最终,应用商店之间的资产生产、人力资源、时间和精力将具有不同的价值。 然后应该以不同的方式管理它们。

在不寻常的 ASO 中,例如季节性事件或 COVID-19 大流行等特殊情况。

想象一下,您有 3 个月的时间来测试所有资产的 10 个本地化,然后再启动一项重要且相关的活动。 对于相同的想法或假设,您需要在 Play 商店中进行两轮 5 次本地化实验,以涵盖所有内容。 如果每轮需要三周才能产生具有统计意义的结果,那么您将需要 1.5 个月来完成一个完整的系列。

这意味着三个月的时间框架将允许在发布前测试两个想法。 如果 Apple 允许在相同条件下同时运行的测试少于五个,那么三个月的 10 个本地化就太多了。 您要么需要测试更少的想法,要么需要更少的本地化,要么需要更多的时间。

6. 设置灵活性

您在设置 A/B 测试方面的灵活性程度也会因应用商店而异。 事实上,差异将由两个因素造成。

个人资产

虽然 Google 允许对视觉和文本资产进行 A/B 测试,但 Apple 只允许您测试前者。 这意味着即使您可以将一个想法、概念、信息或假设变成吸引人的副本,您也无法将其设置为测试。 这只有 Google Play 的一半灵活。

资产组合

当多个资产组合在一起时,Google Play 上的测试设置会变得更加灵活。 具体来说,您可能会进行文本-文本、视觉-视觉或视觉-文本组合实验。 在 App Store 上,还可以在测试中组合多个资产(否则 Apple 不会建议我们限制它们)。 但你能做的最好的事情就是只设置视觉-视觉组合实验。

那么当我们不那么灵活时该怎么办? 添加深度。 不使用文本资产进行测试意味着更多地使用视觉资产进行测试。

要了解更多关于 iOS15 自定义产品页面的信息,您可以查看我们之前文章的“如何为 iOS 15 ASO 准备您的 App Store 自定义产品页面 (CPP)?

7. 创作自由

A/B 测试不仅仅涉及影响 CRO 的技术因素。 除了测试的设计、设置和假设之外,它还必须涵盖创意、概念和故事。 这些是转化为有形应用商店资产的内容,您必须在运行任何测试之前上传这些资产。 因此,重要的是要有足够的创作自由,以允许大胆和创新的想法得到测试,进而为 CVR 的增强做出贡献。

当然,Apple 和 Google 允许不同程度的这种创作自由。 在 Play 商店中,测试资产似乎从未受到 Google 的审查。 所有政策和元数据指南都适用于产品细节,而不是产品细节实验。 因此,可以肯定地说,只要您不应用“有风险”的变体,您就可以毫无限制地使用任何合格资产测试几乎任何东西。

如何在 App Store 中设置 A/B 测试

学习比考试更重要

在 App Store 上无法将故事和讲故事分开。 根据 Apple 的公告,所有单独的测试变体都将进行独立审查。 如果你和他们一起测试一个勇敢、大胆但有风险的想法,但他们被拒绝了,你永远不会知道这个想法是否奏效。 你只会知道执行没有。 另外,测试计划将被推迟。 这就是为什么在 App Store A/B 测试中与 Play Store 相比,您必须处理更少的创作自由。

您的 CRO 策略应该在 App Store 中更加保守,在 Play Store 中更加激进。 这意味着:

  • 在 Android 上探索大胆的想法并将其集成到 iOS 上

商品细节实验应该是大胆和冒险想法的试验场,因为它们允许更高程度的创作自由。 加班,你可以相对指出哪些对CRO有好处。 然后,您可以继续测试和学习哪些方法可以公开展示这些想法 - 无论 Google 允许您使用哪种方法。

然后可以通过产品页面优化进一步巩固这种学习。 如果你发现谷歌接受了资产迭代,鉴于其类似的指导方针和政策,苹果很可能也会接受它。 这样您就可以在 App Store 上测试大胆的想法,同时将被拒绝的风险降至最低。

  • 从安全到大胆的想法在 iOS 上逐步运行测试

在等待 Play Store A/B 测试“带路”的同时,App Store A/B 测试可以独立运行以“找到路”。从安全的想法开始,然后转向风险更高的想法,直到接近“受限区域” . CRO 会花费更长的时间,但至少您不会被困在等待 Android 测试结果或被未经测试的假设所误导。

进行 A/B 测试时要记住的关键

当前版本和变体之间的受众分配。 在决定分配给每个变体的流量部分时,请记住您当前的转化率、要测试的假设、所涉及的元素以及统计显着性(目前在 Google Play 实验中为 90%)。

拆分测试的持续时间。 让测试运行至少 7 天,以避免可能影响结果的季节性峰值。 应该运行测试,直到有相当大的潜在受众进入测试的所有变体。

每个变体的最小安装。 要获取有关 a/b 测试的性能结果的重要数据,您需要注意所需的安装量。 这与应用程序的每日安装率高度相关。

测试本地化。 强烈建议在特定国家/地区本地化您的拆分测试。 全球/全球实验可能会产生误导,因为每个国家的创造性表现都不同。

封闭的变化可能不会带来太多的学习。 但是,您的想法的所有元素都应该经过测试,以不断改进您的商店页面。

概括

这些只是 WWDC21 上宣布的一些新特性和功能。 A/B 测试历来是 iOS App Store 上比 Google Play 的实验功能更复杂的任务——这些新工具将是 iOS 开发人员一直在等待的改进。

可从 App Analytics、产品页面优化和自定义产品页面以及用户分析和活动数据访问的性能数据,将为开发人员提供继续增长所需的洞察力。

我们测试以了解哪些想法可以改善 CVR,然后学习如何在不违反政策的情况下实施这些想法。 正如我们上面列出的,您可以提前计划 iOS15 A/B 测试模型。