如何在服务器端实验之旅中从零到一

已发表: 2022-08-04

将您的旅程想象为 Netflix 用户。 如果你和我一样,你可能会一边喝着早晨的咖啡,一边在手机上看一部野生动物纪录片。 晚餐可能伴随着笔记本电脑上的阿甘正传等旧时最爱。 周末晚上将在您的个人资料和您孩子的个人资料之间切换,同时尝试新的 Netflix 节目,最好是在更大的屏幕上。

现在假设 Netflix 正在开展针对特定国家/地区的折扣活动。 如果您参与了 Netflix 开展的这个实验性活动,他们如何确保您每次登录时都参与到同一个活动中,而不管您使用的设备和个人资料如何,并且在任何地方都能看到相同的促销活动? 他们如何确保每次为您提供的变体体验都是无缝的,并且如何始终跟踪您与变体的互动?

答案在于全渠道实验,这是服务器端测试的典型用例。

您应该更喜欢服务器端测试而不是客户端测试吗?

上面提到的 Netflix 示例在客户端执行起来非常复杂,并且可能会影响用户体验。 在服务器端,它相对容易运行,并确保用户获得一致的体验。 它还确保对页面性能的影响最小。 除此之外,它消除了任何与隐私相关的问题,因为浏览器本身没有任何活动。

在其他用例中,建议使用服务器端测试的稳健性和灵活性。 我们将在本文中讨论这些。 但首先,服务器端测试到底是什么,更重要的是,它是为谁服务的?

在服务器端测试中,测试变体在 Web 服务器上进行处理。 当访问者登陆正在测试的页面时,会直接从服务器获取变体并将其传送到访问者的浏览器。 然后不会在前端或浏览器上进行任何后续修改。 与此相反,在客户端测试中,原始页面首先在访问者的浏览器中加载,您的实验平台使用 JavaScript 在前端本身创建变体。 让我们通过一个例子来了解这两种测试形式的范围。

想象一下,迈克和鲍勃是两个朋友,他们正试图试验一辆新车的工作原理。 迈克在方向盘上,可以使用刹车、加速器、仪表板等。 Bob 了解发动机、散热器、电池等内部组件。两者都会以不同的方式影响汽车。 Bob 对汽车零部件的访问权限可以在外部对 Mike 产生影响。 迈克测试的变化是基于他对汽车的可见性。 从购车者的角度来看,Bob 和 Mike 进行的实验结果同样重要,但目的不同。

因此,您不必选择一种测试形式而不是另一种。 用例不同,使用工具的团队也不同。 服务器端测试是开发人员和产品经理的试验途径,就像营销人员更经常使用客户端测试一样。

服务器端测试可以解决哪些问题?

由产品团队运行的服务器端测试解决了从电子商务和 SaaS 到银行和媒体等众多行业的问题。 下面描述了在不同行业中推荐服务器端测试而不是客户端测试的一些重要用例:

产品推荐

哪一组推荐产品能吸引您的访问者购买更多? 服务器端测试允许您测试多种产品推荐算法,以确定导致销售和收入增加的选择。 例如,您可以测试推广类似产品的布局是否比推广最受欢迎产品的布局效果更好。 您还可以根据您的服务器端实验结果决定是追加销售还是交叉销售。

运输费用

什么是理想的购物车价值才能使订单符合免费送货条件? 您可以测试各种阈值以确定对客户购买决策产生积极影响的阈值。

搜索算法

试验您的搜索算法需要修改您现有的代码和进行深度测试的灵活性。 您希望您的访问者能够快速找到他们正在寻找的内容,并且您可以在服务器端测试您的搜索算法来实现这一点。

表格长度

免费试用和演示申请表对 SaaS 业务至关重要。 但是,什么是理想的表格长度,既能确保减少流失,又能捕获所有必需的信息? 您可以通过客户端测试来测试非必填字段。 如果您的字段是强制性的,那么仅使用 JavaScript 隐藏该字段将不起作用,因为使用服务器端逻辑的表单验证将失败。 因此,建议服务器端测试尝试使用必填字段以优化表单长度和复杂性。

优惠和折扣

虽然可以在客户端轻松测试主页上交易的样式、外观和位置,但还有其他重要因素需要考虑,例如折扣的价值、持续时间或资格标准。 您可以在服务器端进行测试以确定最佳值,并确保它们在特定访问者的各个渠道中保持一致。

销售奖励

由于涉及粒度,测试限期优惠或库存清仓等动态激励措施需要服务器端测试的灵活性。

订阅流程

理想情况下,订阅过程应该包括多少个步骤? 是否应该提供社交登录? 试用订阅流程有助于回答这些问题。

订阅流程
订阅流程中的不同步骤

付费墙

服务器端测试允许您以万无一失的方式测试各种付费墙配置。 作为发布者,您可以运行服务器端测试来试验您的封闭内容并将其货币化。 不建议在客户端运行相同的测试,因为访问者可以通过删除或选择退出 cookie 绕过付费墙。

付费墙
不同格式的付费专区

手机银行

可以在贷款或信用卡的注册过程中优化多个元素。 但是,对于移动银行而言,数据安全变得至关重要。 通过客户端测试,银行或金融机构收集的敏感数据可能存在漏洞风险。 为了避免这种风险,通常建议对银行应用程序进行服务器端实验。

现在让我们了解如何在服务器端运行功能测试以及使用 VWO 这样做的优势。

VWO 如何简化服务器端测试

对于上述服务器端用例,VWO 让您可以灵活地将活动构建为 A/B 测试或功能测试。 功能测试用于验证功能参数的值,并让您无需编写代码即可快速配置功能。 在某些用例(例如测试哪种搜索算法更好)中,可以将活动构建为 A/B 测试或功能测试。

例如,假设您想评估三个供应商为您的网站构建的搜索算法。

功能测试使像您这样的产品经理能够以对工程的最小依赖性和对配置的最大控制来快速测试和得出结论。 借助 VWO 的功能测试功能,您可以获得一套框架,您需要在其中编写更少的代码,因为该平台为您完成了大部分繁重的工作。 在特征测试中,可以将算法定义为特征变量,并在平台设置流程本身的实验控制和变化中进行配置,以测试哪种搜索算法更有效。

这个实验也可以通过服务器端 A/B 测试来完成。 VWO 通过其服务器端 SDK 促进流量分布和实验统计模型功能。 工程团队可以使用它来插入搜索算法的代码并测试哪个更有影响力。

以下是功能测试派上用场的其他一些场景。 假设处理移动充值的第三方供应商希望每次充值向用户收取象征性金额。 他们想测试适当的数量。 或者像Airbnb这样的公司,物业费用由业主处理,想要增加清洁费,看看这是否会影响预订数量。 这是一个典型的实验用例,各种公司可以在不影响北极星指标的情况下找到可以插入服务费的最佳位置。 它可以是便利费、设施费、covid 费、包装费或类似的形式。

如上所述的复杂用例在 VWO 中非常容易测试。 这是一个解释视频,向您展示如何快速创建便利费功能并为其分配价值(在本例中为费用金额)。 您可以链接您的假设,即确定在不影响预订数量的情况下增加收入的费用,选择您运行测试的环境,并启用您的变体。 完成此操作后,您将获得一个在您的服务器上运行的活动代码。 剩下的就是让您定义您想要跟踪和细分受众的目标 - 就是这样,您的广告系列已准备就绪。

如果您是产品经理,并且您在仪表板上看到变体 3 不适用于用户; 它会对收入产生负面影响,您可以通过简单地禁用 VWO 的变化来消除它。 如下面的屏幕截图所示,这不会影响代码,也不需要您的工程团队进行任何更改。 您需要将其关闭,单击“保存”,变体将停止接收流量。

VWO 应用程序的屏幕截图

VWO 中的功能测试活动的屏幕截图

本质上,每个广告系列只需要执行一次代码。

您应该构建还是购买一个平台来运行服务器端测试?

让我们结束构建与购买的争论。 VWO 不仅仅是一个随机数生成器,它向不同的受众显示不同的变化并捕获转换事件。 VWO 是一个完整的实验平台,具有强大的统计模型。 要权衡是在内部构建服务器端测试机制还是投资像 VWO 这样的平台,您需要考虑三个主要因素:

  1. 拥有成本

即使公司设法在内部构建所需的基础架构,他们仍然需要对其进行管理和扩展。 付钱给你的开发团队来构建和维护一个像 VWO 这样的实验引擎,而不是专注于他们的核心工作,最终可能会比投资 VWO 更耗时、更昂贵。

  1. 使用方便

您可以构建一个向特定受众展示特定变化的解决方案——但是您是否拥有一个易于使用的界面,不仅可以由工程团队控制,还可以由产品经理控制? 如果没有,那是您运行服务器端测试的另一个障碍。

  1. 直观的报告

通常,内部解决方案会为您提供基本信息,例如访问者数量和来自特定变体的转化。 但是您需要的是具有统计意义的结果。 您需要您的报告由 VWO SmartStats 等贝叶斯统计引擎提供支持。 这就是差距所在——您可以构建一个难以维护的基本解决方案,并且您可以花费时间和资源来破译 p 值。 或者,您可以选择像 VWO 这样的解决方案,其中有一个团队致力于维护和扩展它,并且在贝叶斯算法上花费了数年时间,以便为您提供易于解释的结果。 VWO 中的应用内仪表板甚至可以让您的非技术团队成员了解结果; 他们不需要依赖分析团队来跟踪实验或创建结果仪表板,从而节省时间并降低实验成本。

  1. 无差错机制

在内部构建服务器端测试解决方案可能容易出错,而且在这种规模上,这些错误可能不容易被发现。 将其与全球品牌使用的平台的质量进行比较,您可以确保错误蔓延的可能性微乎其微。 任何错误(如果有的话)都会由您可用的有能力的支持团队尽早标记和纠正。

此外,当您投资于像 VWO 这样的托管平台时,产品中内置了重要的最佳实践。 您不必担心从结果中删除异常值、可视化数据或因版本更新而出现的问题。

必须具备完整运行复杂服务器端测试的能力

正确执行时,运行服务器端实验可能会非常富有成效。 为此,您需要拥有正确的功能集。 其中一些如下所示:

  1. 每次测试中访问者的随机化——在测试中,当您将受众分组到活动中时,访问者的随机化需要是真正随机的,而不是伪随机的。
  2. 一致的全渠道体验——虽然用户的分组需要是随机的,但您还需要确保一个用户在每次登录时都能体验到相同的变化,而与他们使用的设备无关。 实验应顺利进行,不会出现任何故障。
  3. 互斥营销活动——假设您在确定用户是否应参与测试时需要考虑三个因素。 这些可能是使用规律、低流失率和时区。 除了考虑这些变量之外,您还需要确定排他性——那么满足这些条件的用户可以参与多少次测试? 这需要以一种不会导致数据偏差的方式确定,并使您能够将转化率的提高归因于正确的广告系列,而不会产生偏见。
  4. 标准化命名约定——无论您是设置要测试的新功能还是功能标志,您都需要遵循标准命名约定,以避免混淆和初始化错误功能或测试的情况。
  5. 唯一且无忧的活动标识符——您应该使用字母数字键来唯一地标识代码中的测试,并避免以后出现任何麻烦。
  6. 选择正确的环境– 您应该指定运行测试的环境 – 例如,您可以在暂存或 QA 环境中部署测试,以供您的 QA 团队验证实验。 对测试进行完整性检查对其成功至关重要,您应该可以选择为它选择合适的环境。
  7. 逻辑流量分配– 例如,当您运行多个广告系列或有重要活动公告(如黑色周促销)时,您无需在测试中包括登陆您页面的所有访问者。 您应该选择要包含在测试活动中的流量百分比,以及您希望如何在变体之间分配此流量。
  8. 计算达到统计显着性的时间- 您的测试达到统计显着性的估计时间应由您的主要目标的当前转化率和您希望通过您的变化实现的最小改进来确定。 它还应该考虑超过基准转化率的 95% 概率。

这些是服务器端测试的一些最佳实践和必备功能——实际列表要长得多。 如前所述,您可以在内部构建这些功能,也可以在我们为您完成工作的地方使用 VWO。

综上所述

无论您是开发人员还是产品经理,您都不需要限制您的测试想法。 您可以运行复杂的测试,而不必担心服务器端测试的性能或隐私问题,并解决客户面临的实际问题。 您可以优化每个数字接触点,以便您的客户体验最佳。

如果您使用像 VWO 这样的平台,测试的复杂性不会让您不知所措——因为您在活动中的每一个输入都是直观的,并且是为您的测试提供动力的良好实践。 要了解有关如何使用 VWO 轻松运行服务器端测试的更多信息,请向我们的产品专家索取演示。