营销中的多变量测试入门

已发表: 2023-08-10

数字营销的最大好处之一是能够测试营销组合的几乎每个方面，看看什么最有效。从电子邮件主题行和标题到登陆页面图像和 CTA 颜色，测试和比较结果的能力使您比传统媒体更具优势。

在许多情况下，您可能依赖 A/B 测试来一次选择和测试一个营销活动元素。但在其他情况下，您可能想要评估同时更改多个不同元素的有效性。您可能还想揭示不同元素之间的关系。在这些情况下，多变量测试正是您所需要的。

什么是多变量测试？

多变量测试 (MVT) 是一种涉及一次测试多个元素或变量组合的测试方法。与一次测试一个元素的 A/B 测试相比，您可以使用 MVT 流程来发现哪种变量组合在实现您期望的结果方面表现最佳。它为您提供了有关不同元素如何影响用户行为的宝贵见解。

多变量测试是一个资源密集型过程，需要大量样本。如果您有兴趣使用它，以下指南可以帮助您确定它是否合适。

多变量测试示例

现实生活中的多变量测试是什么样的？

考虑以下电子商务零售商的示例：

您想要切换 CTA 按钮的颜色以及语言，以查看哪种方式可以带来更多点击。您决定使用 MVT 来确定哪一种效果最好。在这种情况下，您将创建页面的四个不同版本并测试每个版本。
您想知道更改标题和向客户欢迎电子邮件添加更多图像是否会增加点击量。您可以创建多个具有不同标题和图像的版本，然后让活动顺利进行。
您需要提高目标网页上的转化率，因此您决定测试标题、图像、文本内容和表单字段的不同组合，看看哪种组合可以带来最高的转化率。
您会发现网站主页的跳出率更高，产品页面的点击次数也更少，因此您测试横幅、导航菜单和 CTA 按钮位置，以优化用户体验并将用户进一步带入销售渠道。

请记住，多变量测试的目标不仅仅是找到最有效的元素，而是了解这些元素如何相互作用。

多变量测试与 A/B 测试

多变量测试和 A/B 测试有什么区别？这两个测试都涉及对如果更改页面上的内容可能会发生的情况做出假设。正如我们所确定的，在前者中，您通常是同时测试多个元素或变量。 A/B 测试一次只关注一个变量。

那么您如何知道哪一种更适合您的需求呢？

假设您想要提高付费搜索广告着陆页上的转化次数，但您不确定要采用哪种方法。虽然 A/B 测试是一种更简单、更快速的方法，非常适合更改单个更改，但多变量测试提供了更全面的方法。根据您拥有多少时间和资源，其中一种可能比另一种效果更好。

最终，您对测试模型的选择取决于您的时间、流量以及您想要测试的复杂性。

何时使用多变量测试

多变量测试是网站优化的绝佳工具，但它并不总是最佳选择。如果您面临以下情况或需求，它可能很适合您：

您拥有大量流量——可能有数千名访客。该数字根据变体数量而增加。所需的样本大小应小于当前流量水平。
您需要优化网站上的关键转化点，包括登陆页面或结账流程。
您想要了解页面上的不同元素如何交互并影响用户行为。
您需要完善已建立的设计以优化性能。

多变量测试有这么多好的用例，什么时候它没有意义？

你的流量很低。
您正处于设计的早期阶段。
您想测试单个变量。

在这些情况下，A/B 测试可能是更好的选择。在进行测试过程之前，请考虑您的具体情况和目标。

多变量测试的类型

当您致力于多变量测试时，您还需要确定哪种方法最适合您的方法。您需要测试的因素数量会影响测试过程所需的时间和成本。

多变量测试通常可以采用两种形式之一：完全因子测试或部分测试。根据您的资源和期望的结果，其中一种可能比另一种更适合。

全面析因测试

完整的因子测试包括以相同的概率测试所有可能的内容组合。在完整的因子测试中，您将测试每个组合。假设您有一个包含两张图片和四个 CTA 的登陆页面。这意味着您将测试八个不同的版本：

版本 1：图片 1、CTA 1
版本 2：图片 1、CTA 2
版本 3：图片 1，CTA 3
版本 4：图片 1，CTA 4
版本 5：图片 2、CTA 1
版本 6：图片 2、CTA 2
版本 7：图片 2、CTA 3
版本 8：图片 2，CTA 4

全面的因子测试确实提供了全面的数据，但它也有一些缺点。其一，它是资源密集型的。正如您所看到的，对于您更改的每个变量，您都需要进行大量的实验运行，并且只有在添加因素时，该数字才会增加。分析这些结果也相当复杂。由于样本量要求较大，实现统计显着性也很困难。这会影响可扩展性。

在许多情况下，您可能会选择执行部分或部分因子检验，这可以减少您所需的资源，但仍然提供有价值的见解。

部分测试

部分（或部分）测试是一个更简单的过程，用于测试可用选项的较小子集。假设您决定为目标网页测试更复杂的变量组合，并将变量数量增加一倍至 16 个。在完整的因子测试中，您将在所有变体之间平均分配流量。

在部分阶乘测试中，您可以将该流量划分为八个变体。其余变体的转化率来自于您已经测试过的变体的统计扣除。

为什么要实施此测试？这些测试通常需要较少的流量，但无法获得详细的数据。然而，它确实给了你一个关于变化是否比其他变化更好或更差的一般感觉。

为什么要选择部分测试，特别是如果它不能提供完整因子测试所提供的全面数据？

部分多变量测试使您可以专注于最有希望或最相关的变量组合。当您的资源（例如时间、流量或计算能力）有限时，这一点很重要。它还降低了测试的复杂性，尤其是当变量增加时。您甚至可以减少进行比较的次数，从而降低误报（实际上并没有带来好处的结果）的风险。

最终，如果您想让测试尽可能高效，部分测试可以为您服务。只需要知道这是一个权衡：因为您没有测试所有可能的组合，所以您可能会面临错过潜在的重要因素相互作用的风险。

如何进行多变量测试

您的多变量测试将根据您包含的变量数量和您执行的测试类型而有所不同，但基本步骤如下：

确定您的目标：定义您希望通过测试实现的目标。示例目标包括提高转化率、降低跳出率、提高用户参与度等。
选择变量：当您知道目标时，您可以确定要测试的网站元素。其中包括标题、图像、颜色、按钮、CTA 等。
设计变体：对于每个变量，创建不同的版本。如果您正在测试头条新闻，请创建不同的版本，看看哪一个效果最好。
设置您的测试：找到正确的多变量工具来设置您的测试。该工具将随机为您的用户提供不同的变体并跟踪结果。
运行测试：让测试运行足够的时间来收集数据。测试的持续时间取决于网站流量和需要测试的变体数量。
分析结果：测试完成后，分析结果。比较每个变体与您的目标的关系。
实施更改：根据您的分析，在您的网站或应用程序上实施最成功的变体。
根据需要重复测试：多变量测试不是“一劳永逸”的操作。完成一项测试后，识别新变量并再次开始该过程。

请记住：多变量测试不仅仅是确定性能最佳的变量。了解不同元素如何交互并影响用户行为也很重要。

如何找到要测试的变量

知道在多变量测试中测试哪些元素是一项技能。这对于确保测试成功也至关重要。多变量测试中的变量可以包括标题、图像、视频、CTA 按钮、产品描述、布局、颜色等。成功的多变量测试的关键包括选择显着影响用户行为和最终目标的变量。

为了帮助发现您应该在测试中包含哪些变量，请考虑采取以下步骤：

了解您的目标

在决定变量之前，先问问你的目标是什么。您想提高转化率吗？该计划是为了提高用户参与度还是降低跳出率？这些目标指导您将关注的变量。

分析您现有的数据

使用当前的分析工具来分析现有数据并识别趋势或黄色或红色信号。如果某些页面的跳出率很高，您可能需要测试它们的变量以减少该指标。

进行用户测试并寻求反馈

用户测试是了解真实用户如何使用您的网站或产品的强大工具。进行调查并请求反馈可以帮助您识别客户的潜在痛点。

查看比赛情况

看看你的竞争对手在做什么。他们网站上的哪些元素可以帮助他们取得成功？这些可能是您可以在自己的登陆页面或网站上测试的变量。

使用热图发挥您的优势

热图可以帮助您了解用户在您的网站上点击、滚动和花费时间的位置。用户是否在特定部分徘徊？他们如何阅读或参与您的内容？热图可以向您显示感兴趣的领域并揭示您将来可以测试的元素。

多变量测试的优点和缺点

与所有测试过程一样，多变量测试也有其独特的优点和缺点。虽然它绝对是优化网站性能的强大工具，但它可能并不适合每个人。在开始测试之前，请考虑以下优点和缺点。

优点

MVT 是测试页面元素之间交互的有效方法。
它需要更少的连续测试，因为您一次测试多个变量。
它允许您为用户创建高度优化的体验。

多变量测试的另一个主要好处是，它使您能够创建高度优化的用户体验，以最大限度地提高转化率。您测试的大多数元素或变量（例如页面速度、视觉效果，甚至 CTA 类型）都会影响用户体验。当您优化这些元素以进行转化时，您通常会获得改善人们与您的网站交互方式的额外好处。

缺点

MVT 是一个复杂的过程，涉及多种变量的组合。
它可能非常耗时，尤其是与简单的 A/B 测试相比。
它需要大量的网站流量，使得较小的网站更难实现统计显着性
存在微不足道的更改不会对用户行为产生影响的风险。

最佳多变量测试工具

市场上不乏强大的 A/B 测试和多元测试工具。定价可能因平台和需求而异。一些最流行的测试平台包括：

Optimizely：数字营销、销售和电子商务领域的一些知名企业依靠 Optimizely 的实验平台进行实验，以深入了解客户的行为。使用加速和缩放选项，您可以一次在多个页面上执行 MVT。与许多其他提供商一样，您需要请求报价。
AB Tasty：AB Tasty 不提供前期定价，而是依赖基于您提供的信息的自定义报价。然而，它确实提供了大量强大的测试工具（包括代码和所见即所得编辑功能）。他们在客户名册上列出了几个知名品牌，这可以为您提供查看它们所需的社会证据。
VWO：VWO 提供了一套功能强大的测试工具，尤其是免费版本。您每月为该计划支付的费用根据您的需求以及每月需要跟踪的流量而有所不同。但对于每月访问量少于 50,000 人的营销人员来说，他们的增长计划每月费用为 822 美元，并提供全面的多变量测试工具。
Convert：Convert 是另一个 MVT 工具，它表示您可以“设置各种可能的实验”。它提供 A/B、分割和多变量测试。 Convert 的定价根据每月需要测试的用户数量而有所不同，尽管他们的专家计划为 1200 万用户每年 13,432 美元。您可能需要超过 15 天才能运行测试，但他们确实提供试用期。

多变量测试在跨渠道营销活动中的重要性

多变量测试可能是一个复杂的过程，但不要低估它对跨渠道策略的重要性。了解网页上或电子邮件营销活动中元素之间的关系对于改善客户在整个旅程中的体验大有帮助。能够分析和讨论最适合您的数字营销工作背后的数据至关重要。

您需要强大的工具来帮助将这些数据放在一个方便的地方，这就是我们的数字广告平台的用武之地。我们可以帮助您分析营销活动中的信息，并确定哪些付费工作更成功。当您使用正确的数字营销绩效仪表板时，您将减少查看数据的时间，并腾出精力来测试您的营销活动。

常问问题

多变量测试和 A/B 测试有什么区别？

A/B 测试通常一次只测试一个变量，并向您展示哪个变量对实现您的目标更有效。多变量测试测试许多变量组合以了解它们如何相互作用。

多变量测试有什么好处？

多变量测试允许您查看多个变体如何在登陆页面、网站或其他营销资产上相互交互。它有助于确定协同工作以实现您的目标（例如提高转化率）的最佳元素组合。

多变量测试的缺点是什么？

由于需要包含的变量数量较多，多变量测试是一个耗时的过程。它也可能很昂贵。由于多变量测试涉及如此多的变量，因此通常需要更高的流量才能产生具有统计意义的结果。

多变量测试的示例是什么？

您是一位电子商务零售商，想要测试着陆页上的不同元素如何相互交互并推动转化。在多变量测试中，您创建这些元素（标题、颜色、CTA 按钮副本、页面内容和图像）的组合，并将它们随机分配给不同的受众。测试结束时，您可以分析为您的特定目标带来最佳结果的组合，在本例中为转化率。

我什么时候应该使用多变量测试？

当您的流量较高、需要优化关键转化点并且想要了解页面上不同元素之间的交互时，请使用多变量测试。