マーケティングにおける多変量テストの入門

公開: 2023-08-10

デジタルマーケティングの最大の利点の 1 つは、マーケティングミックスのほぼすべての側面をテストして、何が最も効果的かを確認できることです。電子メールの件名や見出しからランディングページの画像や CTA の色に至るまで、結果をテストして比較できる機能により、従来のメディアよりも優位に立つことができます。

多くの場合、A/B テストを利用して、一度に 1 つのキャンペーン要素を選択してテストします。ただし、複数の異なる要素を一度に変更する効果を評価したい場合もあります。さまざまな要素間の関係を明らかにしたい場合もあります。このような状況では、多変量テストがまさに必要になります。

多変量テストとは何ですか?

多変量テスト (MVT) は、複数の要素または変数の組み合わせを一度にテストするテスト方法です。一度に 1 つの要素をテストする A/B テストと比較して、MVT プロセスを使用すると、望ましい結果を達成するという観点から、変数のどの組み合わせが最も優れたパフォーマンスを発揮するかを見つけることができます。これにより、さまざまな要素がユーザーの行動にどのような影響を与えるかについて貴重な洞察が得られます。

多変量テストは、大きなサンプルサイズを必要とするリソースを大量に消費するプロセスです。使用に興味がある場合は、次のガイドが適切かどうかを判断するのに役立ちます。

多変量テストの例

多変量テストは実際にはどのようなものですか?

e コマース小売業者の次の例を考えてみましょう。

CTA ボタンの色と言語を切り替えて、どちらがクリック数を増やすかを確認したいと考えています。どちらが最適であるかを判断するために MVT を使用することにします。この状況では、ページの 4 つの異なるバージョンを作成し、それぞれをテストします。
顧客ウェルカムメールに見出しを変更し、画像を追加するとクリックが増加するかどうかを知りたいと考えています。見出しや画像が異なる複数のバージョンを作成し、キャンペーンを進行させます。
ランディングページでコンバージョンを増やす必要があるため、見出し、画像、テキストコンテンツ、フォームフィールドのさまざまな組み合わせをテストして、どの組み合わせが最も高いコンバージョン率につながるかを確認することにしました。
Web サイトのホームページから商品ページへの直帰率が高く、クリック数が少ないことがわかったので、バナー、ナビゲーションメニュー、CTA ボタンの配置をテストして、ユーザーエクスペリエンスを最適化し、ユーザーを販売目標到達プロセスにさらに誘導します。

多変量テストの目的は、単に最適に機能する要素を見つけることではなく、それらの要素がどのように相互作用するかを理解することであることに注意してください。

多変量テストと A/B テスト

多変量テストと A/B テストの違いは何ですか? どちらのテストでも、ページ上の内容を変更した場合に何が起こるかについて仮説を立てることが含まれます。すでに述べたように、前者では複数の要素または変数を、多くの場合同時にテストします。 A/B テストは、一度に 1 つの変数のみに焦点を当てます。

では、どちらが自分のニーズにとってより理にかなっているのかをどうやって判断するのでしょうか?

有料検索広告からランディングページでのコンバージョンを増やしたいと考えていますが、どのアプローチを採用すればよいかわからないとします。 A/B テストは単一の変更を変更するのに理想的な、よりシンプルで高速な方法ですが、多変量テストはより包括的なアプローチを提供します。どれだけの時間とリソースがあるかによっては、一方が他方よりもうまく機能する可能性があります。

最終的に、テストモデルの選択は、時間、トラフィック、テスト対象の複雑さによって決まります。

多変量テストを使用する場合

多変量テストは Web サイトを最適化するための優れたツールですが、常に最良の選択であるとは限りません。次のような条件やニーズに直面している場合は、この製品が適している可能性があります。

かなりの量のトラフィックがあり、おそらく数千人の訪問者がいます。この数は、バリエーションの数に基づいて増加します。必要なサンプルサイズは、現在のトラフィックレベルよりも小さくする必要があります。
ランディングページやチェックアウトプロセスなど、Web サイト上の主要なコンバージョンポイントを最適化する必要があります。
ページ上のさまざまな要素がどのように相互作用し、ユーザーの行動に影響を与えるかを理解したいと考えています。
パフォーマンスを最適化するには、確立された設計を改良する必要があります。

多変量テストの優れた使用例は数多くありますが、それが意味をなさないのはどのような場合でしょうか?

トラフィックが少ないです。
あなたは設計の初期段階にいます。
単一の変数をテストしたいとします。

このような状況では、A/B テストの方が良い選択となる可能性があります。テストプロセスに取り組む前に、特定の状況と目標を考慮してください。

多変量テストの種類

多変量テストに取り組む場合は、どの方法が自分のアプローチに最も適しているかを判断する必要もあります。テストする必要がある要素の数は、テストプロセスにかかる時間とコストに影響を与える可能性があります。

多変量テストは通常、完全要因テストまたは部分テストの 2 つの形式のいずれかを取ることができます。リソースと望ましい結果に応じて、一方が他方より適している場合があります。

完全な要因テスト

完全要因テストには、コンテンツの考えられるすべての組み合わせを等しい確率でテストすることが含まれます。完全要因テストでは、すべての組み合わせをテストします。 2 つの画像と 4 つの CTA を含むランディングページがあるとします。つまり、8 つの異なるバージョンをテストすることになります。

バージョン 1: 画像 1、CTA 1
バージョン 2: 画像 1、CTA 2
バージョン 3: 画像 1、CTA 3
バージョン 4: 画像 1、CTA 4
バージョン 5: 画像 2、CTA 1
バージョン 6: 画像 2、CTA 2
バージョン 7: 画像 2、CTA 3
バージョン 8: 画像 2、CTA 4

完全要因検定では確かに包括的なデータが得られますが、いくつかの欠点もあります。 1 つは、リソースを大量に消費することです。ご覧のとおり、変数を変更するたびに多数の実験を実行する必要があり、その数は因子を追加した場合にのみ増加します。それらの結果の分析もかなり複雑です。大きなサンプルサイズが必要なため、統計的有意性を達成することも困難になる場合があります。それはスケーラビリティに影響します。

多くの場合、部分要因検定または部分要因検定の実行を選択すると、必要なリソースを削減できますが、それでも貴重な洞察が得られます。

部分的なテスト

部分 (または部分) テストは、利用可能なオプションのより小さなサブセットをテストする、より単純なプロセスです。ランディングページでさらに複雑な変数の組み合わせをテストし、変数の数を 2 倍の 16 に増やすことにしたとします。完全要因テストでは、すべてのバリエーション間でトラフィックを均等に分割します。

部分要因テストでは、そのトラフィックを 8 つのバリエーションに分割します。残りのバリエーションのコンバージョン率は、すでにテストしたバリエーションに基づく統計的演繹から得られます。

なぜこのテストを実装するのでしょうか? 通常、これらのテストでは必要なトラフィックは少なくなりますが、詳細なデータは得られません。ただし、それによって得られるのは、バリエーションが他のバリエーションよりも優れているのか、劣っているのかについての一般的な感覚です。

特に完全要因検定で得られる包括的なデータが提供されない場合、なぜ部分検定を選択するのでしょうか?

部分多変量テストを使用すると、最も有望な、または関連性のある変数の組み合わせに焦点を当てることができます。これは、時間、トラフィック、計算能力などのリソースが限られている場合に重要です。また、特に変数が増加する場合に、テストの複雑さも軽減されます。実行する比較の数を減らすこともできるため、誤検知 (実際にはメリットが得られない結果) のリスクが小さくなります。

最終的には、テストを可能な限り効率的にしたい場合は、部分テストが有効です。ただし、トレードオフがあることを知っておいてください。考えられるすべての組み合わせをテストしているわけではないため、潜在的に重要な要素の相互作用を見逃す危険性があります。

多変量テストの実施方法

多変量テストは、含める変数の数と実行するテストの種類によって異なりますが、基本的な手順は次のとおりです。

目標を特定する:テストで何を達成したいかを定義します。目標の例には、コンバージョンの増加、直帰率の削減、ユーザーエンゲージメントの向上などが含まれます。
変数を選択する:目標がわかれば、テストするサイトの要素を特定できます。これらには、見出し、画像、色、ボタン、CTA などが含まれます。
バリエーションを設計する:変数ごとに、異なるバージョンを作成します。見出しをテストしている場合は、さまざまなバージョンを作成して、どのバージョンが最もパフォーマンスが高いかを確認します。
テストをセットアップする:テストをセットアップするための適切な多変量ツールを見つけます。このツールは、さまざまなバリエーションをユーザーにランダムに提供し、結果を追跡します。
テストを実行する:データを収集するのに十分な時間、テストを実行します。テストの期間は、Web サイトのトラフィックとテストする必要があるバリエーションの数によって異なります。
結果を分析する:テストが完了したら、結果を分析します。目標に対して各バリエーションのパフォーマンスを比較します。
変更を実装する:分析に基づいて、サイトまたはアプリに最も成功したバリエーションを実装します。
必要に応じてテストを繰り返します。多変量テストは、「一度行ったら完了」という操作ではありません。 1 つのテストが完了したら、新しい変数を特定し、プロセスを再度開始します。

多変量テストは、単に最もパフォーマンスの高いバリエーションを特定するだけではないことを覚えておいてください。さまざまな要素がどのように相互作用し、ユーザーの行動に影響を与えるかを理解することも重要です。

テストする変数を見つける方法

多変量テストでどの要素をテストするかを知ることはスキルです。これはテストを確実に成功させるためにも重要です。多変量テストの変数には、見出し、画像、ビデオ、CTA ボタン、製品説明、レイアウト、色などが含まれます。多変量テストを成功させる鍵には、ユーザーの行動と最終目標に大きな影響を与える変数を選択することが含まれます。

テストにどの変数を含めるべきかを明らかにするには、次の手順を実行することを検討してください。

自分の目標を理解する

変数を決定する前に、目標は何かを尋ねてください。コンバージョンを増やしたいですか? ユーザーエンゲージメントを向上させる計画ですか、それとも直帰率を下げる計画ですか? これらの目標は、焦点を当てる変数の指針となります。

既存のデータを分析する

現在の分析ツールを使用して既存のデータを分析し、傾向や黄色信号または危険信号を特定します。特定のページの直帰率が高い場合は、その指標を下げるために変数をテストすることができます。

ユーザーテストを実施してフィードバックを求める

ユーザーテストは、実際の人々が Web サイトや製品をどのように使用しているかを理解するための強力なツールです。アンケートを実施してフィードバックを求めることは、顧客にとって潜在的な問題点を特定するのに役立ちます。

コンテストをチェックしてください

競合他社が何をしているか見てみましょう。サイトのどの要素が成功に貢献しているのでしょうか? これらは、独自のランディングページまたは Web サイトでテストできる変数である可能性があります。

ヒートマップを有効に活用する

ヒートマップは、ユーザーがサイトのどこをクリック、スクロールし、時間を費やしているかを確認するのに役立ちます。ユーザーは特定のセクションに留まっていますか? 彼らはあなたのコンテンツをどのように読んだり、興味を持ったりしていますか? ヒートマップを使用すると、関心のある領域が表示され、将来テストできる要素が明らかになります。

多変量テストの長所と短所

すべてのテストプロセスと同様、多変量テストにも特有の利点と欠点がないわけではありません。 Web サイトのパフォーマンスを最適化するための強力なツールであることは間違いありませんが、すべての人にとって最適なツールであるとは限りません。テストに入る前に、次の長所と短所を考慮してください。

利点

MVT は、ページ要素間の対話をテストする効率的な方法です。
複数の変数を一度にテストするため、必要な連続テストの回数が少なくなります。
これにより、ユーザー向けに高度に最適化されたエクスペリエンスを作成できます。

多変量テストのもう 1 つの大きな利点は、コンバージョンを最大化するために高度に最適化されたユーザーエクスペリエンスを作成できることです。ページ速度、ビジュアル、さらには CTA の種類など、テストするほとんどの要素や変数は、ユーザーエクスペリエンスに影響を与える可能性があります。コンバージョンのためにこれらの要素を最適化すると、多くの場合、ユーザーのサイトとのやり取りが改善されるという追加の利点が得られます。

短所

MVT は、変数のいくつかの組み合わせを含む複雑なプロセスです。
特に単純な A/B テストと比較すると、時間がかかる場合があります。
大量のサイトトラフィックが必要となるため、小規模なサイトでは統計的有意性を達成することが困難になります。
ユーザーの行動に変化をもたらさない、重要ではない変更が行われるリスクがあります。

最高の多変量テストツール

市場には強力な A/B テストおよび多変量テストツールが不足することはありません。価格はプラットフォームやニーズによって異なります。最も人気のあるテストプラットフォームには次のようなものがあります。

Optimizely: デジタルマーケティング、販売、e コマースの大手企業の一部は、顧客の行動に関する洞察を得るために実験を実行するために Optimizely の Experiment プラットフォームを利用しています。 [高速化] および [拡大縮小] オプションを使用すると、複数のページで MVT を一度に実行できます。他の多くのプロバイダーと同様に、価格見積もりをリクエストする必要があります。
AB Tasty: AB Tasty は前払い価格を提供せず、提供された情報に基づいたカスタム見積もりに依存します。ただし、テスト用の強力なツール (コードや WYSIWYG 編集機能など) が多数提供されています。彼らは顧客名簿にいくつかの評判の良いブランドをリストしており、それらをチェックするために必要な社会的証明を提供してくれる可能性があります。
VWO: VWO は、特に無料版で、強力なテストツールスイートを提供しています。プランに対して毎月支払う金額は、ニーズと毎月追跡する必要があるトラフィックによって異なります。しかし、月間訪問者数が 50,000 人未満のマーケティング担当者の場合、成長プランの費用は月額 822 ドルで、包括的な多変量テストツールが提供されます。
Convert: Convert は、「あらゆる種類の実験をセットアップできる」というもう 1 つの MVT ツールです。 A/B、分割、多変量テストを提供します。 Convert の価格は、月あたりテストする必要があるユーザーの数によって異なりますが、Expert プランは 1,200 万ユーザーに対して年間 13,432 ドルです。テストの実行には 15 日以上かかる場合がありますが、試用期間が提供されます。

クロスチャネルキャンペーンにおける多変量テストの重要性

多変量テストは複雑なプロセスになる可能性がありますが、クロスチャネル戦略にとってそれがどれほど重要であるかを過小評価しないでください。 Web ページ上または電子メールキャンペーン内の要素間の関係を理解することは、顧客がジャーニーを通過する際のエクスペリエンスを向上させるのに大いに役立ちます。デジタルマーケティング活動に最適なものの背後にあるデータを分析し、話すことができることが不可欠です。

そのデータを便利な 1 か所にまとめるための強力なツールが必要です。そこで私たちのデジタル広告プラットフォームが役に立ちます。私たちは、マーケティングキャンペーンからの情報を分析し、どの有料取り組みがより成功しているかを判断するお手伝いをします。適切なデジタルマーケティングパフォーマンスダッシュボードを使用すると、データの確認に費やす時間が短縮され、キャンペーンのテストに費やすエネルギーが解放されます。

よくある質問

多変量テストと A/B テストの違いは何ですか?

A/B テストは通常、一度に 1 つの変数のみをテストし、どれが目標を達成するのにより効果的であったかを示します。多変量テストでは、変数の多くの組み合わせをテストして、それらがどのように相互作用するかを確認します。

多変量テストの利点は何ですか?

多変量テストを使用すると、ランディングページ、Web サイト、またはその他のマーケティングアセット上で、いくつかのバリエーションが互いにどのように相互作用するかを確認できます。コンバージョン率の向上など、目標を達成するために連携して機能する要素の最適な組み合わせを特定するのに役立ちます。

多変量テストの欠点は何ですか?

多変量テストは、含める必要がある変数の数が多いため、時間のかかるプロセスです。高価になることもあります。多変量テストには非常に多くの変数が含まれるため、統計的に有意な結果を得るには通常、より大量のトラフィックが必要になります。

多変量テストの例は何ですか?

あなたは e コマース小売業者で、ランディングページ上のさまざまな要素がどのように相互作用してコンバージョンを促進するかをテストしたいと考えています。多変量テストでは、これらの要素 (見出し、色、CTA ボタンのコピー、ページコンテンツ、画像) の組み合わせを作成し、それらを異なる対象ユーザーにランダムに割り当てます。テストの最後に、特定の目標に対して最良の結果が得られた組み合わせ (この場合はコンバージョン率) を分析します。

多変量テストはいつ使用する必要がありますか?

トラフィックレベルが高く、主要なコンバージョンポイントを最適化する必要があり、ページ上のさまざまな要素間の相互作用を理解したい場合は、多変量テストを使用します。