A / Bテストの完全ガイド：Google、HubSpotなどからの専門家のヒント

公開: 2020-04-10

A/Bテストについて読んだのはこれが初めてではないでしょう。 メールの件名やソーシャルメディアの投稿をすでにA/Bテストしている場合もあります。

マーケティングの分野でA/Bテストについて多くのことが言われているという事実にもかかわらず、多くの人々はまだそれを間違えています。 結果？ 不適切なテストの不正確な結果に基づいて主要なビジネス上の決定を下す人々。

A / Bテストは、特にストア所有者向けに作成されたコンテンツでは、単純化されすぎていることがよくあります。 以下に、eコマースのさまざまなタイプのA / Bテストを開始するために知っておく必要のあるすべての情報を示し、可能な限りわかりやすく説明します。

目次

  • A / Bテストとは何ですか？
  • A/Bテストの仕組み
  • A / B / nテストとは何ですか？
  • A / Bテストはどのくらいの期間実行する必要がありますか？
  • なぜA/Bテストを行う必要があるのですか？
  • 何をA/Bテストする必要がありますか？
  • A/Bテストのアイデアの優先順位付け
  • ABテスト統計のクラッシュコース
  • A/Bテストの設定方法
  • A/Bテストの結果を分析する方法
  • 過去のA/Bテストをアーカイブする方法
  • プロのA/Bテストプロセス
  • ビジネス向けにA/Bテストを最適化する

A / Bテストとは何ですか？

A / Bテストは、分割テストと呼ばれることもあり、同じWebページ、電子メール、またはその他のデジタル資産の2つのバージョンを比較して、どちらが優れているかを判断するプロセスです。

このプロセスにより、重要なビジネス上の質問に答えることができ、既存のトラフィックからより多くの収益を生み出すことができ、データに基づいたマーケティング戦略の基盤が確立されます。

詳細：ビジネスのSWOT分析を実施する方法

A/Bテストの仕組み

マーケティングのコンテキストでA/Bテストを使用する場合、アセットの訪問者バージョンAの50％（これを「コントロール」と呼びます）と訪問者バージョンBの50％（これを「バリアント」と呼びます）を表示します。

コンバージョン率が最も高いバージョンが優先されます。 たとえば、バリアント（バージョンB）が最も高いコンバージョン率をもたらしたとしましょう。 次に、それを勝者と宣言し、訪問者の100％をバリアントにプッシュします。

次に、バリアントが新しいコントロールになり、新しいバリアントを設計する必要があります。

A/Bテストのコンバージョン率は成功の不完全な尺度であることに言及する価値があります。 なんで？ ストア内のすべてを無料にすることで、コンバージョン率を即座に高めることができます。 もちろん、それはひどいビジネス上の決定です。

そのため、コンバージョンの価値を、レジが鳴る音まで追跡する必要があります。

無料の読書リスト：初心者のための変換の最適化

コンバージョン最適化の短期集中コースを受講して、より多くのWebサイト訪問者を顧客に変えましょう。 以下の影響力の大きい記事の無料の厳選されたリストにアクセスしてください。

A / B / nテストとは何ですか？

A / B / nテストを使用すると、コントロールに対して複数のバリアントをテストできます。 したがって、訪問者の50％がコントロールを表示し、訪問者の50％がバリアントを表示する代わりに、訪問者の25％がコントロール、25％が最初のバリアント、25％が2番目のバリアント、25％が3番目のバリアントを表示する場合があります。

注：これは、複数のバリアントが含まれる多変量テストとは異なります。 多変量テストを実行するときは、複数のバリアントをテストするだけでなく、A / BテストのUXやSEO分割テストなど、複数の要素もテストします。 目標は、どの組み合わせが最も効果的かを把握することです。

多変量テスト
画像ソース： Google 。

多変量テストを実行するには大量のトラフィックが必要になるため、現時点ではそれらを無視できます。

A / Bテストはどのくらいの期間実行する必要がありますか？

A / Bテストを、少なくとも1つ、理想的には2つの完全なビジネスサイクルで実行します。 重要性に達したという理由だけでテストを停止しないでください。 また、事前に決定されたサンプルサイズを満たす必要があります。 最後に、すべてのテストを1週間単位で実行することを忘れないでください。

なぜ2つの完全なビジネスサイクル？ 手始めに：

  1. あなたは「私はそれについて考える必要がある」バイヤーを説明することができます。
  2. さまざまなトラフィックソース（Facebook、メールニュースレター、オーガニック検索など）のすべてを説明できます。
  3. あなたは異常を説明することができます。 たとえば、金曜日のメールマガジン。

何らかのA/Bまたはランディングページのテストツールを使用したことがある場合は、小さな緑色の「統計的に有意」アイコンに精通している可能性があります。

多くの人にとって、残念ながら、それは「テストは調理されている、それを呼んでください」という普遍的な兆候です。 以下で詳しく説明しますが、A / Bテストの統計的有意性に達したからといって、テストを停止する必要があるわけではありません。

そして、あなたの所定のサンプルサイズ？ 見た目ほど威圧的ではありません。 Evan Millerのこのような、サンプルサイズ計算機を開きます。

サンプルサイズ計算機

この計算では、現在のコンバージョン率が5％で、15％の効果を検出できるようにする場合は、バリエーションごとに13,533のサンプルが必要です。 したがって、標準のA / Bテストの場合、合計で25,000人を超える訪問者が必要になります。

より小さな効果を検出したい場合はどうなるかを見てください。

サンプルサイズ計算機

変更されたのは、最小検出可能効果（MDE）だけです。 15％から8％に減少しました。 この場合、バリエーションごとに47,127のサンプルが必要です。 したがって、標準のA / Bテストの場合、合計で10万人近くの訪問者が必要になります。

UXまたはSEO分割テストのA/Bテストを行っているかどうかにかかわらず、テストを開始する前に、サンプルサイズを事前に計算する必要があります。 有意性に達したとしても、所定のサンプルサイズに達するまで、テストを停止することはできません。 含まれている場合、テストは無効です。

これが、「100回のコンバージョン後に停止する」などのベストプラクティスに意図的に従うことができない理由です。

1週間単位でテストを実行することも重要です。 トラフィックは曜日と時刻に基づいて変化する可能性があるため、必ず曜日を含める必要があります。

なぜA/Bテストを行う必要があるのですか？

あなたのサイトに10人を送るためにFacebook広告に100ドルを費やしたとしましょう。 平均注文額は$25です。 それらの訪問者のうち8人は何も購入せずに去り、他の2人はそれぞれ25ドルを費やします。 結果？ あなたは$50を失いました。

今、あなたがあなたのサイトに10人を送るためにFacebook広告に100ドルを費やしたとしましょう。 あなたの平均注文額はまだ$25です。 ただし、今回は、これらの訪問者のうち5人だけが何も購入せずに出発し、他の5人はそれぞれ25ドルを費やしています。 結果？ あなたは25ドルを稼ぎました。

もちろん、これはより単純なA/Bテストの例の1つです。 ただし、オンサイトでのコンバージョン率を上げることで、同じトラフィックの価値を高めることができます。

A / Bテストの画像とコピーは、テストが勝ったか負けたかにかかわらず、洞察を明らかにするのにも役立ちます。 この値は非常に転送可能です。 たとえば、製品の説明A / Bテストからのコピーライティングの洞察は、価値提案、製品のビデオ、またはその他の製品の説明を知らせるのに役立ちます。

また、店舗の有効性を継続的に改善することに注力することの本質的な価値を無視することはできません。

A / Bテストを行う必要がありますか？

必ずしも。 トラフィックの少ないサイト、Webアプリ、モバイルアプリを実行している場合、A/Bテストはおそらく最適化の最善の方法ではありません。 たとえば、ユーザーテストを実施したり、顧客と話したりすることで、投資収益率（ROI）が高くなる可能性があります。

一般に信じられていることですが、コンバージョン率の最適化はテストで始まり、テストで終わるわけではありません。

上記のサンプルサイズ計算機の数値を考慮してください。 ベースラインコンバージョン率が5％の場合、バリエーションごとに47,127人の訪問者が8％の効果を検出します。 商品ページをテストするとします。 2〜4週間で10万人近くの訪問者を迎えますか？

なぜ2〜4週間ですか？ 少なくとも2つの完全なビジネスサイクルでテストを実行する必要があることを忘れないでください。 通常、それは2〜4週間でうまくいきます。 「問題ありません、シャネル、必要なサンプルサイズに達するまで、2〜4週間以上テストを実行します」と考えているかもしれません。 それもうまくいきません。

ご覧のとおり、テストの実行時間が長いほど、外部の妥当性の脅威やサンプルの汚染の影響を受けやすくなります。 たとえば、訪問者がCookieを削除して、新しい訪問者としてA/Bテストに再入力する場合があります。 または、誰かが携帯電話からデスクトップに切り替えて、別のバリエーションを見ることができます。

基本的に、テストを長時間実行させることは、テストを十分に長く実行させないことと同じくらい悪いことです。

テストは、2〜4週間で必要なサンプルサイズを満たすことができる店舗に投資する価値があります。 トラフィックが増えるまで、他の形式の最適化を検討できない店舗。

ShopifyのデータサイエンティストであるJuliaStarostenkoは同意し、次のように説明しています。

エキスパートヘッドショット

Julia Starostenko、Shopify

「実験は楽しいです！ ただし、結果が正確であることを確認することが重要です。

「自問してみてください。あなたの聴衆は十分に多いですか？ 十分なデータを収集しましたか？ （妥当な時間枠内で）真の統計的有意性を達成するには、オーディエンスのサイズを十分に大きくする必要があります。」

何をA/Bテストする必要がありますか？

A/Bテストで何をすべきかわかりません。 分かってる。 今すぐテストする99のリストを提供できれば、きっとあなたの生活は楽になるでしょう。 クリックと引き換えにそれを喜んで行うマーケターの不足はありません。

真実は、実行する価値のある唯一のテストは、あなた自身のデータに基づくテストです。 私はあなたのデータや顧客などにアクセスできません。また、A/Bテストのアイデアの膨大なリストを管理している人もいません。 私たちの誰もが何をテストするかを意味のある形で教えることはできません。

実行する価値のある唯一のテストは、独自のデータに基づくテストです。

代わりに、定性的および定量的分析を通じて、この質問に自分で答えることをお勧めします。 一般的なA/Bテストの例は次のとおりです。

  • テクニカル分析。 ストアはすべてのブラウザで適切かつ迅速に読み込まれますか？ すべてのデバイスで？ あなたは光沢のある新しいiPhone11を持っているかもしれませんが、誰かが2005年からまだMotorola Razrを揺さぶっています。あなたのサイトが適切かつ迅速に機能しない場合、それは間違いなくうまく変換されません。
  • 現地調査。 これらは、ストアの訪問者が閲覧するときにポップアップ表示されます。 たとえば、オンサイト調査では、同じページにしばらくアクセスしている訪問者に、今日の購入を妨げるものがあるかどうかを尋ねる場合があります。 もしそうなら、それは何ですか？ この定性的データを使用して、コピー率とコンバージョン率を向上させることができます。
  • 顧客インタビュー。 電話に出て顧客と話すことに代わるものはありません。 なぜ彼らは競合店よりもあなたの店を選んだのですか？ 彼らがあなたのサイトに到着したとき、彼らはどのような問題を解決しようとしていましたか？ あなたの顧客が誰であるか、そしてなぜ彼らがあなたから本当に買うのかということの核心をつかむためにあなたが尋ねることができる百万の質問があります。
  • 顧客調査。 顧客調査は、（訪問者ではなく）すでに購入した人を対象とした完全な調査です。 調査を設計するときは、顧客の定義、問題の定義、購入前の躊躇の定義、店舗の説明に使用する単語やフレーズの特定に重点を置きます。
  • 分析分析。 分析ツールはデータを適切に追跡および報告していますか？ それはばかげているように聞こえるかもしれませんが、多くの分析ツールが正しく構成されていないことに驚かれることでしょう。 分析分析とは、訪問者の行動を把握することです。 たとえば、目標到達プロセスに焦点を当てることができます。 最大のコンバージョンファネルリークはどこにありますか？ 言い換えれば、ほとんどの人があなたのじょうごから中退しているのですか？ これは、テストを開始するのに適した場所です。
  • ユーザーテスト。 これは、有料の制御された実験で実際の人々がサイトでタスクを実行しようとするのを見る場所です。 たとえば、40ドルから60ドルの範囲のビデオゲームを見つけて、カートに追加するように依頼することができます。 彼らがこれらのタスクを実行している間、彼らは彼らの考えと行動を大声で語ります。
  • セッションのリプレイ。 セッションのリプレイはユーザーテストに似ていますが、今では実際のお金と購入意欲のある実際の人々を扱っています。 実際の訪問者がサイトをナビゲートするのを見ることができます。 彼らは何を見つけるのに苦労していますか？ 彼らはどこで欲求不満になりますか？ 彼らはどこで混乱しているように見えますか？

追加のタイプの調査もありますが、あなたに最適なA/Bテスト方法を選択することから始めます。 それらのいくつかに目を通すと、テストする価値のあるデータに基づいたアイデアの膨大なリストが得られます。 あなたのリストが、これまでにない「今すぐテストする99のこと」の記事よりも多くの価値をもたらすことを保証します。

A/Bテストのアイデアの優先順位付け

A / Bテストのアイデアの膨大なリストはエキサイティングですが、何をテストするかを決定するのに正確には役立ちません。 どこから始めますか？ そこで、優先順位付けが行われます。

使用できる一般的な優先順位付けフレームワークがいくつかあります。

  • 氷。 ICEは、イン​​パクト、自信、そして使いやすさを表しています。 これらの各要素は、1〜10のランク付けを受けます。 たとえば、開発者や設計者の助けを借りずに自分で簡単にテストを実行できる場合は、簡単に8を与えることができます。 ここではあなたの判断を使用しています。複数の人がテストを実行している場合、ランキングは主観的になりすぎる可能性があります。 全員を客観的に保つための一連のガイドラインがあると役立ちます。
  • パイ。 PIEは、可能性、重要性、および容易さを表しています。 繰り返しますが、各要素は1〜10のランキングを受け取ります。 たとえば、テストがトラフィックの90％に達する場合は、8を重要視することができます。 PIEはICEと同じくらい主観的であるため、ガイドラインはこのフレームワークにも役立ちます。
  • PXL。 PXLは、CXLの優先順位付けフレームワークです。 それは少し異なり、よりカスタマイズ可能であり、より客観的な決定を余儀なくされます。 3つの要素の代わりに、はい/いいえの質問と実装のしやすさの質問があります。 たとえば、フレームワークは、「テストはモチベーションを高めるように設計されていますか？」と尋ねる場合があります。 はいの場合は1になり、いいえの場合は0になります。このフレームワークの詳細については、こちらからスプレッドシートをダウンロードしてください。

これで、どこから始めればよいかがわかりましたが、アイデアを分類するのにも役立ちます。 たとえば、最近行ったコンバージョン調査では、実装、調査、テストの3つのカテゴリを使用しました。

  • 埋め込む。 早くやれよ。 それは壊れているか明らかです。
  • 調査。 問題を定義したり、解決策を絞り込んだりするには、特別な検討が必要です。
  • テスト。 アイデアは健全でデータに基づいています。 試して！

この分類と優先順位付けの間に、設定が完了しました。

A/Bテスト統計のクラッシュコース

テストを実行する前に、統計を掘り下げることが重要です。 私は知っています、統計は通常ファンのお気に入りではありませんが、これはあなたが卒業するのに必要なコースだと考えてください。

統計はA/Bテストの大きな部分です。 幸い、A / Bテストツールと分割テストソフトウェアにより、オプティマイザーの作業が容易になりましたが、後でテスト結果を分析するには、舞台裏で何が起こっているのかを基本的に理解することが重要です。

HubSpotのGrowthMarketingManagerであるAlexBirkettは、次のように説明しています。

エキスパートヘッドショット

Alex Birkett、HubSpot

「統計は、魔法の数のコンバージョンやバイナリの「成功」ではありません。 または「失敗」のこと。 これは、不確実性の下で意思決定を行い、特定の決定の結果がどうなるかについての霧を減らすことを試みることによってリスクを減らすために使用されるプロセスです。

「それを念頭に置いて、基本を知ることが最も必要だと思います。平均とは何か、分散、サンプリング、標準偏差、平均への回帰、そして「代表的な」サンプルを構成するものです。 さらに、A / Bテストを開始するときに、人為的エラーを可能な限り軽減するために特定のガードレールを設定することも役立ちます。」

意味は何？

平均は平均です。 あなたの目標は、全体を代表する平均を見つけることです。

たとえば、ビデオゲームの平均価格を見つけようとしているとします。 世界のすべてのビデオゲームの価格を加算して、それを世界のすべてのビデオゲームの数で割るわけではありません。 代わりに、世界中のすべてのビデオゲームを代表する小さなサンプルを分離します。

あなたは数百のビデオゲームの平均価格を見つけることになるかもしれません。 代表的なサンプルを選択した場合、それらの200のビデオゲームの平均価格は、世界中のすべてのビデオゲームを代表するものでなければなりません。

サンプリングとは何ですか？

サンプルサイズが大きいほど、変動が少なくなります。つまり、平均が正確である可能性が高くなります。

したがって、サンプルを200のビデオゲームから2000のビデオゲームに増やすと、分散が少なくなり、平均がより正確になります。

分散とは何ですか？

分散は平均変動です。 基本的に、変動性が高いほど、個々のデータポイントを予測する際の平均の精度は低くなります。

では、個々のビデオゲームの実際の価格にどれだけ近いのでしょうか。

統計的有意性とは何ですか？

AとBに違いがないと仮定すると、偶然に効果が見られる頻度はどれくらいですか。

統計的有意水準が低いほど、勝ちのバリエーションがまったく勝者ではない可能性が高くなります。

簡単に言えば、有意水準が低いということは、「勝者」が本当の勝者ではない可能性が高いことを意味します（これは誤検知として知られています）。

ほとんどのA/BテストツールとオープンソースのA/Bテストソフトウェアは、事前に決定されたサンプルサイズまたは時点に到達するのを待たずに、統計的有意性を呼び出すことに注意してください。 そのため、統計的に有意なテストと統計的に有意でないテストの間でテストが前後に反転していることに気付く場合があります。

CXLInstituteの創設者であるPeepLajaは、A / Bテストの統計的有意性と、それが重要である理由をより多くの人々に理解してもらいたいと考えています。

エキスパートヘッドショット

ピープラジャ、CXLインスティテュート

「統計的有意性は妥当性と同じではありません。それは停止規則ではありません。 95％以上の統計的有意性に達した場合、それは他の2つのより重要な条件が満たされる前にほとんど意味がありません。

「1。 十分なサンプルサイズがあり、サンプルサイズ計算機を使用して計算します。 つまり、十分な数の人々が実験に参加しているので、私たちは何でも結論付けることができます。

「2。 テストは十分に長く実行されたため、サンプルは代表的なものです（サンプルの汚染を避けるには長すぎません）。 ほとんどの場合、必要なサンプルをどれだけ速く取得できるかに応じて、テストを2週間、3週間、または4週間実行することをお勧めします。」

平均への回帰とは何ですか？

A/Bテストの開始時に極端な変動に気付く場合があります。

平均への回帰は、最初の測定で何かが極端である場合、2回目の測定で平均に近づく可能性が高いという現象です。

テストを呼び出す唯一の理由が統計的有意性に達したためである場合は、誤検知が発生している可能性があります。 勝ちのバリエーションは、時間の経過とともに平均に回帰する可能性があります。

統計的検出力とは何ですか？

AとBに違いがあるとすると、どのくらいの頻度で効果が見られますか？

パワーレベルが低いほど、勝者が認識されなくなる可能性が高くなります。 パワーレベルが高いほど、勝者が認識されなくなる可能性は低くなります。 実際、知っておく必要があるのは、ほとんどのA / Bテストツールや分割テストサービスでは、80％の統計的検出力が標準であるということだけです。

OnlineDialogueの創設者であるTonWesselingは、より多くの人々が統計的検出力について知っていることを望んでいます。

エキスパートヘッドショット

トンウェッセリング、オンラインダイアログ

「多くの人が誤検知について心配しています。 フォールスネガティブについてはもっと心配しています。 ポジティブな変化が影響を与えるという証拠を見つける可能性が本当に低い実験を実行するのはなぜですか？」

外部の妥当性の脅威とは何ですか？

テストの有効性を脅かす外部要因があります。 例えば：

  • ブラックフライデーサイバーマンデー（BFCM）の売上
  • 肯定的または否定的な報道の言及
  • 主要な有料キャンペーンの立ち上げ
  • 曜日
  • 季節の移り変わり

外部の妥当性の脅威が結果に影響を与える、より一般的なA / Bテストの例の1つは、季節的なイベント中です。 12月中にテストを実行するとします。 主要な買い物の休日は、その月の間にあなたの店のトラフィックの増加を意味します。 1月に、12月の勝者のパフォーマンスが低下していることに気付くかもしれません。

なんで？

外部の妥当性の脅威のため：休日。

テストの決定に基づいたデータは異常でした。 1月に物事が落ち着くと、勝者が負けていることに驚かれるかもしれません。

外部の妥当性の脅威を排除することはできませんが、さまざまな種類のトラフィック（たとえば、有料のトラフィックを排他的にテストしてから、結果をすべてのトラフィックソースにロールアウトし、潜在的な脅威に注意します。

BFCMのような忙しいショッピングシーズン中に、または主要な外部妥当性の脅威を通じてテストを実行している場合は、A/Bテストの完全ガイドを読むことをお勧めします。

A/Bテストの設定方法

ちょっとしたA/Bテストのチュートリアルを見ていきましょう。 何かをテストする前に、確かな仮説を立てる必要があります。 （素晴らしいです。数学の授業を終えたばかりで、今は理科に進んでいます。）

心配しないでください、それは複雑ではありません。 基本的に、アイデアではなく、仮説をテストする必要があります。 仮説は測定可能であり、特定の変換問題を解決することを目指しており、勝利ではなく洞察に焦点を当てています。

アイデアではなく、仮説をA/Bテストする必要があります。

仮説を書くときはいつでも、CraigSullivanの仮説キットから借りた式を使用します。

  • あなたが見るので[データを挿入/研究からのフィードバック]
  • [テストしている変更]が[予想される影響]を引き起こし、
  • [データメトリック]を使用してこれを測定します

簡単ですよね？ あなたがしなければならないのは空欄を埋めるだけで、あなたのテストのアイデアは仮説に変わりました。

A/Bテストツールの選択

これで、A/Bテストツールまたは分割テストサービスの選択を開始できます。 多くの場合、最初にGoogle Optimize、Optimizely、およびVWOについて考えます。

すべてが良い、安全なオプションです。

  • Googleオプティマイズ。 無料です。多変量の制限を除けば、始めたばかりの場合はそれほど影響はありません。 これは、Google Analytics A/Bテストを実行するときにうまく機能します。これはプラスです。
  • Optimizely。 技術的なスキルがなくても、マイナーなテストを簡単に実行できます。 統計エンジンを使用すると、テスト結果の分析が簡単になります。 通常、Optimizelyは3つの中で最も高価なオプションです。
  • VWO。 VWOには、分析を容易にするSmartStatsがあります。 さらに、初心者向けの優れたWYSIWYGエディターがあります。 すべてのVWOプランには、ヒートマップ、オンサイト調査、フォーム分析などが付属しています。

Shopify App Storeには、役立つと思われるA/Bテストツールもいくつかあります。

A / Bテストツールまたは分割テストソフトウェアを選択したら、サインアップフォームに記入し、表示される手順に従います。 プロセスはツールごとに異なります。 ただし、通常は、サイトにスニペットをインストールして目標を設定するように求められます。

A/Bテストの結果を分析する方法

仮説を書くことで焦点が勝利から洞察に移ると言ったのを覚えていますか？ Googleのアナリティクスアドボケイト兼プロダクトマネージャーであるKristaSeidenは、その意味を次のように説明しています。

エキスパートヘッドショット

クリスタセイデン、グーグル

「A/Bテストの最も見過ごされている側面は、敗者から学ぶことです。実際、私が実行した最適化プログラムでは、「失敗レポート」を公開する習慣があり、そこで最大の敗者のいくつかを呼び出します。四半期と私たちが彼らから学んだこと。

「私の一番のお気に入りの1つは、何ヶ月もかけて作成されたキャンペーンからのものでした。 公開される直前にランディングページのテストをこっそり行うことができましたが、それは惨めに失敗したので、私たちが行ったのは良いことです。 実際にページをそのまま立ち上げていたら、収益に大きな打撃を与えていただろう。 私たちはビジネスに莫大なお金を節約することになっただけでなく、新しいページのパフォーマンスが非常に悪い理由について掘り下げていくつかの仮定を立てることができました（後でテストしました）。将来のキャンペーンで。」

仮説を正しく作成すれば、敗者でも勝者になります。これは、将来のテストやビジネスの他の領域で使用できる洞察が得られるためです。 したがって、テスト結果を分析するときは、テストが勝ったか負けたかではなく、洞察に焦点を当てる必要があります。 学ぶべきことが常にあり、分析するべきことが常にあります。 敗者を解雇しないでください！

仮説を正しく作成すれば、敗者でさえ勝者になります。

ここで注意すべき最も重要なことは、セグメンテーションの必要性です。 テストは全体的に敗者になる可能性がありますが、少なくとも1つのセグメントでうまく実行される可能性があります。 セグメントとはどういう意味ですか？

  • 新規訪問者
  • リピーター
  • iOSの訪問者
  • Androidの訪問者
  • Chromeの訪問者
  • Safariの訪問者
  • デスクトップ訪問者
  • タブレットの訪問者
  • オーガニック検索の訪問者
  • 有料訪問者
  • ソーシャルメディアの訪問者
  • ログインしたバイヤー

わかりますよね？

テストツールで結果を見るときは、キャンディーの箱全体を見ていることになります。 あなたがする必要があるのはあなたが最後に赤いものを食べることができるように色によってSmartiesを分けることです。 つまり、より深く、セグメント化された洞察を明らかにすることができます。

仮説が特定のセグメント間で正しく証明された可能性があります。 それはあなたにも何かを教えてくれます。

分析は、テストが勝者であるか敗者であるかということだけではありません。 データをセグメント化して、表面下に隠された洞察を見つけます。

A / Bテストツールは分析を行わないため、これは時間をかけて開発するための重要なスキルです。

無料の電子ブック：初心者向けのeコマース分析

オンラインビジネスを確立して成長させるための鍵となる指標を見つけてください。 この無料ガイドは、eコマース分析について学ぶための完璧な最初のステップです。

過去のA/Bテストをアーカイブする方法

明日最初のテストを実行するとします。 明日から2年後、そのテストの詳細を覚えていますか？ ありそうもない。

そのため、A/Bテストの結果をアーカイブすることが重要です。 手入れの行き届いたアーカイブがなければ、得ている洞察はすべて失われます。 さらに、私はあなたを子供にしません。アーカイブしていない場合、同じことを2回テストするのは非常に簡単です。

ただし、これを行うための「正しい」方法はありません。 プロジェクトや効果的な実験などのツールを使用することも、Excelを使用することもできます。 特に始めたばかりのときは、それは本当にあなた次第です。 次のことを追跡していることを確認してください。

  • 仮説
  • コントロールとバリエーションのスクリーンショット
  • 勝ったか負けたか
  • 分析を通じて得られた洞察

あなたが成長するにつれて、あなたはこのアーカイブを保持してくれたことに感謝するでしょう。 それはあなたを助けるだけでなく、新入社員やアドバイザー/利害関係者にも役立ちます。

プロのA/Bテストプロセス

標準のA/Bテストのチュートリアルを終えたので、GoogleやHubSpotなどの企業のプロの正確なプロセスを見てみましょう。

無料の読書リスト：初心者のための変換の最適化

コンバージョン最適化の短期集中コースを受講して、より多くのWebサイト訪問者を顧客に変えましょう。 以下の影響力の大きい記事の無料の厳選されたリストにアクセスしてください。

クリスタセイデン、グーグル

WebおよびアプリのA/Bテストの段階的なプロセスは、分析から始まります。私の意見では、これは優れたテストプログラムの中核です。 分析段階での目標は、分析データ、調査データ、UXデータ、またはその他の顧客インサイトのソースを調べて、最適化の機会がどこにあるかを理解することです。

分析段階からアイデアの良いパイプラインができたら、何がうまくいかないのか、そしてこれらの最適化の領域をどのように修正または改善できるのかという仮説に進むことができます。

次に、テストをビルドして実行します。 必ず妥当な時間実行し（週ごとの変更または異常を確実に考慮できるように、デフォルトで2週間）、十分なデータがある場合は、結果を分析して勝者を決定します。

この段階で敗者を分析することも重要です。これらのバリエーションから何を学ぶことができますか？

最後に、確実な最適化プログラムの基礎を築くのに時間を費やして初めてこの段階に到達する可能性があります。それでは、パーソナライズを検討するときです。 これは必ずしも凝ったツールセットを必要としませんが、むしろあなたがあなたのユーザーについて持っているデータから出てくることができます。

マーケティングのパーソナライズは、適切なコンテンツを適切な場所にターゲティングするのと同じくらい簡単な場合もあれば、個々のユーザーアクションに基づいてターゲティングするのと同じくらい複雑な場合もあります。 ただし、パーソナライズビットに一度に飛び込むことはしないでください。 最初に基本を正しく理解するために十分な時間を費やしてください。

Alex Birkett、HubSpot

大まかに言えば、私はこのプロセスに従うようにしています。

  • データを収集し、分析の実装が正確であることを確認します。
  • データを分析し、洞察を見つけます。
  • 洞察を仮説に変えます。
  • 影響と容易さに基づいて優先順位を付け、リソース（特に技術リソース）の割り当てを最大化します。
  • テストを実行します（統計のベストプラクティスに従って、私の知識と能力を最大限に発揮します）。
  • 結果を分析し、結果に従って実装するかどうか。
  • 調査結果に基づいて繰り返し、繰り返します。

もっと簡単に言えば、調査、テスト、分析、繰り返しです。

このプロセスは、コンテキストに基づいて逸脱または変更される可能性があります（ビジネスクリティカルな製品機能をテストしていますか？ブログ投稿CTAですか？イノベーションとリスク軽減のリスクプロファイルとバランスはどのようなものですか？）、どのサイズにもかなり適用できますまたは会社の種類。

重要なのは、このプロセスは機敏であるだけでなく、定性的な顧客フィードバックと定量的な分析の両方で十分なデータを収集し、より良いテストアイデアを考え出し、それらに優先順位を付けて、オンラインストアへのトラフィックを増やすことができるようにすることです。

トンウェッセリング、オンラインダイアログ

カスタマージャーニーを最適化したいときに私たちが常に答える最初の質問は、この製品またはサービスは、オンラインダイアログで作成したROARモデルのどこに適合するかということです。 まだ多くの調査を行うことができるリスクフェーズにありますが、A / Bテストのオンライン実験（1か月あたりのコンバージョン数が1,000未満）では結果を検証できませんか、それとも最適化フェーズにありますか？ またはそれ以上？

  • リスクフェーズ：多くの調査。これは、ビジネスモデルの要点から、まったく新しい設計や価値提案に至るまで、あらゆるものに変換されます。
  • 最適化フェーズ：価値提案とビジネスモデルを最適化する大規模な実験。
  • 最適化フェーズ：ユーザーの行動仮説を検証するための小規模な実験。これにより、大規模な設計変更に関する知識が蓄積されます。
  • utomation ：まだ実験力（訪問者）が残っています。つまり、ユーザージャーニーを検証するために完全なテストの可能性は必要ありません。 残っているものは、（長期的な学習に焦点を当てることなく）今より速く成長するために利用するために使用されるべきです。 これは、盗賊を実行する/アルゴリズムを使用することで自動化できます。
  • 再考：何か新しいものへのピボットでない限り、あなたはたくさんの研究を追加するのをやめます。

ROOAR

したがって、WebまたはアプリのA / Bテストは、ROARの最適化フェーズおよびそれ以降（再考するまで）でのみ重要です。

実験を実行するための私たちのアプローチは、FACT＆ACTモデルです。

事実と行為

私たちが行っている調査は、5Vモデルに基づいています。

5Vモデル

これらすべての洞察を収集して、研究に裏付けられた主要な仮説を立てます。これにより、デスクトップまたはモバイルA/Bテストで収集されたデータに基づいて優先順位が付けられるサブ仮説が導き出されます。 仮説が真になる可能性が高いほど、ランクが高くなります。

仮説が正しいか間違っているかを学習したら、学習の組み合わせを開始し、カスタマージャーニーの大部分を再設計/再調整することで、より大きなステップを踏むことができます。 ただし、ある時点で、すべての勝利の実装は極大になります。 次に、潜在的なグローバル最大値に到達できるようにするために、より大きな一歩を踏み出す必要があります。

そしてもちろん、主な学習内容は会社全体に広がり、検証済みのファーストパーティの洞察に基づいて、あらゆる種類のより広範な最適化と革新につながります。

あなたは国際的な聴衆にマーケティングしていますか？ 疑似ローカリゼーションを使用してそのプロセスを簡単にする方法を学びます。

Julia Starostenko、Shopify

実験の目的は、既存のWebページに変更を加えることがビジネスにプラスの影響を与えることを検証することです。

始める前に、実験を実行することが本当に必要かどうかを判断することが重要です。 次のシナリオを考えてみましょう。クリック率が非常に低いボタンがあります。 このボタンのパフォーマンスを低下させることはほぼ不可能です。 したがって、ボタンに対する提案された変更の有効性を検証する（つまり、実験を実行する）必要はありません。

同様に、提案されたボタンの変更が小さい場合は、実験の設定、実行、および破棄に時間を費やす価値はないでしょう。 この場合、変更はすべての人にロールアウトする必要があり、ボタンのパフォーマンスを監視できます。

実験を実行することが実際に有益であると判断された場合、次のステップは、改善する必要のあるビジネス指標を定義することです（たとえば、ボタンのコンバージョン率を上げる）。 次に、適切なデータ収集が行われていることを確認します。

これが完了すると、オーディエンスは2つのグループ間でランダムに分割テストを実行します。 one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

ピープラジャ、CXLインスティテュート

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • ResearchXLなどのフレームワークを使用してコンバージョン調査を実施し、サイトの問題を特定します。
  • 優先度の高い問題（ユーザーの大部分に影響を及ぼし、深刻な問題である問題）を選び、この問題に対するできるだけ多くの解決策をブレインストーミングします。 コンバージョン調査の洞察を使用して、アイデアのプロセスに情報を提供します。 テストを実行するデバイスを決定します（デスクトップとは別にモバイルA / Bテストを実行する必要があります）。
  • （トラフィック/トランザクションレベルに基づいて）テストできるバリエーションの数を決定し、制御に対してテストするソリューションとして最適な1つから2つのアイデアを選択します。
  • 正確な処理（コピーの作成、デザインの変更など）をワイヤーフレーム化します。変更の範囲によっては、新しい要素をデザインするためにデザイナーを含める必要がある場合もあります。
  • フロントエンド開発者に、テストツールに処理を実装してもらいます。 必要な統合（Google Analytics）を設定し、適切な目標を設定します。
  • テストでQAを実施し（壊れたテストはA / Bテストの最大のキラーです）、すべてのブラウザーとデバイスの組み合わせで機能することを確認します。
  • テストを開始します！
  • テストが完了したら、テスト後の分析を実行します。
  • 結果に応じて、勝者を実装するか、治療を繰り返すか、または他の何かをテストします。
テンプレートアイコン

無料のウェビナー：

マーケティング101

売り上げを伸ばすのに苦労していますか？ この無料のトレーニングコースで、初日から最初の販売に至る方法を学びましょう。

今すぐ登録

ビジネス向けにA/Bテストを最適化する

あなたにはプロセスがあり、あなたには力があります！ だから、そこに出て、最高のA / Bテストソフトウェアを入手して、ストアのテストを開始してください。 あなたがそれを知る前に、それらの洞察はあなたの銀行でより多くのお金になります。

最適化について引き続き学習したい場合は、UdacityのGoogleによるA/Bテストなどの無料コースを受講することを検討してください。 最適化スキルセットを向上させるためのWebおよびモバイルアプリのA/Bテストについて詳しく知ることができます。