A / Bテストを成功させるための準備方法

公開: 2021-06-15

私がメールで気に入っていることの1つは、データです。 すぐに利用できるため、分割テストを実行して、電子メールのパフォーマンスをリアルタイムで確認するのは簡単です。 スプレッドシートをじっくり見て、まるで接近戦を見ているかのようにデータを絶えず更新していることに気付くことがよくあります。

ただし、A / Bテストが正しく設定されていなければ、それは問題ではありません。

強固な基盤がないと、A / Bテストの結果は信頼できず、間違った方向に進む可能性があります。 そして、それはエンゲージメント、コンバージョン、そして最終的にはサブスクライバーと顧客にコストをかける可能性があります。 したがって、次のテストについて考える前に、マーケティング戦略を推進するために必要な洞察を得るために成功するための準備が整っていることを確認してください。

また、常駐テストの専門家であり上級成長マネージャーであるJohn Kimよりも、A / Bテストについて話す方がよいでしょうか。 ジョンは私たちのウェブサイトでほとんどの変換テストを実行し、私自身のスキルを磨くためにかなりのことを教えてくれました。 そして今、あなたも彼から学ぶことができます。

A / Bテストを成功させるために必要な重要なことは何ですか？

テストする場所（メール、ウェブサイト、アプリ内広告、有料広告など）に関係なく、基本は同じです。 それらを正しく理解すれば、信頼して行動を起こすことができる結果に向かって順調に進んでいます。

あなたがテストしているものを知っている

A / Bテストを実行する前に、テストする予定の内容を正確に理解することが重要です。 リトマスでは、成功と学習の可能性を最大化するために、A / Bテストごとに文書化するいくつかの基準があります。

仮説

おそらく、A / Bテストの最も重要な要素である良い仮説は、解決しようとしている問題への答えです。

あなたの仮説は明確で、焦点を絞っており、いくつかの根底にある、または限られた証拠で作られている必要があります。 簡単に言えば、それはあなたが複雑なビジネス問題をどのように解決するかについての知識に基づいた推測です。 実験は仮説をテストするように設計されているため、仮説を明確に定義することが重要です。

仮説を書き始めましょう！ 私たちの場合、それらはif-thenステートメントを使用して記述されることがよくあります。

例：標準のボタンの色を緑ではなくオレンジに変更すると、クリックスルーが増加します。

ゴール

実験を実行する前に文書化したい次の要素は、実験の目標です。 最終的に、あなたはあなたのビジネスのために何を達成しようとしていますか？

成功があなたにとって何を意味するのかを明確にしてください。

例：私たちの目標は、ボタンのクリックスルーを増やして、次のページのコンバージョンを増やし、全体としてより多くのトライアルサインアップまたはアクティベーションを実現することです。

指標

実験を実行する前に、主要な指標について何を監視するかを知っておくことが重要です。 仮説と目標を前提として、以前に述べた目標に関して、成功を判断するために使用する1つまたは2つのメトリックについて明確にします。

次のことを確認する必要があるため、この手順は重要です。

  1. どの指標があなたにとって重要かを知る
  2. そのアクティビティを監視し、特定のユーザーとコホート（全体的なオーディエンスから取得したテストおよびコントロールオーディエンス）に関連付ける機能があります。
  3. セカンダリメトリックを理解します。プライマリメトリックに加えて、ユーザーが残りのエクスペリエンスとどのように対話するかを監視することが重要です。

ガードレール

特定のテストがビジネスに影響を与える可能性のあるさまざまな方法は、驚くべきことです。

このステップで行うことは、今後のA / Bテストがプラスまたはマイナスの影響を与える可能性のあるすべてのメトリックとチャネルを文書化することです。

次のことができるように、この演習を行うことが重要です。

  1. 特定のテストの驚きを最小限に抑える
  2. 潜在的なメリットとリスク/ガードレールを（可能な限り）比較検討します。

私たちのチームは、テストの準備に多大な努力を払っています。 私たちは、現実的な期待、成功と失敗のしきい値を使用して各テストに参加し、多数の結果に備えています。

LitmusAnalyticsであまり一般的ではない電子メールメトリックにアクセスする

開封率、クリック率、退会率などの標準的な電子メールメトリックは、それだけを教えてくれます。 電子メールクライアント、読み取り速度などの詳細を使用して、オーディエンスが電子メールをどのように操作しているかを理解します。

より多くのメールデータを取得する→

分割テストと追跡

A / Bテストまたは分割テストは広く利用可能な機能であり、ほとんどの電子メールサービスプロバイダー（ESP）およびマーケティングオートメーションプラットフォームで提供されます。 マーケティングサイトまたはアプリでテストを実行する場合は、VWOやOptimizelyなどのツールもソリューションを提供します。

オーディエンスの選択に関しては、統計的有意性を確立するために全体的なテストに参加するためにオーディエンスから必要な人数、またはグループAとグループBのコンバージョン率の違いが偶然によるものではない可能性を判断します。 。 十分な数のオーディエンスがいる場合は、オーディエンス全体の一部を切り分けて、50/50をこれらのグループに分割することをお勧めします。 ここリトマスでは、何年にもわたって役立つさまざまなツールに出くわしました。 私たちのお気に入りの1つは、NeilPatelのA / Bテスト計算機です。

テストオーディエンスに参加する必要がある人数を決定したら、その半分に変更を適用しないでください。 このグループがコントロールグループになります。 可能な限り、彼らの経験は、あなたがあなたのベースラインまたは典型的な経験であると考えるものに非常に似ているべきです。 オーディエンスの残りの半分は、バリアントコホートになります。 このグループのユーザーには、テスト処理を適用します。

A / Bテストは通常​​、コホートレベルで分析されます。 意味-治療経験を受けたコホートが対照コホートと有意に異なって変換されたかどうかを評価します。

聴衆を特定のコホートに配置することはランダムであり、すべての特定のメンバーが1回の治療のみを受けることが重要です。 各コホート（テストとコントロール）の構成を検討する場合、単一のコホートのユーザーの特定の人口統計、企業統計、またはその他の特性に偏りが生じないようにする必要があります。 コホートをランダム化し、バリアントを少なくすることで、コホートがランダムに選択されたオーディエンスを表すようになります。

まとめ

A / Bテストは難しいものである必要はありませんが、正しく設定しないと、そこから得た洞察はあまり意味がありません。 ここで探求した基礎を理解することで、成功への準備が整うので、学んだことをマーケティング戦略全体に適用できます。 一歩下がって各要素について考えてみてください。そうすれば、順調に進むことができます。 メールマーケティングのA / Bテストに関するブログにご注目ください。ここでは、お気に入りのチャネルのテストについてさらに詳しく説明します。

より多くのデータ。 より多くの洞察。

標準の電子メールメトリックを超えたときに、より多くの電子メールデータ（より多くの洞察）を取得します。 LitmusPlusに組み込まれているLitmusEmail Analyticsの機能を使用して、読み取り速度、転送速度などにアクセスします。

LitmusPlusを無料でお試しください→