モバイルA / Bテスト：避ける必要のある7つの大きなエラーと誤解

公開: 2021-10-23

マーケティング全体が主にデータに依存していることは周知の事実です。同じことがモバイルマーケティングとユーザー獲得にも当てはまります。このドメインでは、AppStoreとGooglePlayに適切な製品ページ要素を選択することで、アプリやモバイルゲームの成功に決定的な違いをもたらすことができます。モバイルA / Bテストは、データに基づいてその選択を行うのに役立つツールです。

しかし、A / Bテストでは望ましい結果が得られない、または誰かがモバイル実験を正しく実行できるかどうか確信が持てないという議論を何度も聞いたことがありますか？これは、よくある間違いやデータの誤解が原因でよく発生します。この投稿では、モバイルアプリのA / Bテストにおける最大の間違いと誤解を招く結論について説明します。これらの知識は、成功を収めるのに役立ちます。

1.適切な量のトラフィックを取得する前に実験を終了する

これは、モバイルA / Bテストで最もよくある間違いの1つです。従来のA / Bテストを順守している場合、必要な量のトラフィック（サンプルサイズ）を取得する前に実験を終了すると、統計的に信頼できない結果が得られるリスクがあります。

信頼できる証拠を取得するには、AとBの両方のバリエーションで必要なトラフィック量に達するまで待つ必要があります。

従来のオプションに代わるものを探している場合は、シーケンシャルA / Bテストに頼ってください。あなたは、ベースラインの変換率（現在の変化の換算レート）、統計的パワー（デフォルトでは80％）、有意水準と最小検出可能な効果（MDE）を指定して開始する必要があります-これは、あなたがサンプルサイズを判断するのに役立ちます。

有意水準はデフォルトで5％です。これは、許容誤差が5％を超えないことを意味します。この値は、 MDEと一緒にカスタマイズできます。これは、予想される最小のコンバージョン率の増加です。注：実験を開始した後は、有意水準、MDE、または統計的検出力を変更しないでください。

シーケンシャルA / Bテストでは、アルゴリズムは、実験が完了するまで、有意水準と残りのトラフィック量の変動を常にチェックします。これが、SplitMetrics A / Bテストプラットフォームでの動作方法です。

教訓：従来のA / Bテストを実行する場合は、適切なトラフィック量に達するまで実験を終了しないでください。または、シーケンシャルA / Bテストを試してみてください。そうすれば、いつでも結果を確認できます。

2。7日が経過する前に実験を終了する

なぜ少なくとも7日間待たなければならないのですか？さて、さまざまなアプリやモバイルゲームは、週のさまざまな日にアクティビティのピークを経験します。たとえば、ビジネスアプリは月曜日にアクティビティのバーストを監視しますが、ゲームは週末にユーザーの間で最も人気があります。

モバイルA / Bテストの実験から信頼できる結果を得るには、実験中にアプリのピーク日をキャプチャする必要があります。 そうしないと、結論にジャンプするリスクがあります。

たとえば、タスク管理アプリのテストを実行します。水曜日に実験を開始し、土曜日に終了します。しかし、ターゲットオーディエンスのほとんどは月曜日にアプリを利用しているため、アクティビティの急増が実験期間に入っていないため、ポイントを逃してしまいます。またはその逆に、金曜日から日曜日まで、ゲームのピーク日にレーシングゲームのA / Bテストを実行しています。この場合、結果も不十分になります。

したがって、一番の間違いを避けて、最初の日に必要な量のトラフィックをすでに獲得している場合でも、7日が経過するまで実験を停止しないでください。

教訓：モバイルゲームやアプリごとに異なるアクティビティのピークが弱いため、完全な（7日間の）サイクルが経過する前に実験を終了しないでください。

3.設計の小さすぎる変更をテストする

モバイルA / Bテストでよくあるもう1つの間違いは、デザインのわずかな違いのためにほぼ同じように見えるバリエーションを比較することです。

テストしているモバイルアプリアイコンの唯一の違いが水色ではなく青色の背景色である場合、または別のスクリーンショットバリエーションに小さな詳細を追加した場合は、間違いなく問題が発生しています。ユーザーはそのような小さな変更に気付かないだけです。

この場合、両方のバリエーションで同じ結果が表示され、完全に正常です。したがって、アプリストアのA / Bテストを実行しようとしたが、それをあきらめた場合は、バリエーションが同じように実行されたため、何が悪かったのかを振り返るときが来ました。たぶんあなたのバリエーションはほとんど同じに見えました。

重要な変更をA / Bテストしていることを確認するには、両方のバージョンを家族または友人に見せてください。同僚に各バリエーションを3〜5秒間見てもらいます。彼らが違いを知らない場合は、ビジュアルアセットを再設計することをお勧めします。

教訓：設計の変更が小さすぎるバリエーションをテストする場合、同じ結果が表示されることを期待する必要があります。このような変更はユーザーにとって重要ではないため、互いに著しく異なるアプリのアイコンとスクリーンショットをテストすることをお勧めします。

4.バナー広告は、アプリストアのビジュアルアセットの1つと同じデザインです。

SplitMetricsなどのサードパーティのモバイルA / Bテストツールを使用する場合は、トラフィックを購入し、広告ネットワークにバナーを配置します。重要なのは、そのようなバナーは、スクリーンショットであろうとアイコン上の同じ要素であろうと、テストしているビジュアルアセットの1つのように見えるべきではないということです。

たとえば、教育用アプリの実験を実行します。バリエーションAのアイコンと同じ要素を持つバナーをデザインしますが、バリエーションBは完全に別のアイコンです。バリエーションAは、バナーユーザーが最初に見てクリックしたのと同じデザインであるため、コンバージョン率が高くなります。

研究によると、人々が何かを繰り返し見ると、脳は情報をより速く処理し、それが彼らに好みの感覚をもたらすことが示されています。あなたはそれについてもっと読むことができます。そのため、ユーザーは無意識のうちにすでに馴染みのある画像をタップする傾向があります。

教訓：バナー広告に取り組むときは、デザインをできるだけニュートラルにします。バナーのデザインは、アプリのアイコンやスクリーンショットのバリエーションのデザインと一致してはなりません。

5.一度に複数の仮説をテストする

複数の変更を加えて、同じ実験内でそれらをテストすることは意味がありません。 一部のモバイルマーケターは、テストを実行した後に間違った結論を導き出します。これは、いくつかの変更を加えたため、実際、結果に正確に影響したものを知ることができないためです。

アプリストアの商品ページのスクリーンショットの色を変更することにした場合は、別の背景色で1つまたはいくつかのバリエーションを作成し、テストを実行します。スクリーンショットの色、順序、テキストを同時に変更しないでください。それ以外の場合は、勝利のバリエーション（バリエーションBとします）が表示され、実際に機能したのが色の変更であるかどうかはわかりません。

教訓：一度に複数の仮説をテストすると、どれが正しいかを理解できなくなります。

6. 2つのバリエーションが同じであるが、勝者が得られる場合の状況の誤解

A / Aテストを実行しているときに、A / Bテストツールが2つの同一のアセット間で勝者のバリエーションを示していると、混乱する可能性があります。特に、これは実験を実行するためのGooglePlayストアの組み込みツールで一般的です。

SplitMetricsプラットフォームでは、5％の有意水準で、このような場合、結果は重要ではないことがわかります。

まったく同じ2つのバリエーションのわずかな違いは、まったくの偶然です。 ユーザーが異なれば、反応も少し異なります。コインを投げるのと同じです。頭または尾が出る確率は50-50で、バリエーションの1つがより良い結果を示す確率は50-50です。

このような状況で統計的に有意な結果を得るには、絶対にすべてのユーザーから結果を得る必要がありますが、これは不可能です。

学んだ教訓：同一のアセットをテストするときに勝利のバリエーションが得られた場合、A / Bテストツールに問題はありません。それは単なる偶然です。ただし、シーケンシャルA / Bテストでは、結果は重要ではないことがわかります。

7.新しいバリエーションが現在のバリエーションに負けたときに動揺する

一部のモバイルマーケターとユーザー獲得マネージャーは、現在のバリエーションが予想外に勝ったことを実験が示したときに失望し、新しいバリエーションが最終的に勝つことを期待して、より多くの有料トラフィックに予算を浪費し始めます。

あなたの仮説が確認されていなければ、気分が悪くなる理由はありません。 テストせずにアプリストアの製品ページで何かを変更した場合、潜在的な顧客の一部を失い、その結果、お金を失うことになります。同時に、この実験にお金を費やしたので、あなたは知識の代金を払いました。これで、アプリで機能するものと機能しないものがわかりました。

教訓：すべてが理由で発生します。A/ Bテストで仮説が確認されなかったとしても、後悔することはありません。これで、ゲームまたはアプリでどのアセットが最適に機能するかについて明確なビジョンが得られました。