移動 A/B 測試：您需要避免的 7 個大錯誤和誤解

營銷總體上很大程度上依賴於數據，這已經不是什麼秘密了。 這同樣適用於移動營銷和用戶獲取。 在這個領域，為 App Store 和 Google Play 選擇正確的產品頁面元素可以對應用程序或手機遊戲的成功產生至關重要的影響。 移動 A/B 測試是一種有助於根據數據做出選擇的工具。

然而，我們有多少次聽到 A/B 測試沒有帶來預期結果的爭論，或者有人不確定他們是否正確地進行了移動實驗？ 這通常是由於一些常見的錯誤和對數據的誤解而發生的。 在這篇文章中，我將介紹移動應用 A/B 測試中最大的錯誤和誤導性結論，了解這些將幫助您取得成功。

1. 在獲得合適的流量之前完成實驗

這是移動 A/B 測試中最常見的錯誤之一。 如果您是經典 A/B 測試的擁護者，則在獲得必要的流量（樣本大小）之前完成實驗存在風險，您將獲得統計上不可靠的結果。

要獲得可靠的證據，您需要等到 A 和 B 變體都達到所需的流量。

如果您正在尋找經典選項的替代方案，請使用順序 A/B 測試。 您將需要開始與指定的基線轉化率（當前的變化的轉換率），統計功率（80％默認情況下），顯著性水平和最低檢出效應（MDE） -這將幫助您確定樣本規模。

顯著性水平默認為 5%，即誤差幅度不會超過 5%。 您可以與MDE一起自定義此值 -您希望看到的最小預期轉化率增加。 注意：不要在開始實驗後更改顯著性水平、MDE 或統計功效。

通過順序 A/B 測試，該算法將不斷檢查您在顯著性水平和剩餘流量方面的變化，直到實驗完成。 這就是它在我們的 SplitMetrics A/B 測試平台上的工作方式。

經驗教訓：如果您運行經典的 A/B 測試，請在達到正確的流量之前不要完成實驗。 或者，嘗試順序 A/B 測試，您將可以隨時檢查結果。

2. 7天前完成實驗

為什麼至少要等7天？ 好吧，各種應用程序和手機遊戲會在一周中的不同天體驗活動高峰。 例如，商業應用程序在星期一觀看活動的爆發，而遊戲在周末最受用戶歡迎。

為了從移動 A/B 測試實驗中獲得可靠的結果，您應該在實驗期間捕獲應用程序的高峰天數。 否則，您將冒著妄下結論的風險。

例如，您為任務管理應用程序運行測試。 你在周三開始實驗，週六完成。 但是您的大多數目標受眾都在星期一使用您的應用程序，因此您將錯過重點，因為活動激增尚未進入實驗期。 反之亦然，從周五到週日，您一直在為您的賽車遊戲運行 A/B 測試：在遊戲的高峰日。 在這種情況下，結果也會不充分。

因此，即使您已經避免了第一個錯誤並且在第一天就已經獲得了所需的流量，也不要在 7 天后停止實驗。

經驗教訓：由於每個手機遊戲或應用程序的活動峰值較弱，因此請勿在完整（7 天）週期過去之前完成實驗。

3. 測試設計中的變化太小

移動 A/B 測試中一個更常見的錯誤是比較由於設計上的微小差異而看起來幾乎相同的變體。

如果您正在測試的移動應用程序圖標之間的唯一區別是藍色背景色而不是淺藍色，或者您在另一個屏幕截圖變體中添加了一個小細節，那麼您肯定有麻煩了。 用戶只是不會注意到如此小的變化。

在這種情況下，兩種變化都會顯示相同的結果，這是完全正常的。 因此，如果您曾嘗試運行應用商店 A/B 測試但後來放棄了它們，因為變化的表現相同，現在是時候反思哪裡出了問題。 也許你的變化看起來幾乎一樣。

為確保您正在對重大更改進行 A/B 測試，請將這兩個版本都展示給您的家人或朋友。 讓您的同事觀察每個變化 3-5 秒。 如果他們不知道其中的區別，您最好重新設計您的視覺資產。

經驗教訓：如果您測試設計更改太小的變體，您應該期望它們會顯示相同的結果。 這樣的變化對用戶來說太微不足道了，所以最好測試彼此明顯不同的應用程序圖標和屏幕截圖。

4.您的橫幅廣告與應用商店視覺資產之一具有相同的設計

如果您使用第三方移動 A/B 測試工具，例如 SplitMetrics，您購買流量並在廣告網絡上放置橫幅。 關鍵是這樣的橫幅不應看起來像您正在測試的視覺資產之一，無論是屏幕截圖還是圖標上的相同元素。

例如，您為教育應用運行實驗。 您設計的橫幅具有與變體 A 中的圖標相同的元素，而變體 B 則完全是另一個圖標。 變體 A 將顯示更高的轉化率，因為它具有與用戶最初看到和點擊的橫幅相同的設計。

研究表明，如果人們反复看到某樣東西，他們的大腦會更快地處理信息，從而產生喜歡的感覺。 你可以在這裡讀更多關於它的內容。 因此，用戶往往會無意識地點擊已經熟悉的圖像。

經驗教訓：在橫幅廣告上工作時，使設計盡可能中性。 橫幅設計不應與您的應用圖標或屏幕截圖變體的設計一致。

5.一次測試幾個假設

在同一個實驗中進行多次更改並對其進行測試是沒有意義的。 一些移動營銷人員在運行測試後得出錯誤的結論，因為他們進行了多次更改，實際上無法知道究竟是什麼影響了結果。

如果您決定更改應用商店產品頁面屏幕截圖的顏色，請使用另一種背景顏色創建一個或幾個變體並運行測試。 不要同時更改屏幕截圖上的顏色、順序和文本。 否則，您將看到獲勝的變體（讓它成為變體 B），並且您將不知道它是否是實際起作用的顏色變化。

經驗教訓：如果您一次測試多個假設，您將無法理解其中哪一個是正確的。

6. 當兩個變體相同但您獲得勝利時，會誤解這種情況

在運行 A/A 測試時，當 A/B 測試工具顯示兩個相同資產之間的獲勝變化時，您可能會感到困惑。 特別是，這對於 Google Play 商店用於運行實驗的內置工具很常見。

在 SplitMetrics 平台上，在 5% 的顯著性水平上，在這種情況下，您會看到結果不顯著。

兩個完全相同的變化之間的微小差異純屬巧合。 不同的用戶反應略有不同。 這就像拋硬幣一樣：有 50-50 的機率會出現正面或反面，而其中一個變體有 50-50 的機率會顯示出更好的結果。

要在這種情況下獲得具有統計意義的結果，您應該從絕對所有用戶那裡獲得結果，這是不可能的。

經驗教訓：如果您在測試相同的資產時獲得了成功的變體，那麼您的 A/B 測試工具沒有任何問題，這只是巧合。 但是，通過順序 A/B 測試，您會發現結果微不足道。

7. 當新變體輸給當前變體時感到不安

一些移動營銷人員和用戶獲取經理在實驗表明當前變體獲勝時感到失望，這是他們沒想到的，並開始將預算浪費在更多付費流量上，希望新變體最終獲勝。

如果你的假設沒有得到證實，沒有理由感到難過。 如果您未經測試就更改了應用商店產品頁面上的某些內容，您將失去部分潛在客戶，從而損失金錢。 同時，在這個實驗上花錢了，你也為知識付費了。 現在您知道什麼對您的應用程序有效，什麼無效。

經驗教訓：任何事情的發生都是有原因的，如果你的 A/B 測試沒有證實你的假設，你不應該感到抱歉。 您現在可以清楚地了解哪些資產最適合您的遊戲或應用程序。