移動應用程序 A/B 測試入門? 這是您可以立即嘗試的想法

已發表: 2023-04-19

如果您想開始試驗您的移動應用程序,那麼這就是您需要的文章。 目的是讓您在本文結束時熟悉創建假設、測試變體以及測量和實施更改。 因此,所討論的想法和示例簡單易行。

您可以嘗試的移動應用實驗類型

讓我們看看對應用程序用戶體驗有顯著影響的前四項實驗,並使用真實示例展示如何在 VWO 中嘗試它們。

移動測試示例 6 1
運行全面的移動應用程序 A/B 實驗以根據數據做出決策

1.搜索實驗

注意力持續時間較短的用戶很容易分心,如果障礙物太多,可能不會採取行動。 鑑於移動設備上的屏幕空間有限,包含大量菜單或各種過濾器以幫助在應用程序內導航是不切實際的。 因此,整合和優化搜索功能對於提高產品或功能的知名度並確保移動應用程序的適當展示是必要的。

要跟踪的指標

假設您已經在考慮優化應用搜索,請密切關注以下一些指標:

  • 搜索退出率
  • 選擇搜索中顯示的項目的用戶數量
  • 沒有結果的搜索次數

這些指標可以在 VWO 中輕鬆定義。 從這些數據中得出的見解將使您清楚地了解您的應用程序的搜索性能目前處於什麼位置以及落後的位置。

通過定性行為研究深入了解用戶洞察

為了提供更深入的觀察,用定性研究補充定量數據可能很有價值。 為此,熱圖被廣泛使用(和喜愛),這是有充分理由的。 假設您發現搜索結果的點擊次數有所下降。 可能有以下幾個原因:

  • 搜索結果不相關
  • 結果順序不個性化
  • 搜索後顯示的項目數太少

VWO 即將推出的 Mobile Insights 產品可以輕鬆利用會話記錄和熱圖或滾動圖來更深入地研究用戶行為並確定需要優化的內容。 借助 VWO Mobile Insights,您可以找到以下問題的答案:

  • 訪問者如何使用搜索功能? (例如,尋找類別與特定產品)
  • 自動完成會影響轉化嗎?
  • 顯示他們的搜索歷史是否能有效提高以前購買的商品的銷量?
  • 是什麼導致他們的搜索體驗出現摩擦?

您可以嘗試的示例

您可以根據您的觀察通過 A/B 測試來製定和驗證假設。

如果您想知道從哪裡開始,這裡有一些您可以參考的真實示例以獲取靈感。

示例 1 – 按類別搜索結果

應用搜索的一些最佳實施是在 Instagram 和 YouTube 等社交媒體網站上進行的。 當您開始在 Instagram 搜索欄上輸入內容時,您會看到按帳戶、音頻、標籤、地點等類別組織的結果。Instagram 和 YouTube 會顯示搜索歷史記錄,讓用戶可以一鍵式訪問以重試之前的搜索短語。

示例 2 – 包含產品建議的搜索結果

美國電子商務平台 GOAT 實施了一項令人印象深刻的搜索功能,使用戶能夠快速找到他們需要的東西。 當您單擊底部導航欄上的搜索圖標時,它會顯示一些要瀏覽的產品類別,並在頁面中填充所選類別下的項目。 當您單擊搜索欄並開始輸入內容時,您可以看到帶有相應文本和圖像的產品建議。

可以設計的測試

因此,假設您想提高搜索結果的點擊率。 您可以根據上述示例測試以下兩個假設,以滿足上述目標。

測試 1想法
假設 1:將搜索結果分組到不同類別(如人物、地點和群組)下將提高用戶參與度。

控制:搜索結果顯示為產品列表。

變體:搜索結果與“分組依據”過濾器一起顯示。

測試 2想法
假設 2:將圖片與搜索結果一起顯示將提高產品建議的點擊率。

控制:顯示只有文本的產品建議的結果。

變體:顯示包含文本和圖像的產品建議的結果。

只需幾個步驟,您就可以在 VWO 的移動 A/B 測試平台上快速實施此類測試。 例如,下面的視頻演示了基於假設 1 為使用 Java 構建的 Android 應用程序創建測試所涉及的步驟。 VWO 還支持 Flutter、Cordova 和 React-Native 等框架。

如何在 VWO 中測試搜索算法

VWO 幕後

VWO為 iOS、Android 和所有流行的後端語言提供輕量級 SDK 。 添加移動應用程序 SDK 是一個一次性集成過程,之後 VWO 生成 API 密鑰,您可以使用這些密鑰對 iOS 和 Android 應用程序進行應用程序初始化。 如果您需要詳細的步驟說明,可以參考這份綜合指南。

因此,您已經創建了變體、添加了轉化目標並啟動了移動應用程序測試。 下一個關鍵步驟是分析測試結果並從中提取見解。 VWO 的SmartStats 引擎,基於貝葉斯統計,進行繁重的計算,並將精確的測試結果呈現為易於使用的報告,您可以分析這些報告以得出可操作的見解。 VWO 的報告非常全面,允許您按日期和訪問者細分過濾結果,甚至可以比較測試中多個目標的表現。

VWO 測試實驗報告
針對社交流量過濾的自定義報告顯示對搜索結果測試的影響

2.導航實驗

導航是構建起來最棘手的事情之一,因為它涉及多種複雜性,例如分組、設計和功能發現的難易程度。 專家建議使用“樹測試”來幫助為您的應用程序上的“可查找”內容設置基準。 這是一項針對用戶進行的封閉測試,旨在了解他們在應用程序中找到內容的速度有多快。 本文是幫助您開始使用 Tree Tests 的好文章,也是設計實驗以改進導航的重要的第一步。

要跟踪的指標

就像我們為改進搜索所做的實驗一樣,這裡有一些您必須密切關注的指標

  • 物品可尋率
  • 尋找功能或產品所花費的時間
  • 用戶第一次點擊就正確的次數
  • 尋找時間的可變性

通過將這些指標的性能與定性研究見解相結合,您可以確定增強應用程序導航的有效策略。

您可以嘗試的示例

示例 1 – 卡片導航

如果您正在尋找導航靈感,我最喜歡的一款是 Calm,一款冥想應用程序。 他們的佈局類似於一系列的門,每扇門都是一個入口。 這些卡片進一步細分為“心理健康”、“推薦收藏”、“快速簡單”等類別。 漢堡菜單可以替代這種導航風格,但由於其可發現性低,用戶點擊次數減少,它的使用已經減少。 相反,卡片式導航因其用戶友好的設計而越來越受歡迎。

示例 2 – 簡單的標籤導航

谷歌地圖是另一個具有用戶友好導航的應用程序。 輸入位置後,您會看到方向、共享和保存位置等選項,這些選項以易於察覺的過濾器按鈕的形式出現。 此外,您還可以找到常用設施作為篩選按鈕,幫助您探索輸入位置附近的餐廳、購物中心、ATM 和公園。 Google 地圖導航很簡單,可以幫助人們充分利用該應用程序。

可以設計的測試

提高導航產品的點擊率通常是電子商務所有者試圖改善其應用程序導航體驗的主要目標。 如果這也是您想要做的,這裡有兩個假設要測試:

測試 1想法

假設 1:用基於卡片的導航塊取代漢堡菜單將提高轉化率。

控制:漢堡菜單顯示不同的產品類別供用戶瀏覽。

變體:以卡片佈局格式顯示的產品類別。

測試 2想法

假設 2:顯示日常用例的篩選按鈕將導致用戶更快地找到相關信息並更頻繁地使用它們。

控制:功能搜索欄保留在應用程序的頂部,沒有過濾器按鈕。
變體:搜索欄位於頂部,日常用例的過濾器按鈕位於屏幕的頂部和底部。

如果您希望同時運行這兩個測試,您可以使用 VWO 這樣做而不必擔心數據偏斜。 VWO 有能力在移動應用程序上運行互斥測試。 這確保參與一個活動的移動應用程序用戶不會參與屬於互斥組的另一個活動。 您可以通過將多個活動添加到互斥組來實現此目的,以確保訪問者不會在任何活動中重疊。 在 VWO 上創建互斥組可確保您的移動應用程序提供一致的體驗,並且一個活動的結果不受另一個活動的影響,從而將轉化歸因於正確的活動。

3.入職實驗

應用程序入門體驗隨著您的產品、類別、受眾、目標等的發展而發生最大變化。 雖然入職體驗會根據您的產品功能而發生巨大變化,但所有好的產品都有一些共同點。 他們:

  • 恢復應用程序的價值主張
  • 讓用戶熟悉功能和優勢
  • 鼓勵成功採用該應用程序
  • 最大限度地減少客戶從使用您的應用程序中獲得他們想要的價值所花費的時間

因此,如果您想改善您的應用優化體驗,最好先找到一些相關問題的答案:

  • 我們的應用程序上線過程是否太長?
  • 人們什麼時候在入職過程中意識到價值?
  • 入職流程中的哪些步驟應該是可選的?
  • 用戶是否尋求入職幫助和支持?

要跟踪的指標

為了有效地支持您的目標和討論,依賴數據並允許它們引導您的測試路線圖是必不可少的。 跟踪下面列出的基本指標可能會有所幫助:

  • 入職完成率
  • 實現價值的時間(從您的應用程序開始使用到獲得第一個價值之間的時間)
  • 激活率反映了新用戶如何看待您的應用
  • 特定時期內生成的入職支持工單數量

您可以嘗試的示例

讓我們討論一些可以激發您測試和改進應用程序入門流程的示例。

示例 1 – 入職流程中的多個登錄選項

你想知道在用戶入職期間是否應該提供電子郵件、社交登錄或兩者都提供嗎? 美國的送餐平台 Every Plate 允許用戶選擇兩種登錄方式中的任意一種。

示例 2 – 多步驟入職流程

您應該在您的應用程序入職流程中包括多少步驟? 看看 Duolingo 如何取得成功——證明精心設計的多步驟入職流程可以在不失去用戶興趣的情況下取得成功。 語言學習應用程序會顯示一系列屏幕,在入職期間向用戶詢問幾個(但相關的)問題,以改善他們的學習體驗。

可以設計的測試

您想知道有多少人完成了入職流程或提出了多少支持票嗎? 您可以通過嘗試以下測試想法來跟踪這些目標。

測試 1創意

假設 1:提供社交登錄和電子郵件可以在步驟 1 中帶來更好的轉化

控制:只需電子郵件/電話登錄

變體:電子郵件登錄 + Google + Facebook

測試 2想法

假設 2:在入職期間顯示進度條會促使用戶完成入職流程。

控制:一個多步驟的入職流程,沒有進度條。

變體:一個多步驟的入職流程,每個入職屏幕的頂部都有一個進度條。

使用像 VWO 這樣的工具,您可以根據各種參數(如技術、訪問者類型、時間等)為您的測試自定義目標受眾。您可以從細分庫中選擇一個目標細分或創建一個自定義細分。

在前面的測試示例的上下文中,假設用戶研究表明用戶不願意輸入他們的電子郵件和密碼並且更喜歡更靈活的登錄選項。 根據這項研究,您可以首先瞄準緩慢市場(例如墨西哥)中的用戶,看看提供社交登錄選項是否會產生積極響應並增加完成第一個入職步驟的用戶數量。 為此,您可以轉到自定義細分以添加條件並選擇相應的屬性(國家/地區)和值(墨西哥)。

此外,您可以使用“AND/OR”運算符進行更精確的受眾選擇。 例如,假設您的學習應用程序主要針對墨西哥的職業中期專業人士。 在這種情況下,您可以選擇自定義變量選項,並在名稱字段中輸入“年齡”,並在值字段中輸入年齡段(例如 35-45 歲)。 然後,您可以選擇兩側的括號並選擇“與”操作。 或者,如果您想跟踪任何一組的表現,您可以在觀眾選擇中使用“或”運算符。

如果您想了解更多信息,可以閱讀一篇關於自定義細分的簡短文章。

4.定價實驗

提供折扣或優惠券對於促進銷售和吸引客戶使用您的應用程序是必要的。 但是您如何確定您的定價策略正在幫助您的業務增長呢?

將價格定得太高可能會趕走顧客,而定得太低可能意味著錯失收入。

要跟踪的指標

要確定您的定價是否有效,請分析您應用的以下收入相關指標:

  • 生命週期價值——每位用戶從安裝您的應用程序時產生的收入
  • 購買頻率 – 用戶在給定時間內的平均購買次數。
  • 每次安裝成本——通過付費廣告獲取新用戶所支付的價格。

這些指標可以在 VWO 中配置。 如果您認為這些數字不符合您的預期,可能是時候考慮 A/B 測試定價計劃了。 這樣做可以幫助您在不冒損失風險的情況下最大化收入。

您可以嘗試的示例

示例 1 – 向訂戶提供折扣年度定價

Strava 是一款流行的健身應用程序,要求其用戶支付月度或年度訂閱費才能使用其高級功能。 客戶可以選擇按月或按年計費周期,後者可能會節省開支。 這種折扣可能會激勵用戶選擇年度計劃。

示例 2 – 顯示有時間限制的動態定價

小心! 是一款流行的遊戲,玩家將移動設備舉到額頭上,並根據朋友的線索嘗試猜測屏幕上出現的單詞或短語。 請注意原始價格是如何被劃掉的,並顯示了時間限制以營造緊迫感並鼓勵用戶迅速採取行動。

您可以根據這些定價顯示方法創建有效的應用測試。

可以設計的測試

假設您想增加應用的交易/付費訂閱數量。 以下是您可以嘗試的測試思路。

測試 1想法

假設 1:顯示訂閱計劃的潛在節省將鼓勵用戶選擇時間更長的計劃。

控制:包月計劃和包年計劃。

變化:月度和年度訂閱對於上述兩個計劃都有潛在的節省。

測試 2想法

假設 2:緊迫感和劃掉原價等心理策略可以增加選擇此折扣優惠的用戶數量。

控制:寫有新價格的簡單折扣橫幅。

變化:一個充滿活力的折扣橫幅,原價被劃掉,顯示折扣價,還有一個計時器指示優惠的可用性。

讓我們探索一種更高級的方法,稱為多臂老虎機 (MAB),用於我們之前討論的其中一個實驗,例如受 Heads Up 示例啟發的折扣測試。 與我們之前討論的 A/B 測試不同,多臂老虎機方法稍微複雜一些,涉及不同的方法。

假設您有一個時間敏感的折扣優惠,其中包含多個要測試的變體,您需要盡快確定效果最好的變體,以最大程度地減少機會損失。 與專注於確定最佳變體的 A/B 測試不同,MAB 專注於更快地獲得更好的變體。 當優化窗口較小時,MAB 更適合最大限度地減少定價、折扣、訂閱等方面的機會損失。在這種情況下,獲得次佳變體服務但未轉化的訪問者構成收入機會損失,因為他們可能已經如果它們是獲勝變體的一部分,則轉換。 您可以在此處了解有關 VWO 上的 MAB 的更多信息。

通過很棒的測試想法加速您的應用程序成功!

我們希望您發現本文中討論的 A/B 測試想法對您有所幫助。 然而,偉大的想法只有在正確實施時才會有益。 因此,如果您正在尋找一個提供全面功能的平台,例如輕量級 Android/iOS SDK、對多種語言的 24*7 技術支持、選擇自定義受眾進行測試的能力,並為您提供可靠的實時報告, VWO Mobile App Testing 應該是您的首選。 此外,隨著 Mobile Insights 全面發布的臨近,您可以更深入地了解用戶行為,改進轉化指標,最重要的是,提升應用的整體用戶體驗。 申請免費演示,了解 VWO 如何改善您的移動應用程序用戶的旅程。