如何在實驗中真正取勝(即使你不這樣做)——方法和靈感

已發表: 2023-02-03

為了提高轉化率並跟上不斷變化的客戶行為,企業越來越多地接受實驗文化,以盡可能地消除決策過程中的猜測。

但是,一旦您運行了測試並獲得了成功的結果,您就很難再考慮失敗的測試了。

但實驗就是為了獲勝嗎?

如果您期望您的每項測試都能帶來收入提升,那您就錯了,我的朋友。

現實與它相差甚遠,您不能簡單地期望實驗是一根魔杖,可以在一夜之間修復所有業務指標。

相反,實驗是一個過程,可以幫助您找到問題的答案並驗證您的假設,從而幫助您實現戰略業務目標。 這是一種考驗和恐怖的練習,需要時間和一致性。

如果你明白這一點,那就是成功的一半。

那麼,即使您的測試結果很糟糕,您如何獲勝呢? 當你改變你的實驗方法和你對它的期望時,你就贏了。 下面我們討論一種方法,可以讓您開始思考這條線並專注於重要的結果。

如何從 A/B 測試結果中學習和改進

每次運行測試都無法保證轉化率提升。 那麼,您為什麼要費心運行測試呢? 你認為亞馬遜、Netflix 和 Facebook 等全球巨頭為什麼要進行測試? 並非每項測試對他們來說都是贏家。 測試背後的最終目標是了解哪些想法可以幫助改善用戶體驗,哪些不能幫助改善用戶體驗。 測試有助於您進行用戶體驗創新。

當您專注於長期勝利時,即使從紙面上看起來不太成功的 A/B 測試中,您也會從中學到很多東西。 下面我們將告訴您一些步驟,以採用一種全新而精緻的方法來進行整體實驗。

集思廣益

激勵組織中的每個人貢獻測試想法,而不局限於某些角色和職位。 您可以從您從未想過貢獻的人那裡獲得下一個最佳測試想法。

你的小貓已經有一些成功的測試了嗎? 與您的利益相關者分享結果。 例如,向他們展示優化網絡表單如何將免費增值訂閱增加 20% 或 30%。 或者,如果您有一個測試,您通過迭代測試導致了一個大贏家,請分享一些測試如何進行耐心測試但完全值得最終結果。

這樣,您還可以激勵您的團隊成員對實驗產生興趣,並使其成為他們工作中不可或缺的一部分。 這種群眾參與對於轉向實驗文化是必要的。

VWO 可以幫助您完成這個構思之旅。 如何? VWO Plan 是一項有用的功能,可以讓團隊協作變得輕而易舉。 它提供了一個集中式存儲庫,您可以在其中添加與特定測試相關的所有註釋、觀察結果、見解和想法。 這有助於以結構化的方式構建數據支持的假設,使每個團隊成員都能了解與所有測試相關的更詳細信息。

此外,您可以隨時參考我們的檢查清單,了解為維護實驗質量而需要做的所有事情。 你在完成測試時表現得越巧妙,你就越能告訴你的員工效仿。

加強你的假設

實驗要么驗證要么反駁你的假設。 如果你的假設是錯誤的,你的現狀仍然是一個強大的執行者怎麼辦? 這不是某種意義上的勝利嗎? 你是一個 A/B 測試,遠離驗證你控制背後的假設和避免一個壞主意的傳播。

假設您從結​​帳頁面中刪除了折扣代碼和促銷代碼字段以減少對用戶的干擾,希望讓他們無縫結帳。

但與您的預期相反,您從數據中看到刪除這些字段導致結帳頁面的流失率增加。 這會讓您相信用戶可能想要享受折扣,因此希望在整個網站旅程中看到這些元素。

使用您通過 A/B 測試獲得的有關您網站上客戶行為的所有知識來為您的假設創建過程提供信息。 回到我們的示例,看到您的用戶在之前的測試中放棄搜索折扣代碼或比較第三方網站上的產品,您可以圍繞在網站上提供此類信息來構建測試想法,以提高結賬和購買完成度。

關鍵在於將實驗視為一個集成過程,而不是將每個 A/B 測試都視為孤島。

VWO Plan 派上用場,因為它允許您記下用戶行為分析的觀察結果,根據這些觀察結果創建假設,以及管理和優先測試想法。 將所有必要的詳細信息集中在一個地方,您可以通過假設儀表板上的進度視圖跟踪所有假設。

選擇合適的樣本量

要從 A/B 測試中獲得具有統計意義的結果,您必須在獲得足夠流量的頁面上運行這些測試。 如果樣本量較小,您將不得不花很多時間讓測試具有統計顯著性。

我們建議您在開始測試活動之前解決這個問題。 怎麼做? 試試 VWO A/B 測試計算器。 免費!

除此之外,基於貝葉斯推理的 VWO SmartStats 使您在很大程度上免除了需要最小樣本量的麻煩。 只需輸入訪問者數量和轉化次數以進行控制和變化以計算顯著性。

充分利用平台特性和功能

人們經常看到,營銷人員並未充分利用其 CRO 平台上的所有功能。

例如,在 VWO 中,您可以使用自定義維度進行報告過濾後細分。 這使您可以更深入地了解不同用戶群在測試活動中的行為方式。 但如果您不知道它的用例和目的,您將無法釋放它對您的 CRO KPI 施展的魔力。

如果你選擇了VWO,你一定也知道它的能力之一也是訪客行為分析。 您不應該將自己局限於測試; 相反,您必須探索其他 VWO 功能才能使您的整個優化程序更上一層樓。

評估報告

評估 A/B 測試結果時,不要再想“贏”了。 您必須將實驗視為發現和學習如何優化未來廣告系列效果的旅程。 只有當您以正確的方式閱讀或評估實驗結果時,才有可能獲得很好的學習成果。

以下是您在運行測試後可以問自己的幾個問題:

  • 不同的用戶群對變化有何反應?
  • 哪些變體最適合現有用戶或新用戶?
  • 這個假設與之前的假設有何不同?
  • 我們是否發現了未來的任何其他測試機會?

這些問題的答案應該指導您的後續步驟——無論您是想運行迭代測試以獲得更精細的數據,還是需要在更大的營銷策略中為新想法騰出空間。

如果您使用 VWO 進行 A/B 測試,則很容易深入到細節。 您不僅可以通過研究每個變體的特定指標來查看所有變體的效果,還可以使用圖表比較它們的轉化率。 即使您的 A/B 測試失敗了,您也可以使用自定義維度的功能來查看此結果是否在所有用戶細分中都一致,或者是否有任何特定細分對測試反應良好。 這也可以構成您下一個個性化活動的基礎——您可以使用此測試驗證的更改來定位此特定細分市場。 由於 VWO 是一個集成平台,所有這些發現相互反饋,一切都通過一個儀表板進行管理。 參加全包式免費試用以了解實際效果。

讓我們用一個例子來解釋自定義維度是如何工作的。

想像一下,您想突出顯示已上市並開始在您的電子商務商店銷售中性運動鞋的頂級品牌。

您認為在您的網站主頁上添加展示頂級品牌男女通用運動鞋的旋轉木馬會激起訪問者對該系列的興趣,甚至促使他們購買。

因此,您想運行測試並跟踪輪播中“立即購買”CTA 按鈕的點擊次數。

然而,您看到測試表現不佳,因為可能輪播圖片不吸引人,底部的單選按鈕不突出,或者 CTA 文案沒有說服力——原因可能是任何原因。

但是隨後您決定對報告進行切片和切塊,並希望在粒度級別研究訪問者與元素的交互。 現在您會看到該變體對 22-28 歲的女性表現更好。

基於這一觀察,您可以決定向來自對運動鞋感興趣的上述年齡段的女性訪客發送提供折扣或促銷代碼的個性化電子郵件通訊。 或者,您可以僅針對該特定客戶群使用輪播個性化登錄頁面。

在 VWO 自定義維度的幫助下,這句話——當一扇門關閉時,另一扇門打開——在這種情況下變得生動起來。

採用實驗思維並取得成功的公司

了解 Paperstone 的“永不放棄”測試方法如何增加收入

這家總部位於英國的辦公用品公司與許多銷售類似產品的大公司和小公司展開競爭。 Paperstone 使用 VWO 優化其網站並提供一流的用戶體驗,以在競爭中保持領先地位。

通過一項用戶調查,該公司發現他們的客戶和潛在客戶期望批量折扣。 但考慮到業務的競爭性,利潤率已經很微薄了。 只有當平均訂單價值增加時,批量折扣才會起作用。

因此,他們提出了一個假設,即對某些產品提供折扣可以提高他們網站的利潤率。

雖然控件沒有顯示批量折扣,但變體顯示了批量購買流行產品的折扣。

雖然原本以為亮黃色的團購絲帶會吸引用戶的眼球,但用戶卻完全無視了。 最初的失敗使 Paperstone 重新考慮其整個批量折扣測試策略。 但他們最終進行了另一次迭代,他們決定運行更長時間的測試,測試更多的訪問者,以獲得具有統計意義的結果。

使用相同的假設,這一次該公司使用 VWO 來跟踪收入。 有趣的是,變化優於控制,AOV 增加了 18.94%,批量折扣優惠的 AOV 增加了 5%,收入增加了 16.85%。

POSist 的迭代測試策略使他們發現了最佳變體中的最佳變體

作為基於 SaaS 的餐廳管理平台,POSist 的目標是增加免費演示的註冊數量。 該團隊希望控製網站主頁和聯繫頁面的流失,因為這兩個頁面在他們的網站轉換渠道中發揮著關鍵作用。 鑑於這些原因,POSist 求助於 VWO 並開始了其優化之旅。

POSist 使用 VWO 運行了 2 個主頁測試。 在第一個測試中,該團隊通過加入吸引人的標題和減少滾動長度來修改主頁上的首屏內容。 該變體增加了對聯繫頁面的訪問,轉化率為 15.45%,比對照的 13.25% 提高了 16%。

對於第二個測試,他們添加了自定義徽標、推薦和“為什麼 POSist”部分。 此外,他們將產品分為兩部分——升級和過渡——針對轉向銷售點 (POS) 軟件應用程序的潛在客戶和首次購買者。

採用迭代方法進行測試,POSist 將此變體與先前測試的獲勝變體進行了測試。 新變體僅在一周內就將聯繫頁面的訪問量增加了 5%! 因此,這個主頁變體在他們的網站上上線了。

在對主頁進行排序後,該團隊研究了來自 VWO Form Analytics 的定量數據,並推斷減少聯繫表格的寬度可以提高註冊轉化率。 變化產生了 11.26% 的轉化率,比對照的 9.37% 提高了 20%。

但正如他們對主頁所做的那樣,POSist 創建了一個更注重轉化的聯繫頁面,並針對變體 1 對其進行了測試。該測試導致轉化率提升了 7%,而兩個聯繫頁面測試將轉化率加起來提高了 12% .

這樣,公司在一個月內多獲得了 52% 的潛在客戶! 這表明迭代測試可以幫助您優化有助於改善用戶體驗的每一個小差距。 正是這種對迭代測試的承諾將實驗融入了組織的文化中。

不要停下來,而是調整你的測試計劃

我們在成長過程中閱讀的所有關於成功的“永不放棄”名言都應該像在現實生活中一樣在實驗中付諸實踐。 如果您希望從長遠來看專注於大企業的勝利。 因此,獲得有意義的見解應該是您運行的每個測試背後的主要目標,無論它產生的結果如何。

但要自信地走這條路,請確保您擁有一個可靠的 CRO 工具供您使用。 VWO 是公認的最佳工具,憑藉其強大的功能和易用性,可以幫助您在組織的價值體系中進行實驗。 因此,下次您測試一個想法時,期待學習並做出更明智的業務決策。 測試愉快!