A/B 測試完整指南：來自 Google、HubSpot 等的專家提示
已發表: 2020-04-10這可能不是您第一次閱讀有關 A/B 測試的內容。 您甚至可能已經對您的電子郵件主題行或社交媒體帖子進行了 A/B 測試。
儘管在營銷領域有很多關於 A/B 測試的說法，但很多人仍然誤解了它。 結果？ 人們根據不正確測試的不准確結果做出重大業務決策。
A/B 測試通常過於簡化，尤其是在為店主編寫的內容中。 您將在下面找到開始使用不同類型的電子商務 A/B 測試所需了解的所有內容，並儘可能簡單地進行解釋。
目錄
- 什麼是 A/B 測試？
- A/B 測試的工作原理
- 什麼是 A/B/n 測試？
- A/B 測試應該運行多長時間？
- 為什麼要進行 A/B 測試？
- 你應該 A/B 測試什麼？
- 優先考慮 A/B 測試想法
- AB測試統計速成課程
- 如何設置 A/B 測試
- 如何分析 A/B 測試結果
- 如何歸檔過去的 A/B 測試
- 專業人士的 A/B 測試流程
- 為您的業務優化 A/B 測試
什麼是 A/B 測試？
A/B 測試，有時也稱為拆分測試，是比較同一網頁、電子郵件或其他數字資產的兩個版本以確定哪一個表現更好的過程。
此過程允許您回答重要的業務問題，幫助您從已有的流量中獲得更多收入，並為基於數據的營銷策略奠定基礎。
了解更多：如何為您的企業進行 SWOT 分析
A/B 測試的工作原理
在營銷環境中使用 A/B 測試時，您會展示 50% 的訪問者版本 A（我們稱之為“控制”）和 50% 的訪問者版本 B（我們稱之為“變體”）。
轉化率最高的版本獲勝。 例如，假設變體（版本 B）產生了最高的轉化率。 然後，您將宣布它為贏家，並將 100% 的訪問者推送到該變體。
然後，變體成為新的控件，您必須設計一個新的變體。
值得一提的是，A/B 測試轉化率是衡量成功的不完美標準。 為什麼？ 您可以通過免費提供商店中的所有內容來立即提高轉化率。 當然，這是一個糟糕的商業決策。
這就是為什麼您應該跟踪轉換的價值，一直到收銀機響起的聲音。
免費閱讀清單：初學者的轉換優化
通過學習轉化優化速成課程，將更多網站訪問者轉變為客戶。 在下面訪問我們免費的、精選的高影響文章列表。
將我們的轉化優化閱讀列表直接發送到您的收件箱。
快到了：請在下面輸入您的電子郵件以獲得即時訪問權限。
我們還將通過 Shopify 時事通訊向您發送有關新教育指南和成功案例的更新。 我們討厭垃圾郵件，並承諾保證您的電子郵件地址安全。
什麼是 A/B/n 測試？
通過 A/B/n 測試，您可以針對對照測試多個變體。 因此，您可以向 25% 的訪問者顯示控件、25% 的第一個變體、25% 的第二個變體和 25% 的第三個變體，而不是向 50% 的訪問者顯示控件和 50% 的訪問者變體。
注意：這與多變量測試不同，多變量測試也涉及多個變體。 運行多變量測試時，您不僅要測試多個變體，還要測試多個元素，例如 A/B 測試 UX 或 SEO 拆分測試。 目標是找出哪種組合表現最好。
您將需要大量流量來運行多變量測試，因此您現在可以忽略這些。
A/B 測試應該運行多長時間？
至少運行一個（最好是兩個）完整業務週期的 A/B 測試。 不要僅僅因為你已經達到了意義就停止你的測試。 您還需要滿足預定的樣本量。 最後，不要忘記以整週的增量運行所有測試。
為什麼是兩個完整的商業周期？ 對於初學者：
- 你可以解釋“我需要考慮一下”的買家。
- 您可以考慮所有不同的流量來源（Facebook、電子郵件通訊、自然搜索等）
- 您可以解釋異常情況。 例如，您的星期五電子郵件通訊。
如果您使用過任何類型的 A/B 或登錄頁面測試工具，您可能對綠色的“統計顯著”小圖標很熟悉。
不幸的是，對於許多人來說，這是“測試已經完成，就叫它”的普遍標誌。 正如您將在下文中了解的那樣，僅僅因為 A/B 測試達到統計顯著性並不意味著您應該停止測試。
你預定的樣本量是多少？ 它並不像看起來那麼嚇人。 打開一個樣本量計算器，就像 Evan Miller 的這個。
該計算表明，如果您當前的轉化率為 5%，並且您希望能夠檢測到 15% 的效果，則每個變體需要 13,533 個樣本。 因此，如果是標準 A/B 測試，總共需要超過 25,000 名訪問者。
如果您想檢測較小的影響，請注意會發生什麼：
改變的只是最小可檢測效應（MDE）。 它從 15% 下降到 8%。 在這種情況下，每個變體需要 47,127 個樣本。 因此，如果是標準 A/B 測試，總共需要近 100,000 名訪問者。
無論您是進行 A/B 測試 UX 還是 SEO 拆分測試，都應在測試開始之前預先計算樣本量。 即使達到顯著性，您的測試也不能停止，直到達到預定的樣本量。 如果是，則測試無效。
這就是為什麼您不能漫無目的地遵循最佳實踐，例如“在 100 次轉化後停止”。
為整週增量運行測試也很重要。 您的流量可能會根據一周中的某一天和一天中的時間而變化，因此您需要確保包括一周中的每一天。
為什麼要進行 A/B 測試？
假設您在 Facebook 廣告上花費 100 美元，將 10 人發送到您的網站。 您的平均訂單價值為 25 美元。 其中八名遊客沒有買任何東西就離開了，另外兩人每人花費 25 美元。 結果？ 你損失了 50 美元。
現在假設您在 Facebook 廣告上花費了 100 美元，以將 10 人發送到您的網站。 您的平均訂單價值仍為 25 美元。 不過，這一次，只有五個遊客沒有買任何東西就離開了，另外五個人每人花費 25 美元。 結果？ 你賺了 25 美元。
當然，這是更簡單的 A/B 測試示例之一。 但是通過提高現場轉化率，您使相同的流量更有價值。
A/B 測試圖像和副本還可以幫助您發現洞察力，無論您的測試是贏還是輸。 這個價值是非常可轉移的。 例如，來自產品描述 A/B 測試的文案洞察力可以幫助告知您的價值主張、產品視頻或其他產品描述。
您也不能忽視專注於不斷提高商店效率的內在價值。
你應該做A/B測試嗎？
不必要。 如果您運行的是低流量網站或 Web 或移動應用程序，A/B 測試可能不是您的最佳優化工作。 例如，通過進行用戶測試或與客戶交談，您可能會看到更高的投資回報率 (ROI)。
儘管普遍認為，轉化率優化並不是以測試開始和結束的。
考慮上面樣本量計算器中的數字。 如果您的基準轉化率為 5%，則每個變體有 47,127 名訪問者來檢測 8% 的影響。 假設您要測試產品頁面。 它會在兩到四個星期內接待近 100,000 名訪客嗎？
為什麼是兩到四個星期？ 請記住，我們希望至少運行兩個完整的業務週期的測試。 通常，這可以持續兩到四個星期。 現在也許你在想，“沒問題，Shanelle，我會運行兩到四個星期以上的測試，以達到所需的樣本量。” 那也行不通。
您會看到，測試運行的時間越長，就越容易受到外部有效性威脅和样本污染的影響。 例如，訪問者可能會刪除他們的 cookie 並最終以新訪問者的身份重新進入 A/B 測試。 或者有人可以從他們的手機切換到桌面，然後看到另一種變化。
從本質上講，讓您的測試運行太久與不讓它運行足夠長的時間一樣糟糕。
對於能夠在兩到四個星期內滿足所需樣本量的商店，測試是值得的。 在流量增加之前不能考慮其他形式的優化的商店。
Shopify 的數據科學家 Julia Starostenko 對此表示同意，並解釋說：
朱莉婭 Starostenko，Shopify
“實驗很有趣！ 但重要的是要確保結果準確。
“問問自己：你的觀眾夠多嗎？ 你收集到足夠的數據了嗎？ 為了獲得真正的統計意義（在合理的時間範圍內），受眾規模需要足夠大。”
你應該 A/B 測試什麼？
我無法告訴你應該進行什麼 A/B 測試。 我知道我知道。 如果我現在可以給你一份包含 99 項測試的清單，那肯定會讓你的生活更輕鬆。 不乏願意這樣做以換取點擊的營銷人員。
事實是，唯一值得運行的測試是基於您自己的數據的測試。 我無權訪問您的數據、您的客戶等，也沒有人策劃那些龐大的 A/B 測試想法列表。 我們沒有人能有意義地告訴你要測試什麼。
唯一值得運行的測試是基於您自己的數據的測試。
相反，我鼓勵您通過定性和定量分析自己回答這個問題。 一些流行的 A/B 測試示例是：
- 技術分析。 您的商店是否在每個瀏覽器上都能正確快速地加載？ 在每台設備上？ 您可能擁有一部閃亮的新 iPhone 11，但某個地方的某個人仍在使用 2005 年以來的摩托羅拉 Razr。如果您的網站無法正常快速地運行，那麼它肯定無法進行轉換。
- 現場調查。 當您的商店的訪客四處瀏覽時，這些會彈出。 例如，現場調查可能會詢問在同一頁面上停留了一段時間的訪問者是否有任何阻礙他們今天購買的東西。 如果是這樣，它是什麼？ 您可以使用這些定性數據來提高您的複制和轉化率。
- 客戶訪談。 沒有什麼可以代替打電話和與客戶交談。 他們為什麼選擇您的商店而不是競爭商店？ 當他們到達您的網站時，他們試圖解決什麼問題？ 您可以提出一百萬個問題，以了解您的客戶是誰以及他們真正向您購買的原因。
- 客戶調查。 客戶調查是針對已經購買的人（而不是訪客）進行的全面調查。 在設計調查時，您希望關注：定義您的客戶，定義他們的問題，定義他們在購買之前的猶豫，以及識別他們用來描述您的商店的單詞和短語。
- 分析分析。 您的分析工具是否正確跟踪和報告您的數據？ 這聽起來可能很愚蠢，但您會驚訝於有多少分析工具配置不正確。 分析分析就是要弄清楚訪問者的行為方式。 例如，您可能專注於漏斗。 您最大的轉化漏斗在哪裡？ 換句話說，大多數人從你的漏斗中退出的地方在哪裡？ 這是開始測試的好地方。
- 用戶測試。 在這裡，您可以在付費的受控實驗中觀看真實的人嘗試在您的網站上執行任務。 例如，您可能會要求他們找到 40 到 60 美元之間的視頻遊戲並將其添加到他們的購物車中。 當他們執行這些任務時，他們會大聲講述自己的想法和行為。
- 會話重播。 會話重播類似於用戶測試，但現在您正在與真實的人打交道，他們有真正的金錢和真正的購買意圖。 您將看到您的實際訪問者瀏覽您的網站。 他們有什麼困難？ 他們在哪裡感到沮喪？ 他們在哪裡看起來很困惑？
還有其他類型的研究，但首先要為您選擇最佳的 A/B 測試方法。 如果您瀏覽其中的一些，您將擁有大量值得測試的基於數據的想法。 我保證你的清單會給你帶來比任何“現在要測試的 99 件事”文章都更有價值的文章。
優先考慮 A/B 測試想法
大量的 A/B 測試想法令人興奮，但對決定測試什麼沒有幫助。 你從哪裡開始？ 這就是優先級的用武之地。
您可以使用一些常見的優先級框架：
- 冰。 ICE 代表影響、信心和輕鬆。 這些因素中的每一個都獲得 1-10 的排名。 例如，如果您可以在沒有開發人員或設計師幫助的情況下輕鬆地自行運行測試，那麼您可能會給輕鬆 8 分。 你在這裡使用你的判斷，如果你有不止一個人運行測試，排名可能會變得過於主觀。 有一套指導方針來保持每個人的客觀性是有幫助的。
- 餡餅。 PIE 代表潛力、重要性和輕鬆。 同樣，每個因素都會獲得 1-10 的排名。 例如，如果測試將達到您 90% 的流量，您可以將重要性設為 8。 PIE 與 ICE 一樣具有主觀性，因此指南也可以對這個框架有所幫助。
- PXL。 PXL 是 CXL 的優先級框架。 它有點不同，更可定制，迫使做出更客觀的決定。 您會發現是/否問題和一個易於實施的問題，而不是三個因素。 例如，框架可能會問：“測試是否旨在提高動機？” 如果是，則為 1。如果否，則為 0。您可以了解有關此框架的更多信息並在此處下載電子表格。
現在你知道從哪裡開始了，但它也有助於對你的想法進行分類。 例如，在我最近做的一些轉換研究中，我使用了三個類別：實施、調查和測試。
- 實施。 去做就對了。 它壞了或很明顯。
- 調查。 需要額外思考來定義問題或縮小解決方案。
- 測試。 這個想法是合理的並且有數據依據。 測試它！
在這個分類和優先級之間，你已經設置好了。
A/B 測試統計速成課程
在運行測試之前，深入研究統計數據很重要。 我知道，統計數據通常不是粉絲的最愛，但可以將其視為您勉強畢業的必修課。
統計數據是 A/B 測試的重要組成部分。 幸運的是，A/B 測試工具和拆分測試軟件使優化器的工作變得更加容易，但是對幕後發生的事情的基本了解對於以後分析測試結果至關重要。
HubSpot 的增長營銷經理 Alex Birkett 解釋說：
亞歷克斯·伯克特，HubSpot
“統計數據不是轉換的神奇數字或二進制'成功！' 或“失敗”的事情。 這是一個用於在不確定性下做出決策並通過嘗試減少對給定決策結果的模糊性來降低風險的過程。
“考慮到這一點，我認為最有必要了解基礎知識：什麼是均值、方差、抽樣、標準差、均值回歸，以及什麼是‘代表性’樣本。 此外，當您開始進行 A/B 測試時，它有助於設置一些特定的防護機制，以盡可能減少人為錯誤。”
什麼意思？
平均值是平均值。 你的目標是找到一個代表整體的平均值。
例如，假設您要查找視頻遊戲的平均價格。 您不會將世界上所有視頻遊戲的價格相加，然後除以世界上所有視頻遊戲的數量。 相反，您將分離出一個代表世界上所有視頻遊戲的小樣本。
您最終可能會找到幾百個視頻遊戲的平均價格。 如果您選擇了具有代表性的樣本，那麼這 200 款電子遊戲的平均價格應該可以代表世界上所有電子遊戲。
什麼是抽樣？
樣本量越大，變異性越小，這意味著平均值更可能準確。
因此，如果您將樣本從 200 款視頻遊戲增加到 2000 款視頻遊戲，您的方差會更小，平均值也會更精確。
什麼是方差？
方差是平均變異性。 本質上，變異性越高，預測單個數據點的平均值就越不准確。
那麼，平均每個視頻遊戲的實際價格有多接近？
什麼是統計學意義？
假設 A 和 B 之間沒有區別，您多久會偶然看到這種效果？
統計顯著性水平越低，您的獲勝變異根本不是獲勝者的可能性就越大。
簡單地說，低顯著性水平意味著你的“贏家”很可能不是真正的贏家（這被稱為誤報）。
請注意，大多數 A/B 測試工具和開源 A/B 測試軟件都會調用統計顯著性，而無需等待達到預定的樣本量或時間點。 這就是為什麼您可能會注意到您的測試在統計顯著和統計不顯著之間來回切換。
CXL Institute 創始人 Peep Laja 希望更多人真正了解 A/B 測試的統計意義及其重要性：
Peep Laja，CXL 研究所
“統計顯著性不等於有效性——它不是一個停止規則。 當您達到 95% 或更高的統計顯著性時，在滿足其他兩個更重要的條件之前，這意味著很少：
“1。 有足夠的樣本量，您可以使用樣本量計算器計算出來。 意思是，足夠多的人參與了實驗，因此我們可以得出任何結論。
“2。 測試已經運行了足夠長的時間，因此樣本具有代表性（並且不會太長以避免樣本污染）。 在大多數情況下，您需要進行兩、三或四個星期的測試，具體取決於您獲得所需樣本的速度。”
什麼是均值回歸？
您可能會在 A/B 測試開始時注意到極端波動。
回歸均值是這樣一種現象，即如果某物在第一次測量時出現極端情況，那麼在第二次測量時它可能會更接近平均值。
如果您調用測試的唯一原因是因為它達到了統計顯著性，那麼您可能會看到誤報。 隨著時間的推移，您的獲勝變化可能會回歸到平均值。
什麼是統計功效？
假設 A 和 B 之間存在差異，您多久會看到一次效果？
功率級別越低，獲勝者未被識別的可能性就越大。 功率級別越高，獲勝者未被識別的機會就越低。 實際上，您需要知道的是，對於大多數 A/B 測試工具和/或任何拆分測試服務來說，80% 的統計能力是標準的。
Online Dialogue 創始人 Ton Wesseling 希望更多人了解統計功效：
Ton Wesseling，在線對話
“很多人擔心誤報。 我們更擔心假陰性。 為什麼要進行實驗，以證明你的積極變化產生影響的機會非常低？”
什麼是外部有效性威脅？
有一些外部因素會威脅測試的有效性。 例如：
- 黑色星期五網絡星期一 (BFCM) 銷售
- 正面或負面的新聞報導
- 重大的付費活動啟動
- 星期幾
- 不斷變化的季節
外部有效性威脅影響您的結果的更常見的 A/B 測試示例之一是在季節性事件期間。 假設您要在 12 月進行測試。 主要的購物假期將意味著該月您商店的客流量增加。 您可能會在 1 月發現 12 月的獲勝者表現不佳。
為什麼？
由於外部有效性威脅：假期。
您基於您的測試決定的數據是異常的。 當事情在一月份穩定下來時，你可能會驚訝地發現你的贏家輸了。
您無法消除外部有效性威脅，但您可以通過運行整週的測試來緩解它們（例如，不要在星期一開始測試並在星期五結束），包括不同類型的流量（例如，不要t 專門測試付費流量，然後將結果推廣到每個流量源），並註意潛在威脅。
如果您碰巧在 BFCM 等繁忙的購物季節運行測試，或者遇到重大的外部有效性威脅，您可能需要閱讀我們的 A/B 測試完整指南。
如何設置 A/B 測試
讓我們來看一個 A/B 測試小教程。 在你測試任何東西之前，你需要有一個可靠的假設。 （太好了，我們剛上完數學課，現在開始學習科學了。）
別擔心，這並不復雜。 基本上，你需要檢驗一個假設，而不是一個想法。 假設是可衡量的，渴望解決特定的轉換問題，並且專注於洞察力而不是勝利。
你需要 A/B 測試一個假設，而不是一個想法。
每當我寫假設時，我都會使用從 Craig Sullivan 的假設工具包中藉來的公式：
- 因為你看到[插入數據/研究反饋]
- 您期望 [您正在測試的更改] 將導致 [您預期的影響] 並且
- 您將使用 [數據指標] 來衡量這一點
容易，對吧？ 您所要做的就是填補空白，您的測試想法已經轉變為假設。
選擇 A/B 測試工具
現在您可以開始選擇 A/B 測試工具或拆分測試服務。 通常，您會首先想到 Google Optimize、Optimizely 和 VWO。
都是好的，安全的選擇。
- 谷歌優化。 免費，除了一些多變量限制，如果您剛剛開始，這些限制不會對您產生真正的影響。 它在執行 Google Analytics A/B 測試時效果很好，這是一個優點。
- 優化。 即使沒有技術技能，也可以輕鬆啟動和運行小型測試。 Stats Engine 可以更輕鬆地分析測試結果。 通常，Optimizely 是三者中最昂貴的選擇。
- 大眾汽車。 VWO 具有 SmartStats，使分析更容易。 此外，它還為初學者提供了一個很棒的 WYSIWYG 編輯器。 每個 VWO 計劃都附帶熱圖、現場調查、表格分析等。
我們還在 Shopify 應用商店中提供了一些 A/B 測試工具，您可能會覺得它們很有幫助。
選擇 A/B 測試工具或拆分測試軟件後，請填寫註冊表並按照提供的說明進行操作。 該過程因工具而異。 但是，通常會要求您在您的網站上安裝一個片段並設定目標。
如何分析 A/B 測試結果
還記得我說過寫一個假設將重點從勝利轉移到洞察力嗎？ 谷歌分析倡導者和產品經理 Krista Seiden 解釋了這意味著什麼：
克里斯塔·賽登，谷歌
“A/B 測試最容易被忽視的方面是向你的失敗者學習。事實上，在我運行的優化程序中，我養成了發布‘失敗報告’的習慣，我會在其中指出一些最大的失敗者季度以及我們從他們那裡學到的東西。
“我一直以來最喜歡的一個活動來自一個醞釀了幾個月的活動。 我們能夠在它即將上線之前潛入登陸頁面測試，這是我們所做的一件好事，因為它失敗了。 如果我們真的按原樣啟動了該頁面，我們就會對底線造成重大打擊。 我們不僅最終為企業節省了大量資金，而且我們能夠深入研究並做出一些假設（我們後來測試過）為什麼新頁面表現如此糟糕，這使我們成為更好的營銷人員和更成功的人在未來的競選活動中。”
如果您正確地制定假設，即使是失敗者也是贏家，因為您將獲得可用於未來測試和其他業務領域的見解。 因此，當您分析測試結果時，您需要關注洞察力，而不是測試是贏還是輸。 總有一些東西要學習，總有一些東西要分析。 不要解僱失敗者！
如果你正確地提出你的假設，即使是失敗者也是勝利者。
這裡要注意的最重要的事情是需要分段。 一項測試總體上可能是失敗者，但它很可能在至少一個部分中表現良好。 我所說的分段是什麼意思？
- 新訪客
- 回頭客
- iOS 訪問者
- 安卓訪客
- Chrome 訪問者
- 野生動物園遊客
- 桌面訪問者
- 平板電腦訪客
- 自然搜索訪問者
- 付費訪客
- 社交媒體訪問者
- 已登錄的買家
你明白了，對吧？
當您查看測試工具中的結果時，您正在查看整盒糖果。 你需要做的是按顏色區分聰明人，這樣你就可以最後吃紅色的了。 我的意思是，這樣您就可以發現更深入的、細分的見解。
奇怪的是，該假設在某些細分市場中被證明是正確的。 這也告訴你一些事情。
分析不僅僅是測試是贏家還是輸家。 細分您的數據，以發現表面之下隱藏的洞察力。
A/B 測試工具不會為您進行分析，因此隨著時間的推移，這是一項重要的技能。
免費電子書：面向初學者的電子商務分析
找出哪些指標是建立和發展在線業務的關鍵。 這個免費指南是學習電子商務分析的完美第一步。
將面向初學者的電子商務分析直接發送到您的收件箱。
快到了：請在下面輸入您的電子郵件以獲得即時訪問權限。
我們還將通過 Shopify 時事通訊向您發送有關新教育指南和成功案例的更新。 我們討厭垃圾郵件，並承諾保證您的電子郵件地址安全。
如何歸檔過去的 A/B 測試
假設您明天進行第一次測試。 兩年後的明天，你還記得那次測試的細節嗎？ 不見得。
這就是歸檔 A/B 測試結果很重要的原因。 如果沒有維護良好的檔案，您獲得的所有見解都將丟失。 另外，我不騙你，如果你不存檔，很容易測試兩次相同的東西。
但是，沒有“正確”的方法可以做到這一點。 您可以使用 Projects 或 Effective Experiments 之類的工具，也可以使用 Excel。 這完全取決於您，尤其是當您剛剛開始時。 只要確保您跟踪：
- 假設
- 控制和變化的截圖
- 不管是贏了還是輸了
- 通過分析獲得的見解
隨著您的成長，您會感謝自己保留此檔案。 它不僅會幫助您，還會幫助新員工和顧問/利益相關者。
專業人士的 A/B 測試流程
現在您已經完成了標準 A/B 測試教程，讓我們來看看 Google 和 HubSpot 等公司的專業人士的確切流程。
免費閱讀清單：初學者的轉換優化
通過學習轉化優化速成課程，將更多網站訪問者轉變為客戶。 在下面訪問我們免費的、精選的高影響文章列表。
將我們的轉化優化閱讀列表直接發送到您的收件箱。
快到了：請在下面輸入您的電子郵件以獲得即時訪問權限。
我們還將通過 Shopify 時事通訊向您發送有關新教育指南和成功案例的更新。 我們討厭垃圾郵件，並承諾保證您的電子郵件地址安全。
克里斯塔·賽登，谷歌
我的 web 和應用程序 A/B 測試的逐步過程從分析開始——在我看來，這是任何好的測試程序的核心。 在分析階段，目標是檢查您的分析數據、調查或用戶體驗數據，或您可能擁有的任何其他客戶洞察力來源，以了解您的優化機會在哪裡。
一旦您從分析階段獲得了良好的想法，您就可以繼續假設可能出現的問題以及您如何可能修復或改進這些優化領域。
接下來，是構建和運行測試的時候了。 確保運行它們一段合理的時間（我默認為兩週，以確保我考慮到每週的變化或異常情況），當你有足夠的數據時，分析你的結果以確定你的贏家。
在這個階段花一些時間來分析失敗者也很重要——你能從這些變化中學到什麼？
最後，您可能只有在花時間為可靠的優化計劃奠定基礎後才能達到這個階段，是時候研究個性化了。 這不一定需要花哨的工具集，而是可以從您擁有的有關用戶的數據中得出。
營銷個性化可以像將正確的內容定位到正確的位置一樣簡單，也可以像基於單個用戶操作的定位一樣複雜。 不過，不要一下子就進入個性化位。 確保您花足夠的時間首先掌握基礎知識。
亞歷克斯·伯克特，HubSpot
在高層次上，我嘗試遵循這個過程：
- 收集數據並確保分析實施是準確的。
- 分析數據並找到見解。
- 將洞察轉化為假設。
- 根據影響和易用性確定優先級，並最大限度地分配資源（尤其是技術資源）。
- 運行測試（根據我的知識和能力遵循統計最佳實踐）。
- 分析結果，根據結果執行與否。
- 根據發現進行迭代，然後重複。
更簡單地說：研究、測試、分析、重複。
儘管此過程可能會根據上下文而發生偏差或變化（我是否在測試關鍵業務產品功能？博客文章 CTA？創新與風險緩解的風險狀況和平衡是什麼？），它非常適用於任何規模或公司類型。
關鍵是這個過程是敏捷的，但它也收集了足夠的數據，包括定性客戶反饋和定量分析，以便能夠提出更好的測試想法並更好地優先考慮它們，這樣你就可以為你的在線商店增加流量。
Ton Wesseling，在線對話
當我們想要優化客戶旅程時，我們總是回答的第一個問題是：該產品或服務在哪裡適合我們在 Online Dialogue 中創建的 ROAR 模型？ 您是否仍處於風險階段，我們可以進行大量研究，但無法通過 A/B 測試在線實驗驗證我們的發現（每月轉化次數低於 1,000 次），還是處於優化階段？ 甚至在上面？
- 風險階段：大量研究，這將轉化為從商業模式樞紐到全新設計和價值主張的任何東西。
- 優化階段：將優化價值主張和商業模式的大型實驗。
- 優化階段：驗證用戶行為假設的小型實驗，這將為更大的設計變更積累知識。
- 自動化：您仍然有實驗能力（訪問者），這意味著驗證您的用戶旅程不需要您的全部測試潛力。 剩下的應該被用來利用，現在更快地成長（而不是專注於長期學習）。 這可以通過運行強盜/使用算法來自動化。
- 重新思考：你停止添加大量研究，除非它是對新事物的支點。
因此，Web 或應用程序 A/B 測試只是 ROAR 優化階段及以後的一件大事（直到重新思考）。
我們進行實驗的方法是 FACT & ACT 模型：
我們所做的研究基於我們的 5V 模型：
我們收集所有這些見解以提出一個主要的研究支持假設，這將導致子假設將根據通過桌面或移動 A/B 測試收集的數據進行優先排序。 假設成立的機會越高，它的排名就越高。
一旦我們了解我們的假設是真是假，我們就可以開始結合學習並通過重新設計/重新調整客戶旅程的更大部分來採取更大的步驟。 但是，在某些時候，所有獲勝的實現都會導致局部最大值。 然後你需要邁出更大的一步才能達到潛在的全局最大值。
而且，當然，主要的學習內容將在整個公司傳播，從而根據您經過驗證的第一方見解進行各種更廣泛的優化和創新。
您是否向國際受眾進行營銷？ 了解如何通過偽本地化簡化該過程。
朱莉婭 Starostenko，Shopify
實驗的目的是驗證對現有網頁進行更改是否會對業務產生積極影響。
在開始之前，重要的是要確定運行實驗是否真的有必要。 考慮以下場景：有一個點擊率極低的按鈕。 降低此按鈕的性能幾乎是不可能的。 因此，無需驗證對按鈕的提議更改（即運行實驗）的有效性。
同樣，如果對按鈕的建議更改很小，則可能不值得花時間設置、執行和拆除實驗。 在這種情況下，應該將更改推廣到每個人，並且可以監控按鈕的性能。
如果確定運行實驗實際上是有益的，那麼下一步就是定義應該改進的業務指標（例如，提高按鈕的轉化率）。 然後我們確保適當的數據收集到位。
完成後，觀眾將在兩組之間隨機進行拆分測試； one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.
Peep Laja，CXL 研究所
A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.
My process typically looks like this (a simplified summary):
- 使用 ResearchXL 等框架進行轉化研究，以確定您網站上的問題。
- 選擇一個高優先級的問題（影響大部分用戶並且是一個嚴重的問題），並儘可能多地集思廣益來解決這個問題。 將您的轉化研究見解告知您的構思過程。 確定您要在哪個設備上運行測試（您需要獨立於桌面運行移動 A/B 測試）。
- 確定您可以測試多少種變體（基於您的流量/交易級別），然後選擇您最好的一到兩個想法來測試針對控制的解決方案。
- 線框精確處理（編寫副本，進行設計更改等）根據更改的範圍，您可能還需要包括設計師來設計新元素。
- 讓您的前端開發人員在您的測試工具中實施處理。 設置必要的集成（谷歌分析），設置適當的目標。
- 對測試進行 QA（損壞的測試是迄今為止最大的 A/B 測試殺手），以確保它適用於每個瀏覽器/設備組合。
- 開始測試！
- 測試完成後，進行測試後分析。
- 根據結果，要么實施獲勝者，迭代治療，要么去測試其他東西。
免費網絡研討會：
營銷101
努力增加銷售額？ 在此免費培訓課程中了解如何從第一天到首次銷售。
為您的業務優化 A/B 測試
你有過程，你有力量！ 所以，走出去，獲得最好的 A/B 測試軟件，然後開始測試你的商店。 在您不知不覺中，這些見解將在您的銀行中增加更多的錢。
如果您想繼續學習優化，請考慮參加免費課程，例如 Google 的 Udacity 的 A/B 測試。 您可以了解有關 Web 和移動應用 A/B 測試的更多信息，以提高您的優化技能。