運行嚴肅實驗程序的要求

運行實驗程序是一門藝術，也是一門科學。 我一直這麼說。 程序應該具有一定程度的嚴謹性——即係統、流程和程序。 這不是一件可以掉以輕心的事情。 相信任何人明天都可以在最少的準備和計劃下開始一個項目是錯誤的。 不幸的是，這種情況一直在發生。 這會導致大量金錢、時間和精力的浪費——這並不奇怪。 這讓我想到了準備的話題。

如果你想認真對待實驗並提高你在市場上的競爭力，你最好把它做好。 你應該假設你的競爭對手做得很好。 因此，如果這引起您的共鳴，請繼續閱讀，我保證您會立即拿起一兩個金塊來使用。

建立一個決定你成敗的實驗程序的不可避免的先決條件：預測試計算

預測試計算。 聽說過他們嗎？ 你做過嗎？ MDE 或最小可檢測效應聽起來很熟悉嗎？ 持續時間估計或樣本量如何？ 我希望你知道我在說什麼，儘管我敢打賭你們中的大多數人都不知道——僅僅因為我個人與客戶的經歷。

在你做任何與實驗相關的事情之前，請看看你是否有足夠的數據量來做它。 看看你是否能夠通過預測試計算進行測試。 我所說的數據量是指訪問者和轉化。 訪問者可以是您通常使用的任何內容（例如，會話、用戶、MAU 等）。 轉化來自您將在測試中使用的主要指標。 知道這個：

1. 並非每個企業都有足夠的數據量來以任何容量進行實驗。
2. 如果你能做到，要知道你不是憑空選擇你想要的速度。 它基於計算。

忽略其中一個或兩個要點的第一大罪魁禍首：銷售人員。 如果您正在考慮購買任何類型的工具，請確保這是談話的一部分。 進入實驗程序的最低門檻：足夠的數據量可以在八週或更短的時間內在一個泳道中運行一項測試。

幾個月前，我為 Experiment Nation 詳細介紹了這個話題。 要知道，如果你不理解這個主題並從第一天開始就去做，它會困擾你並且最終肯定會導致某種不良結果。 另一個非常重要的注意事項：了解您的測試工具（或您計劃使用的工具）是基於固定水平測試還是順序測試構建的。 這會影響計算以及您運行程序的方式。

第 1 步（後前體）：測量和數據質量

如果您已經清除了預測試計算障礙並且您已經確認您確實有足夠的數據量來測試，那麼前進的下一個障礙是測量和數據質量。 你必須知道你在這項工作中的目標是什麼； 否則，你會像河岸上的魚一樣掙扎。 太多的團隊不知道他們在努力什麼——比如表單提交、交易、收入、LTV 等。

了解您的主要、次要和第三指標對於實驗和整個業務是什麼。 完全清楚地理解它。 不要留有揮之不去的困惑或不確定性。 確保每個人都在同一頁面上。

然後，一旦你擁有了那麼多，確保你在正確的地方收集這些數據並且你可以信任它。

如果測量和/或數據質量是災難，那就停下來。 停止一切，全力以赴把它做好。 將實驗視為金字塔。 這兩件事是金字塔的基礎層。 如果它在任何時候破裂，其他一切都會在它上面崩潰。 我保證。

我會說我知道這些可能很難。 把它們弄好可能需要額外的時間。 甚至可能超過一兩個月。 讓他們正確是值得的。 我見過在啟動一個程序後六個月或更長時間出現問題——結果一切最終都戛然而止。 那時沒有人高興。

關於什麼是主要指標的說明......

有時這在從業者中是一個分裂的話題。 我對此事的立場非常堅定，特別是涉及營銷團隊和網站（不一定是產品團隊和產品）時。

主要指標應始終是向下漏斗指標。 命令。 表單提交。 MQL。 收入。 生命週期價值。 SQL。 你明白了。 有些人說，他們應該始終是最接近您正在做出的改變或參與度指標的行動。 錯誤的。 不，不。 不正確。 廢話。 告訴您這件事的人應該是必須在六個月或一年內向公司的 CMO 或 CEO 證明該計劃合理的人。 他們將處於危險之中。 不要有一個充滿測試的程序，專注於按鈕點擊、點擊、頁面瀏覽、平均。 會話持續時間、退出率、跳出率、視頻觀看量等等。 這並不能證明花費數千或數十萬美元來完成這項工作是合理的。 每個人都想知道他們的投資回報率以及這項工作如何影響底線。 單擊按鈕不會那樣做。

我並不是說不要衡量參與度指標或更高渠道指標，但它們應該是二級或三級指標。 不是主要的。 他們為測試故事添加上下文。 當需要做出決定時，它們並不是取決於測試的內容。 請注意，我也不是說永遠沒有例外。 仍然根據具體情況評估測試。

一句忠告：對於那些在你們之間爭論這個話題的人，我總是告訴團隊討論選項並自己決定。 只要確保你得出一個集體結論，即每個人都遵守前進的方向。

第 2 步：用戶研究和構思

此時，您應該 (1) 知道您有足夠的數據量來測試，並且 (2) 知道您在測量什麼，並且您正在收集您可以信任的正確數據。 下一個是什麼？ 它提出要測試的內容。 你的測試想法是什麼？ 你打算如何生成它們？

猜猜大多數團隊會做什麼？ 他們脫離了直覺和很多“我們認為”、“我們感覺”和“我們相信”。 這太主觀了，而且這是運行程序的糟糕方式。 這種方法根本沒有數據支持。 這就是從業者所說的“意大利麵條測試”，也就是向牆上扔東西，希望它能粘住。 基於數據的對話不涉及太多此類語言，所需的數據來自用戶研究。 我總是被問到“研究”是什麼意思。

好吧，有幾種收集數據的方法，包括但不限於分析、民意調查、調查、用戶測試、消息測試、熱圖、會話記錄、卡片分類、樹測試、客戶旅程映射、角色等等。 還有幾個工具可以幫助我們完成每一個。 我總是說從一兩個開始，然後從那裡開始到其他的。 這當然比沒有好。 從技術上講，我真的不再計算分析了，因為現在每家公司都有分析數據。 如果你沒有，你可能有更大的魚要炸。 如果你確實擁有它，那麼甚至可以爭取超過一兩個（並且不要說“哦，那我們很好”）。

有一種稱為啟發式評估的方法。 那是有人在視覺上評估體驗並根據他們的經驗和專業知識發展見解的時候。 它有時間和地點，但大多數時候它沒有“硬數據”的支持。 這是非常主觀的，並且在某種程度上會有所不同，具體取決於完成它的人。 知道你的程序不應該基於這些類型的洞察力。

我不打算在這裡詳細介紹如何進行研究，但您可以在此處查看我的 VWO 網絡研討會之一，我在其中詳細討論了 CXL 的 ResearchXL 模型。

第 3 步：確定優先級

一旦有了測試想法列表，就無法一次全部完成。 您需要一種戰略性的、合乎邏輯的方式來製定行動計劃。 這就是優先級框架發揮作用的地方。 許多存在。 我特別喜歡一個：來自 CXL 的 PXL 框架。 其他常見的包括 PIE、ICE 或 PILL。 PXL 在我看來是最客觀的。 它是可定制的並且更健壯（以一種好的方式）。

其他型號還好，聊勝於無。 如果您有什麼東西並且對您有用，那就太好了。 只要有一個，並確保每個人都在使用它！ 它使您免於處理額外的混亂。

第 4 步：路線圖

路線圖直觀地向您顯示在任何給定時間正在運行的內容。 結合您的優先級和預測試計算和繁榮。 你有一個路線圖。 這些最好在甘特圖中完成。 添加您的所有泳道和測試以及估計的持續時間、設備和其他有用的元數據。 您將避免不需要的重疊和不需要的交互效果。 它可以幫助每個人更有效和高效地進行計劃。 這將使您免於更多的混亂。

第 5 步及以後：照常營業

既然我們所涵蓋的所有內容都已解決，一切照常。 您手頭有一個要運行的測試。 您通過常規實驗工作流程發送它：模型 > 設計 > 開發 > QA > 啟動 > 監控 > 結論 > 分析 > 共享和存檔 > 重複。

相關主題：項目管理與治理

除了個別測試之外，還有與整個“程序”相關的其他主題需要考慮。 這些包括項目管理和治理。 以下是我如何以一種非常簡單的方式思考它們……

項目管理：您打算如何組織和跟踪所有這些工作？ 弄清楚您將使用哪些工具來執行任務、數據管理和通信。 （我從 Speero 的首席執行官 Ben Labay 那裡得到了這個細分。）

治理：每個人都有哪些角色和責任？ 確定這一點的一個有用方法是 (1) 選擇治理模型和 (2) 完成與治理模型一致的 RASCI 圖表。 需要調查和考慮的通用治理模型：個人、集中式、分散式、卓越中心、測試委員會和混合型。

如果你不把這兩個與其他一切都確定下來，那將是額外的混亂，你將在每一步中為此付出代價。 把這些釘下來。 這需要額外的時間，但這是值得的。 如果您暫時解決問題，後果最終會趕上您。 我保證。 （顯然，我在這裡做出了很多承諾。）

結論

您應該對可以做些什麼來開始實驗或可以做些什麼來升級已經運行的程序感到更有信心一點（或很多）。 不要覺得它太難或太容易。 它通常在中間的某個地方。 我最大的建議適用於我提到的一切：有一個四分衛。 找人領導所有這些工作。 它不一定是他們的全職角色，但應該有人擁有它。 那通常是我看到最成功的時候。

最後，我希望你有一個充滿嚴謹、結果和一點樂趣的實驗計劃。在一天結束時，這是一項有趣而令人興奮的工作，可以為企業帶來巨大的變化。

如果您想了解更多關於實驗如何推動創新和增長以及值得所有炒作的信息，請觀看我與 VWO 的最新網絡研討會。