ข้อกำหนดสำหรับการรันโปรแกรมการทดลองที่จริงจัง

การดำเนินโครงการทดลองเป็นศาสตร์และศิลป์ ฉันพูดมันตลอดเวลา โปรแกรมควรมีระดับความเข้มงวด - หมายถึงระบบ กระบวนการ และขั้นตอน ไม่ใช่เรื่องที่จะเบา การเชื่อว่าใครก็ตามสามารถเริ่มโปรแกรมในวันพรุ่งนี้โดยมีการเตรียมตัวและการวางแผนเพียงเล็กน้อยถือเป็นข้อผิดพลาด น่าเสียดายที่มันเกิดขึ้นตลอดเวลา มันทำให้เสียเงิน เวลา และความพยายามมากมายโดยเปล่าประโยชน์ สิ่งนี้นำฉันไปสู่หัวข้อ การเตรียมการ

หากคุณต้องการจริงจังกับการทดลองและยกระดับการแข่งขันในตลาด คุณควรทำให้ดี คุณควรถือว่าคู่แข่งของคุณทำได้ดี ดังนั้นหากสิ่งนี้โดนใจคุณ อ่านต่อไปและฉันรับประกันว่าคุณจะหยิบนักเก็ตสีทองขึ้นมาใช้ทันที

สารตั้งต้นที่หลีกเลี่ยงไม่ได้ในการสร้างโปรแกรมการทดลองที่จะสร้างหรือทำลายคุณ: การคำนวณทดสอบล่วงหน้า

การคำนวณก่อนการทดสอบ เคยได้ยินเกี่ยวกับพวกเขา? คุณได้ทำพวกเขา? MDE หรือเอฟเฟกต์ตรวจจับขั้นต่ำฟังดูคุ้นๆ ไหม? ประมาณการระยะเวลาหรือขนาดตัวอย่างอย่างไร ฉันหวังว่าคุณจะรู้ว่าฉันกำลังพูดถึงอะไร แม้ว่าฉันจะเดิมพันด้วยเงินที่พวกคุณส่วนใหญ่ไม่ทำ – เพียงเพราะประสบการณ์ส่วนตัวของฉันกับลูกค้า

ก่อนที่คุณจะดำเนินการใดๆ ที่เกี่ยวข้องกับการทดลอง โปรดดูว่าคุณมีปริมาณข้อมูลเพียงพอหรือไม่ ดูว่าคุณสามารถทดสอบผ่านการคำนวณการทดสอบล่วงหน้าได้หรือไม่ ตามปริมาณข้อมูล ฉันหมายถึงผู้เข้าชมและคอนเวอร์ชั่น ผู้เยี่ยมชมสามารถเป็นอะไรก็ได้ที่คุณใช้ตามปกติ (เช่น เซสชัน ผู้ใช้ MAU เป็นต้น) Conversion มาจากเมตริกหลักที่คุณจะใช้ในการทดสอบ รู้สิ่งนี้:

1. ไม่ใช่ทุกธุรกิจที่มีปริมาณข้อมูลเพียงพอที่จะทำการทดลองในทุกความสามารถ
2. หากคุณทำได้ ให้รู้ว่าคุณไม่เพียงแค่เลือกความเร็วที่คุณต้องการจากอากาศที่เบาบาง ขึ้นอยู่กับการคำนวณ

ผู้ร้ายอันดับ 1 ที่ละเลยจุดใดจุดหนึ่งหรือทั้งสองจุด: พนักงานขาย หากคุณต้องการซื้อเครื่องมือประเภทใดก็ตาม ตรวจสอบให้แน่ใจว่านี่เป็นส่วนหนึ่งของการสนทนา อุปสรรคขั้นต่ำในการเข้าสู่โปรแกรมการทดลอง: ปริมาณข้อมูลที่เพียงพอสำหรับการทดสอบหนึ่งรายการภายในแปดสัปดาห์หรือน้อยกว่าในช่องทางว่ายน้ำเดียว

ฉันได้พูดถึงหัวข้อนี้อย่างละเอียดเมื่อไม่กี่เดือนที่ผ่านมาสำหรับ Experiment Nation รู้ว่าถ้าคุณไม่เข้าใจหัวข้อนี้และทำตั้งแต่วันแรก มันจะตามหลอกหลอนคุณและทำให้เกิดผลลัพธ์ที่ไม่พึงประสงค์ในที่สุด หมายเหตุสำคัญอีกอย่างหนึ่ง: ทราบว่าเครื่องมือทดสอบของคุณ (หรือเครื่องมือที่คุณวางแผนจะใช้) สร้างขึ้นจากการทดสอบขอบฟ้าคงที่หรือการทดสอบตามลำดับ สิ่งนี้ส่งผลต่อการคำนวณและวิธีเรียกใช้โปรแกรมของคุณ

ขั้นตอนที่ 1 (หลังสารตั้งต้น): การวัดและคุณภาพของข้อมูล

หากคุณผ่านอุปสรรคการคำนวณก่อนการทดสอบแล้ว และคุณยืนยันว่าคุณมีปริมาณข้อมูลเพียงพอสำหรับการทดสอบ อุปสรรคต่อไปที่จะก้าวไปข้างหน้าคือการวัดและคุณภาพของข้อมูล คุณ ต้อง รู้ว่าคุณมีเป้าหมายอะไรในการทำงานนี้ มิฉะนั้นคุณจะดิ้นรนเหมือนปลาที่ริมฝั่งแม่น้ำ มีทีมจำนวนมากเกินไปที่ไม่รู้ว่ากำลังทำอะไรอยู่ เช่น การส่งแบบฟอร์ม ธุรกรรม รายได้ LTV เป็นต้น

ทำความเข้าใจว่าเมตริกหลัก ทุติยภูมิ และตติยภูมิของคุณคืออะไรสำหรับการทดสอบและธุรกิจโดยรวม ทำความเข้าใจด้วยความชัดเจนอย่างสมบูรณ์ อย่าปล่อยให้เกิดความสับสนหรือความไม่แน่นอน ตรวจสอบให้แน่ใจว่า ทุกคน อยู่ในหน้าเดียวกัน

จากนั้น เมื่อคุณมีมากพอแล้ว ตรวจสอบให้แน่ใจว่าคุณรวบรวมข้อมูลนั้นในที่ที่ถูกต้อง และ เชื่อถือได้

หากการวัดและ/หรือคุณภาพของข้อมูลคือหายนะ ให้หยุด หยุดทุกอย่างและทุ่มเทความพยายามทั้งหมดของคุณเพื่อทำให้ถูกต้อง คิดว่าการทดลองเป็นพีระมิด สองสิ่งนี้เป็นชั้นพื้นฐานของพีระมิด ถ้ามันแตกในช่วงเวลาใดเวลาหนึ่ง อย่างอื่นจะพังทลายลงมา ฉันสัญญา.

ฉันจะบอกว่าฉันรู้ว่าสิ่งเหล่านี้อาจเป็นเรื่องยาก การทำให้ถูกต้องอาจใช้เวลาเพิ่ม อาจจะมากกว่าหนึ่งหรือสองเดือนด้วยซ้ำ การทำให้ถูกต้องนั้นคุ้มค่า ฉันเคยเห็นปัญหาเกิดขึ้นตั้งแต่หกเดือนขึ้นไปหลังจากเปิดตัวโปรแกรม – แต่ในที่สุดทุกอย่างก็หยุดลงอย่างน่าสยดสยอง ไม่มีใครมีความสุขในจุดนั้น

หมายเหตุเกี่ยวกับสิ่งที่เมตริกหลักควรเป็น...

นี่เป็นหัวข้อที่แตกแยกในหมู่ผู้ปฏิบัติงานในบางครั้ง ฉันมีจุดยืนที่แน่วแน่ในเรื่องนี้ โดยเฉพาะอย่างยิ่งเมื่อเป็นเรื่องของทีมการตลาดและเว็บไซต์ (ไม่จำเป็นต้องเป็นทีมงานผลิตภัณฑ์และผลิตภัณฑ์)

เมตริกหลักควรเป็นเมตริกช่องทางด้านล่างเสมอ คำสั่งซื้อ การส่งแบบฟอร์ม MQL รายได้. แอลทีวี SQL คุณได้รับความคิด บางคนบอกว่าควรเป็นการกระทำที่ใกล้เคียงกับการเปลี่ยนแปลงที่คุณกำลังทำหรือเมตริกการมีส่วนร่วมมากที่สุด ผิด. ไม่ ไม่ ไม่ถูกต้อง. วท.บ. ใครก็ตามที่บอกคุณว่าสิ่งนี้ควรเป็นคนที่ต้องพิสูจน์ความถูกต้องของโปรแกรมภายในหกเดือนหรือหนึ่งปีต่อ CMO หรือ CEO ของบริษัท พวกเขาจะอยู่ในที่นั่งร้อน ไม่มีโปรแกรมที่เต็มไปด้วยการทดสอบที่เน้นการคลิกปุ่ม การคลิกผ่าน การดูหน้าเว็บ ค่าเฉลี่ย ระยะเวลาเซสชัน อัตราการออก อัตราตีกลับ การดูวิดีโอ และอื่นๆ เป็นต้น นั่นจะไม่พิสูจน์ว่าเงินหลายพันหรือหลายแสนดอลลาร์ที่ใช้ไปกับงานนี้ ทุกคนต้องการทราบ ROI ของตนและผลงานส่งผลต่อผลกำไรอย่างไร การคลิกปุ่มจะไม่ทำเช่นนั้น

ฉันไม่ได้บอกว่าห้ามวัดเมตริกการมีส่วนร่วมหรือเมตริกช่องทางที่สูงกว่า แต่ควรเป็นเมตริกรองหรือตติยภูมิ ไม่ใช่ตัวหลัก พวกเขาเพิ่มบริบทให้กับเรื่องราวของการทดสอบ ไม่ใช่การทดสอบที่จะขึ้นอยู่กับเวลาที่ต้องตัดสินใจ หมายเหตุ ฉันไม่ได้บอกว่าไม่มีข้อยกเว้น ยังคงประเมินการทดสอบเป็นกรณีไป

คำแนะนำ: สำหรับผู้ที่กำลังโต้เถียงกันในหัวข้อนี้ ฉันมักจะบอกทีมต่างๆ ให้หารือเกี่ยวกับทางเลือกต่างๆ และตัดสินใจด้วยตนเอง เพียงให้แน่ใจว่าคุณได้ข้อสรุปโดยรวมที่ทุกคนปฏิบัติตามโดยการก้าวไปข้างหน้า

ขั้นตอนที่ 2: การวิจัยผู้ใช้ & ความคิด

ณ จุดนี้ คุณควร (1) รู้ว่าคุณมีปริมาณข้อมูลเพียงพอสำหรับการทดสอบ และ (2) รู้ว่าคุณกำลังวัดอะไร และคุณกำลังรวบรวมข้อมูลที่เหมาะสมซึ่งคุณสามารถเชื่อถือได้ แล้วอะไรต่อไป? กำลังลุ้นว่าจะทดสอบอะไรดี แนวคิดในการทดสอบของคุณคืออะไร? คุณจะสร้างมันขึ้นมาได้อย่างไร?

เดาว่าทีมส่วนใหญ่ทำอะไร? พวกเขาออกไปด้วยความรู้สึกอุบาทว์และ "เราคิดว่า" "เรารู้สึก" และ "เราเชื่อ" นั่นเป็นอัตวิสัยมากเกินไป และเป็นวิธีที่แย่ในการรันโปรแกรม วิธีการนั้นไม่ได้สำรองข้อมูลไว้เลย เป็นสิ่งที่ผู้ปฏิบัติงานเรียกว่า "การทดสอบสปาเก็ตตี้" หรือที่เรียกว่าการเหวี่ยงสิ่งของไปที่กำแพงและหวังว่ามันจะเกาะติด การสนทนาโดยใช้ข้อมูลไม่ได้เกี่ยวข้องกับภาษาประเภทนั้นมากนัก และข้อมูลที่จำเป็นมาจากการวิจัยผู้ใช้ ฉันถูกถามว่า "การวิจัย" หมายถึงอะไรตลอดเวลา

มีวิธีการหลายอย่างที่รวบรวมข้อมูลรวมถึงแต่ไม่จำกัดเพียงการวิเคราะห์ โพล การสำรวจ การทดสอบผู้ใช้ การทดสอบข้อความ แผนที่ความร้อน การบันทึกเซสชั่น การเรียงลำดับการ์ด การทดสอบแบบต้นไม้ นอกจากนี้ยังมีเครื่องมือหลายอย่างที่จะช่วยให้เราดำเนินการเหล่านี้ให้เสร็จสมบูรณ์ ฉันมักจะพูดเสมอว่าให้เริ่มด้วยหนึ่งหรือสองและหาทางไปสู่สิ่งอื่นจากที่นั่น แน่นอนว่าดีกว่าไม่มีอะไรเลย ในทางเทคนิคแล้ว ฉันไม่นับการวิเคราะห์อีกต่อไป เพราะทุกบริษัทมีข้อมูลการวิเคราะห์ในทุกวันนี้ หากคุณไม่มี คุณน่าจะมีปลาตัวใหญ่กว่าที่จะทอด ถ้าคุณมี พยายามทำมากกว่านั้นสักหนึ่งหรือสองอย่าง (และอย่าพูดว่า "โอ้ เราทำได้ดีแล้ว")

มีระเบียบวิธีที่เรียกว่าการประเมินแบบฮิวริสติก นั่นคือเวลาที่มีคนประเมินประสบการณ์ด้วยสายตาและพัฒนาข้อมูลเชิงลึกตามประสบการณ์และความเชี่ยวชาญของพวกเขา มีเวลาและสถานที่สำหรับมัน แต่ส่วนใหญ่จะไม่ได้รับการสนับสนุนจาก "ฮาร์ดดาต้า" ค่อนข้างเป็นอัตวิสัยและจะแตกต่างกันไปบ้างขึ้นอยู่กับว่าใครเป็นคนทำ รู้ว่าโปรแกรมของคุณไม่ควรอิงตามข้อมูลเชิงลึกประเภทเหล่านี้

ฉันจะไม่พูดถึงวิธีการทำวิจัยโดยละเอียดที่นี่ แต่คุณสามารถดูหนึ่งใน VWO Webinars ของฉันที่นี่ ซึ่งฉันจะพูดถึงโมเดล ResearchXL ของ CXL เพิ่มเติม

ขั้นตอนที่ 3: การจัดลำดับความสำคัญ

เมื่อคุณมีรายการแนวคิดการทดสอบแล้ว คุณจะไม่สามารถทำทั้งหมดพร้อมกันได้ คุณต้องมีกลยุทธ์และมีเหตุผลในการสร้างแผนปฏิบัติการ นี่คือที่มาของกรอบการจัดลำดับความสำคัญ มีอยู่มากมาย ฉันชอบอย่างหนึ่งเป็นพิเศษ: กรอบ PXL จาก CXL สิ่งที่พบบ่อยอื่นๆ ได้แก่ PIE, ICE หรือ PILL PXL เป็นเป้าหมายสูงสุดในความคิดของฉัน ปรับแต่งได้และทนทานกว่า (ในทางที่ดี)

รุ่นอื่นก็โอเคและดีกว่าไม่มีอะไรเลย หากคุณมีบางอย่างและมันใช้ได้ผลสำหรับคุณก็เยี่ยมมาก เพียงมีหนึ่งอันและให้แน่ใจว่าทุกคนใช้มัน! มันช่วยให้คุณไม่ต้องยุ่งกับเรื่องวุ่นวายเพิ่มเติม

ขั้นตอนที่ 4: การทำแผนที่ถนน

แผนการทำงานจะแสดงให้คุณเห็นสิ่งที่กำลังดำเนินอยู่ ณ เวลาใดเวลาหนึ่ง รวมการจัดลำดับความสำคัญและการคำนวณก่อนการทดสอบและบูมเข้าด้วยกัน คุณมีแผนงานแล้ว สิ่งเหล่านี้ทำได้ดีที่สุดในแผนภูมิ Gantt เพิ่มเลนว่ายน้ำทั้งหมดของคุณและทดสอบด้วยระยะเวลาโดยประมาณ อุปกรณ์ และข้อมูลเมตาที่เป็นประโยชน์อื่นๆ คุณจะหลีกเลี่ยงการซ้อนทับที่ไม่ต้องการและเอฟเฟกต์การโต้ตอบที่ไม่ต้องการ ช่วยให้ทุกคนวางแผนได้อย่างมีประสิทธิภาพและประสิทธิผลมากขึ้น สิ่งนี้จะช่วยให้คุณรอดพ้นจากความวุ่นวาย

ขั้นตอนที่ 5 ขึ้นไป: ธุรกิจตามปกติ

ตอนนี้สิ่งที่เราได้กล่าวถึงทั้งหมดนั้นหมดหนทางแล้ว มันเป็นธุรกิจตามปกติ คุณมีการทดสอบอยู่ในมือว่าคุณกำลังจะไปวิ่ง คุณส่งผ่านเวิร์กโฟลว์การทดสอบปกติ: จำลอง > ออกแบบ > พัฒนา > QA > เปิดตัว > ตรวจสอบ > สรุป > วิเคราะห์ > แบ่งปันและเก็บถาวร > ทำซ้ำ

หัวข้อที่เกี่ยวข้อง: การจัดการโปรแกรมและการกำกับดูแล

นอกจากการทดสอบส่วนบุคคลแล้ว ยังมีหัวข้ออื่นๆ สำหรับการพิจารณาที่เกี่ยวข้องกับ "โปรแกรม" ทั้งหมด ซึ่งรวมถึงการจัดการโปรแกรมและการกำกับดูแล นี่คือวิธีที่ฉันคิดเกี่ยวกับพวกเขาในแบบที่ต้มลงมาก ...

การจัดการโปรแกรม: คุณจะจัดระเบียบและติดตามงานทั้งหมดนี้ได้อย่างไร? พิจารณาว่าคุณจะใช้เครื่องมือใดสำหรับงาน การจัดการข้อมูล และการสื่อสาร (ฉันได้รายละเอียดจาก Ben Labay ซีอีโอของ Speero)

Governance: ทุกคนมีหน้าที่และความรับผิดชอบอะไรบ้าง? วิธีที่เป็นประโยชน์ในการระบุสิ่งนี้คือ (1) เลือกรูปแบบการกำกับดูแล และ (2) กรอกแผนภูมิ RASCI ที่สอดคล้องกับรูปแบบการกำกับดูแล รูปแบบการกำกับดูแลทั่วไปเพื่อตรวจสอบและพิจารณา: รายบุคคล รวมศูนย์ กระจายอำนาจ ศูนย์ความเป็นเลิศ สภาทดสอบ และแบบผสม

หากคุณไม่ตอกย้ำทั้งสองสิ่งนี้ด้วยอย่างอื่น มันจะเป็นความโกลาหลเพิ่มเติมและคุณจะต้องจ่ายสำหรับมันทุกย่างก้าว เล็บเหล่านี้ลง ต้องใช้เวลาเพิ่ม แต่ก็คุ้มค่า หากคุณแฮกข้อมูลต่างๆ สักระยะ ผลที่ตามมาจะตามมาทันคุณในที่สุด ฉันสัญญา. (เห็นได้ชัดว่าฉันได้ทำสัญญาบางอย่างที่นี่)

บทสรุป

คุณควรรู้สึกมั่นใจมากขึ้นเล็กน้อย (หรือมาก) ในสิ่งที่คุณสามารถทำได้เพื่อเริ่มต้นการทดลอง หรือสิ่งที่คุณสามารถทำได้เพื่อเพิ่มระดับโปรแกรมของคุณที่กำลังทำงานอยู่ อย่ารู้สึกว่ามันยากหรือง่ายเกินไป มันมักจะอยู่ที่ไหนสักแห่งตรงกลาง คำแนะนำที่ใหญ่ที่สุดของฉันใช้ได้กับทุกสิ่งที่ฉันพูดถึง: มีกองหลัง มีคนเป็นผู้นำงานนี้ทั้งหมด ไม่จำเป็นต้องเป็นบทบาทเต็มเวลา แต่ใครบางคนควรเป็นเจ้าของ นั่นคือเวลาที่ฉันได้เห็นความสำเร็จมากที่สุด

สรุป ฉันหวังว่าคุณจะมีโปรแกรมการทดลองที่เต็มไปด้วยความเข้มงวด ผลลัพธ์ และความสนุกเล็กๆ น้อยๆ ในตอนท้ายของวัน มันเป็นงานที่สนุกและน่าตื่นเต้นซึ่งสามารถสร้างความแตกต่างให้กับธุรกิจได้อย่างมาก

หากคุณต้องการทราบข้อมูลเพิ่มเติมว่าการทดลองขับเคลื่อนนวัตกรรมและการเติบโตอย่างไร และคุ้มค่ากับการโฆษณาชวนเชื่อ โปรดดูการสัมมนาผ่านเว็บล่าสุดของฉันกับ VWO