การทดสอบ A/B บนมือถือ: 7 ข้อผิดพลาดและความเข้าใจผิดครั้งใหญ่ที่คุณต้องหลีกเลี่ยง

ไม่เป็นความลับที่การตลาดโดยรวมจะขึ้นอยู่กับข้อมูลเป็นส่วนใหญ่ เช่นเดียวกับการตลาดบนมือถือและการได้ผู้ใช้ใหม่ ในโดเมนนี้ การเลือกองค์ประกอบของหน้าผลิตภัณฑ์ที่เหมาะสมสำหรับ App Store และ Google Play สามารถสร้างความแตกต่างที่สำคัญต่อความสำเร็จของแอปหรือเกมบนมือถือ การทดสอบ A/B บนมือถือเป็นเครื่องมือที่ช่วยในการตัดสินใจโดยยึดตามข้อมูล

อย่างไรก็ตาม กี่ครั้งแล้วที่เราได้ยินข้อโต้แย้งว่าการทดสอบ A/B ไม่ได้ให้ผลลัพธ์ตามที่ต้องการ หรือมีคนไม่แน่ใจว่าพวกเขาทำการทดสอบบนมือถือใช่ไหม ซึ่งมักเกิดขึ้นเนื่องจากข้อผิดพลาดทั่วไปและการตีความข้อมูลผิดพลาด ในโพสต์นี้ ฉันจะพูดถึงข้อผิดพลาดที่ใหญ่ที่สุดและข้อสรุปที่ทำให้เข้าใจผิดในการทดสอบ A/B ของแอปบนอุปกรณ์เคลื่อนที่ ความรู้ที่จะช่วยให้คุณประสบความสำเร็จ

1. สิ้นสุดการทดสอบก่อนที่คุณจะได้รับปริมาณการเข้าชมที่เหมาะสม

นี่เป็นหนึ่งในข้อผิดพลาดที่พบบ่อยที่สุดในการทดสอบ A/B บนอุปกรณ์เคลื่อนที่ ในกรณีที่คุณเป็นสาวกของการทดสอบ A/B แบบคลาสสิก การทำการทดสอบให้ เสร็จก่อนที่คุณจะได้รับปริมาณการเข้าชมที่จำเป็น – ขนาดตัวอย่าง – มีความเสี่ยงที่คุณจะได้รับผลลัพธ์ที่ไม่น่าเชื่อถือทางสถิติ

เพื่อให้ได้หลักฐานที่เชื่อถือได้ คุณต้องรอจนกว่าจะถึงปริมาณการรับส่งข้อมูลที่ต้องการสำหรับรูปแบบ A และ B

หากคุณกำลังมองหาทางเลือกอื่นนอกเหนือจากตัวเลือกแบบคลาสสิก ให้หันไปใช้การทดสอบ A/B ตามลำดับ คุณจะต้องเริ่มต้นด้วยการระบุอัตราการแปลงพื้นฐาน (อัตราการแปลงของการเปลี่ยนแปลงในปัจจุบันของคุณ) อำนาจสถิติ (80% โดยค่าเริ่มต้น) ระดับนัยสำคัญและต่ำสุดที่ตรวจพบผล (MDE) - นี้จะช่วยให้คุณกำหนดขนาดของกลุ่มตัวอย่าง

ระดับนัยสำคัญคือ 5% โดยค่าเริ่มต้น ซึ่งหมายความว่าส่วนต่างของข้อผิดพลาดจะไม่เกิน 5% คุณสามารถกำหนดค่านี้พร้อมกับ MDE ซึ่ง เป็นอัตราการแปลงที่คาดหวังขั้นต่ำที่คุณต้องการเห็น หมายเหตุ: อย่าเปลี่ยนระดับนัยสำคัญ MDE หรือพลังทางสถิติหลังจากที่คุณเริ่มการทดสอบแล้ว

ด้วยการทดสอบ A/B ตามลำดับ อัลกอริธึมจะตรวจสอบการเปลี่ยนแปลงของคุณในระดับนัยสำคัญและปริมาณการเข้าชมที่เหลืออยู่อย่างต่อเนื่องจนกว่าการทดสอบจะเสร็จสิ้น นั่นคือวิธีการทำงานบนแพลตฟอร์มการทดสอบ SplitMetrics A/B ของเรา

บทเรียนที่ได้รับ: หากคุณเรียกใช้การทดสอบ A/B แบบคลาสสิก อย่าทำการทดสอบจนเสร็จสิ้นจนกว่าจะถึงปริมาณการเข้าชมที่เหมาะสม มิฉะนั้น ให้ลองใช้การทดสอบ A/B ตามลำดับ และคุณจะสามารถตรวจสอบผลลัพธ์ได้ตลอดเวลา

2. สิ้นสุดการทดสอบก่อน 7 วันผ่านไป

ทำไมคุณต้องรออย่างน้อยเจ็ดวัน? แอพและเกมมือถือต่าง ๆ ประสบกับกิจกรรมสูงสุดในแต่ละวันที่แตกต่างกันระหว่างสัปดาห์ ตัวอย่างเช่น แอปสำหรับธุรกิจมีกิจกรรมมากมายในวันจันทร์ ในขณะที่เกมเป็นที่นิยมมากที่สุดในหมู่ผู้ใช้ในช่วงสุดสัปดาห์

เพื่อให้ได้ผลลัพธ์ที่เชื่อถือได้จากการทดสอบการทดสอบ A/B บนอุปกรณ์เคลื่อนที่ คุณควรบันทึกวันที่มีการใช้งานแอปสูงสุดในระหว่างการทดสอบ มิฉะนั้น คุณเสี่ยงที่จะข้ามไปสู่ข้อสรุป

ตัวอย่างเช่น คุณเรียกใช้การทดสอบสำหรับแอปการจัดการงาน คุณเริ่มการทดสอบในวันพุธและสิ้นสุดในวันเสาร์ แต่กลุ่มเป้าหมายส่วนใหญ่ของคุณใช้แอปของคุณในวันจันทร์ ดังนั้นคุณจะพลาดประเด็นนี้ไปเนื่องจากกิจกรรมที่เพิ่มขึ้นอย่างรวดเร็วยังไม่เข้าสู่ช่วงการทดสอบ หรือในทางกลับกัน คุณได้ทำการทดสอบ A/B สำหรับเกมแข่งรถตั้งแต่วันศุกร์ถึงวันอาทิตย์ ซึ่งเป็นช่วงที่มีการแข่งขันสูง ในกรณีนี้ผลลัพธ์ก็จะไม่เพียงพอเช่นกัน

ดังนั้น แม้ว่าคุณจะหลีกเลี่ยงข้อผิดพลาดอันดับหนึ่งและได้รับการเข้าชมตามจำนวนที่กำหนดแล้วในวันแรก อย่าหยุดการทดสอบจนกว่าจะผ่านไปเจ็ดวัน

บทเรียนที่ได้รับ: เนื่องจากกิจกรรมพีคเล็กน้อยซึ่งแตกต่างกันไปในแต่ละเกมหรือแอพมือถือ อย่าทำการทดลองให้เสร็จก่อนจะผ่านรอบที่สมบูรณ์ (เจ็ดวัน)

3. การทดสอบการเปลี่ยนแปลงเล็กน้อยในการออกแบบ

ข้อผิดพลาดทั่วไป อีกประการหนึ่ง ในการทดสอบ A/B บนมือถือคือการเปรียบเทียบรูปแบบที่เกือบจะเหมือนกันเนื่องจากความแตกต่างเล็กน้อยในการออกแบบ

หากความแตกต่างเพียงอย่างเดียวระหว่างไอคอนแอปบนอุปกรณ์เคลื่อนที่ที่คุณกำลังทดสอบคือสีพื้นหลังสีน้ำเงินแทนที่จะเป็นสีน้ำเงินอ่อน หรือคุณเพิ่มรายละเอียดเล็กๆ น้อยๆ ให้กับรูปแบบภาพหน้าจออื่น แสดงว่าคุณกำลังประสบปัญหาอย่างแน่นอน ผู้ใช้ไม่สังเกตเห็นการเปลี่ยนแปลงเล็กน้อยดังกล่าว

ในกรณีนี้ ทั้งสองรูปแบบจะแสดงผลลัพธ์เดียวกัน และเป็นเรื่องปกติอย่างสมบูรณ์ ดังนั้น หากคุณเคยพยายามเรียกใช้การทดสอบ A/B ของ App Store แต่เลิกใช้แล้ว เนื่องจากรูปแบบต่างๆ ทำงานเท่าๆ กัน ก็ถึงเวลาไตร่ตรองถึงสิ่งที่ผิดพลาด บางทีรูปแบบของคุณอาจดูค่อนข้างเหมือนกัน

เพื่อให้แน่ใจว่าคุณกำลังทดสอบ A/B การเปลี่ยนแปลงที่สำคัญ ให้แสดงทั้งสองเวอร์ชันต่อครอบครัวหรือเพื่อนของคุณ ให้เพื่อนร่วมงานของคุณดูแต่ละรูปแบบเป็นเวลา 3-5 วินาที หากพวกเขาไม่ทราบความแตกต่าง คุณควรออกแบบเนื้อหาภาพของคุณใหม่

บทเรียนที่ได้เรียนรู้: ในกรณีที่คุณทดสอบรูปแบบต่างๆ โดยมีการเปลี่ยนแปลงการออกแบบเพียงเล็กน้อย คุณควรคาดหวังว่ารูปแบบเหล่านี้จะแสดงผลแบบเดียวกัน การเปลี่ยนแปลงดังกล่าวไม่มีนัยสำคัญสำหรับผู้ใช้มากนัก ดังนั้นจึงควรทดสอบไอคอนแอปและภาพหน้าจอที่แตกต่างกันอย่างเห็นได้ชัด

4. โฆษณาแบนเนอร์ของคุณมีการออกแบบเหมือนกับหนึ่งในแอสเซทภาพแอปสโตร์

หากคุณใช้เครื่องมือทดสอบ A/B บนมือถือของบุคคลที่สาม เช่น SplitMetrics คุณจะซื้อการเข้าชมและวางแบนเนอร์บนเครือข่ายโฆษณา ประเด็นก็คือ แบนเนอร์ ดังกล่าว ไม่ควรมีลักษณะเหมือนกับเนื้อหาภาพที่คุณกำลังทดสอบ ไม่ว่าจะเป็นภาพหน้าจอหรือองค์ประกอบเดียวกันบนไอคอน

ตัวอย่างเช่น คุณทำการทดสอบสำหรับแอปเพื่อการศึกษาของคุณ คุณออกแบบแบนเนอร์ที่มีองค์ประกอบเดียวกันกับไอคอนจากรูปแบบ A ในขณะที่รูปแบบ B เป็นอีกไอคอนหนึ่งโดยสมบูรณ์ รูปแบบ A จะแสดงอัตราการแปลงที่สูงขึ้น เนื่องจากมีการออกแบบเหมือนกัน ตามที่ผู้ใช้แบนเนอร์เห็นและคลิกในตอนแรก

จากการศึกษาพบว่า หากผู้คนเห็นอะไรซ้ำๆ สมองของพวกเขาจะประมวลผลข้อมูลเร็วขึ้น ซึ่งจะทำให้พวกเขารู้สึกชอบใจ คุณสามารถอ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ได้ที่นี่ ดังนั้น ผู้ใช้มักจะแตะบนรูปภาพที่คุ้นเคยอยู่แล้วโดยไม่รู้ตัว

บทเรียนที่ได้รับ: เมื่อทำงานกับโฆษณาแบนเนอร์ ให้ออกแบบให้เป็นกลางที่สุด การออกแบบแบนเนอร์ไม่ควรตรงกับการออกแบบของไอคอนแอปหรือรูปแบบต่างๆ ของภาพหน้าจอ

5. ทดสอบสมมติฐานหลายข้อพร้อมกัน

ไม่ควรทำการเปลี่ยนแปลงหลายรายการและทดสอบภายในการทดสอบเดียวกัน นักการตลาดมือถือบางคนสรุปผลที่ผิดหลังจากทำการทดสอบ เนื่องจากพวกเขาได้ทำการเปลี่ยนแปลงหลายอย่าง และอันที่จริง ไม่สามารถทราบได้ว่าสิ่งใดส่งผลต่อผลลัพธ์อย่างแน่นอน

หากคุณตัดสินใจที่จะเปลี่ยนสีของภาพหน้าจอของหน้าผลิตภัณฑ์ใน App Store ให้สร้างรูปแบบหนึ่งหรือสองสามรูปแบบโดยใช้สีพื้นหลังอื่นและทำการทดสอบ อย่าเปลี่ยนสี ลำดับ และข้อความบนหน้าจอพร้อมกัน มิฉะนั้น คุณจะเห็นรูปแบบที่ชนะ (ปล่อยให้เป็นรูปแบบ B) และคุณจะไม่รู้ว่าเป็นการเปลี่ยนสีที่ใช้งานได้จริงหรือไม่

บทเรียนที่ได้รับ: หากคุณทดสอบสมมติฐานหลายข้อพร้อมกัน คุณจะไม่สามารถเข้าใจว่าข้อใดถูกต้อง

6. ตีความสถานการณ์ผิดเมื่อสองรูปแบบเหมือนกัน แต่คุณได้ผู้ชนะ

เมื่อเรียกใช้การทดสอบ A/A คุณอาจสับสนเมื่อเครื่องมือทดสอบ A/B แสดงรูปแบบที่ชนะระหว่างเนื้อหาที่เหมือนกันสองรายการ โดยเฉพาะอย่างยิ่ง นี่เป็นเรื่องปกติสำหรับเครื่องมือในตัวของ Google Play Store สำหรับการเรียกใช้การทดสอบ

บนแพลตฟอร์ม SplitMetrics ที่ระดับนัยสำคัญ 5% ในกรณีนี้ คุณจะเห็นว่าผลลัพธ์นั้นไม่มีนัยสำคัญ

ความแตกต่างเล็กน้อยระหว่างสองรูปแบบที่เหมือนกันทุกประการล้วนเป็นเรื่องบังเอิญล้วนๆ ผู้ใช้ต่างตอบสนองแตกต่างกันเล็กน้อย มันเหมือนกับการพลิกเหรียญ: มีโอกาส 50-50 ที่คุณจะได้หัวหรือก้อย และมีโอกาส 50-50 รูปแบบใดรูปแบบหนึ่งจะแสดงผลลัพธ์ที่ดีกว่า

เพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติในสถานการณ์เช่นนี้ คุณควรได้รับผลลัพธ์จากผู้ใช้ทั้งหมดอย่างแน่นอน ซึ่งเป็นไปไม่ได้

บทเรียนที่ได้รับ: หากคุณได้รับรูปแบบที่ชนะเมื่อทดสอบเนื้อหาที่เหมือนกัน ไม่มีอะไรผิดปกติกับเครื่องมือทดสอบ A/B ของคุณ มันเป็นเพียงเรื่องบังเอิญ อย่างไรก็ตาม ด้วยการทดสอบ A/B ตามลำดับ คุณจะพบว่าผลลัพธ์นั้นไม่มีนัยสำคัญ

7. อารมณ์เสียเมื่อรูปแบบใหม่แพ้รูปแบบปัจจุบัน

นักการตลาดบนอุปกรณ์เคลื่อนที่และผู้จัดการการสร้างฐานผู้ใช้บางรายรู้สึกผิดหวังเมื่อการทดสอบแสดงให้เห็นว่ารูปแบบปัจจุบันชนะ ซึ่งพวกเขาไม่ได้คาดหวัง และเริ่มใช้งบประมาณไปกับการเข้าชมที่เสียค่าใช้จ่ายมากขึ้นโดยหวังว่ารูปแบบใหม่จะชนะในที่สุด

ไม่มีเหตุผลที่จะต้องรู้สึกแย่หากสมมติฐานของคุณไม่ได้รับการยืนยัน หากคุณได้เปลี่ยนแปลงบางอย่างบนหน้าผลิตภัณฑ์ของ App Store โดยไม่ได้ทำการทดสอบ คุณจะสูญเสียส่วนหนึ่งของผู้มีโอกาสเป็นลูกค้าและผลที่ตามมาคือเงิน ในขณะเดียวกัน เมื่อคุณใช้เงินไปกับการทดลองนี้ คุณได้จ่ายเงินเพื่อความรู้ ตอนนี้คุณทราบแล้วว่าสิ่งใดใช้ได้ผลกับแอปของคุณและสิ่งใดใช้ไม่ได้

บทเรียนที่ได้รับ: ทุกอย่างเกิดขึ้นด้วยเหตุผล และคุณไม่ควรเสียใจหากการทดสอบ A/B ของคุณไม่ยืนยันสมมติฐานของคุณ ตอนนี้คุณมีวิสัยทัศน์ที่ชัดเจนว่าเนื้อหาใดทำงานได้ดีที่สุดสำหรับเกมหรือแอปของคุณ