คู่มือฉบับสมบูรณ์สำหรับการทดสอบ A/B: คำแนะนำจากผู้เชี่ยวชาญจาก Google, HubSpot และอื่นๆ

เผยแพร่แล้ว: 2020-04-10

นี่อาจไม่ใช่ครั้งแรกที่คุณอ่านเกี่ยวกับการทดสอบ A/B คุณอาจทดสอบ A/B หัวเรื่องอีเมลหรือโพสต์บนโซเชียลมีเดียแล้วด้วยซ้ำ

แม้ว่าจะมีการพูดกันมากมายเกี่ยวกับการทดสอบ A/B ในด้านการตลาด แต่ผู้คน จำนวนมาก ยังคงเข้าใจผิด ผลลัพธ์? ผู้ที่ตัดสินใจทางธุรกิจที่สำคัญโดยพิจารณาจากผลลัพธ์ที่ไม่ถูกต้องจากการทดสอบที่ไม่เหมาะสม

การทดสอบ A/B มักจะง่ายเกินไป โดยเฉพาะอย่างยิ่งในเนื้อหาที่เขียนขึ้นสำหรับเจ้าของร้านค้า ด้านล่างนี้ คุณจะพบทุกสิ่งที่คุณจำเป็นต้องรู้เพื่อเริ่มต้นการทดสอบ A/B ประเภทต่างๆ สำหรับอีคอมเมิร์ซ ซึ่งอธิบายไว้อย่างชัดเจนที่สุด

สารบัญ

  • การทดสอบ A/B คืออะไร?
  • การทดสอบ A/B ทำงานอย่างไร
  • การทดสอบ A/B/n คืออะไร?
  • การทดสอบ A/B ควรใช้เวลานานเท่าใด
  • ทำไมคุณควรทดสอบ A/B?
  • คุณควรทดสอบ A/B อย่างไร
  • จัดลำดับความสำคัญของแนวคิดการทดสอบ A/B
  • หลักสูตรความผิดพลาดในสถิติการทดสอบ AB
  • วิธีตั้งค่าการทดสอบ A/B
  • วิธีวิเคราะห์ผลการทดสอบ A/B
  • วิธีเก็บถาวรการทดสอบ A/B ที่ผ่านมา
  • กระบวนการทดสอบ A/B ของผู้เชี่ยวชาญ
  • เพิ่มประสิทธิภาพการทดสอบ A/B สำหรับธุรกิจของคุณ

การทดสอบ A/B คืออะไร?

การทดสอบ A/B ซึ่งบางครั้งเรียกว่าการทดสอบแยกเป็นกระบวนการเปรียบเทียบหน้าเว็บ อีเมล หรือเนื้อหาดิจิทัลอื่นๆ สองเวอร์ชันเพื่อพิจารณาว่าเวอร์ชันใดทำงานได้ดีกว่า

กระบวนการนี้ช่วยให้คุณตอบคำถามทางธุรกิจที่สำคัญ ช่วยให้คุณสร้างรายได้มากขึ้นจากการเข้าชมที่คุณมีอยู่แล้ว และกำหนดรากฐานสำหรับกลยุทธ์การตลาดที่มีข้อมูลเป็นข้อมูล

เรียนรู้เพิ่มเติม: วิธีดำเนินการวิเคราะห์ SWOT สำหรับธุรกิจของคุณ

การทดสอบ A/B ทำงานอย่างไร

เมื่อใช้การทดสอบ A/B ในบริบทของการตลาด คุณแสดง 50% ของผู้เข้าชมเวอร์ชัน A ของเนื้อหาของคุณ (เรียกว่า "การควบคุม") และ 50% ของผู้เข้าชมเวอร์ชัน B (เรียกว่า "ตัวแปร")

เวอร์ชันที่ส่งผลให้อัตราการแปลงสูงสุดชนะ ตัวอย่างเช่น สมมติว่ารูปแบบ (เวอร์ชัน B) ให้อัตรา Conversion สูงสุด จากนั้นคุณจะประกาศให้เป็นผู้ชนะและผลักดันให้ผู้เยี่ยมชมตัวแปร 100%

จากนั้น ตัวแปรจะกลายเป็นตัวควบคุมใหม่ และคุณต้องออกแบบตัวแปรใหม่

เป็นมูลค่าการกล่าวขวัญว่าอัตรา Conversion ของการทดสอบ A/B เป็นตัววัดความสำเร็จที่ไม่สมบูรณ์ ทำไม? คุณสามารถเพิ่มอัตราการแปลงของคุณได้ทันทีโดยทำให้ทุกอย่างในร้านค้าของคุณฟรี แน่นอน นั่นเป็นการตัดสินใจทางธุรกิจที่แย่มาก

นั่นเป็นเหตุผลที่คุณควรติดตามมูลค่าของ Conversion ไปจนถึงเสียงเครื่องบันทึกเงินสดที่ดัง

รายการเรื่องรออ่านฟรี: การเพิ่มประสิทธิภาพการแปลงสำหรับผู้เริ่มต้น

เปลี่ยนผู้เยี่ยมชมเว็บไซต์ให้กลายเป็นลูกค้ามากขึ้นโดยรับหลักสูตรความผิดพลาดในการเพิ่มประสิทธิภาพการแปลง เข้าถึงรายการบทความที่มีผลกระทบสูงฟรีและรวบรวมไว้ด้านล่าง

การทดสอบ A/B/n คืออะไร

ด้วยการทดสอบ A/B/n คุณสามารถทดสอบตัวแปรได้มากกว่าหนึ่งตัวแปรกับตัวควบคุม ดังนั้น แทนที่จะแสดง 50% ของผู้เข้าชมที่ส่วนควบคุม และ 50% ของผู้เข้าชมที่ส่วนควบคุม คุณอาจแสดง 25% ของผู้เข้าชมที่ส่วนควบคุม, 25% สำหรับตัวเลือกแรก, 25% สำหรับตัวเลือกที่สอง และ 25% สำหรับตัวแปรที่สาม

หมายเหตุ: สิ่งนี้แตกต่างจากการทดสอบหลายตัวแปร ซึ่งเกี่ยวข้องกับตัวแปรหลายตัวด้วย เมื่อเรียกใช้การทดสอบหลายตัวแปร คุณไม่ได้ทดสอบตัวแปรหลายตัวเท่านั้น คุณกำลังทดสอบองค์ประกอบหลายรายการด้วย เช่น การทดสอบ A/B การทดสอบ UX หรือการทดสอบ SEO แบบแยกส่วน เป้าหมายคือการค้นหาว่าชุดค่าผสมใดทำงานได้ดีที่สุด

การทดสอบหลายตัวแปร
ที่มาของภาพ: Google

คุณจะต้อง มีการรับส่งข้อมูลจำนวนมาก จึงจะสามารถทำการทดสอบหลายตัวแปรได้ ดังนั้นคุณจึงไม่ต้องสนใจสิ่งเหล่านั้นในตอนนี้

การทดสอบ A/B ควรใช้เวลานานเท่าใด

ทำการทดสอบ A/B ของคุณอย่างน้อยหนึ่งรอบสองรอบธุรกิจเต็มรูปแบบ อย่าหยุดการทดสอบเพียงเพราะว่าคุณบรรลุถึงความสำคัญแล้ว คุณจะต้องเป็นไปตามขนาดตัวอย่างที่กำหนดไว้ล่วงหน้าด้วย สุดท้าย อย่าลืมทำการทดสอบทั้งหมดโดยเพิ่มขึ้นทีละสัปดาห์

ทำไมสองรอบธุรกิจเต็ม? สำหรับผู้เริ่มต้น:

  1. คุณสามารถบัญชีสำหรับผู้ซื้อ "ฉันต้องคิดเกี่ยวกับมัน"
  2. คุณสามารถระบุแหล่งที่มาของการเข้าชมต่างๆ ได้ (Facebook จดหมายข่าวทางอีเมล การค้นหาทั่วไป ฯลฯ)
  3. คุณสามารถบัญชีสำหรับความผิดปกติ ตัวอย่างเช่น จดหมายข่าวอีเมลวันศุกร์ของคุณ

หากคุณเคยใช้เครื่องมือทดสอบ A/B หรือหน้า Landing Page แบบใดก็ตาม คุณน่าจะคุ้นเคยกับไอคอน "นัยสำคัญทางสถิติ" สีเขียวเล็กๆ

น่าเสียดายสำหรับหลาย ๆ คน ที่เป็นสัญญาณสากลสำหรับ "การทดสอบเสร็จแล้ว เรียกมันว่า" คุณจะได้เรียนรู้เพิ่มเติมเกี่ยวกับด้านล่าง เพียงเพราะการทดสอบ A/B ถึงนัยสำคัญทางสถิติแล้ว ไม่ได้หมายความว่าคุณควรหยุดการทดสอบ

และขนาดตัวอย่างที่กำหนดไว้ล่วงหน้าของคุณ? มันไม่ได้น่ากลัวอย่างที่คิด เปิดเครื่องคำนวณขนาดตัวอย่าง แบบนี้จาก Evan Miller

เครื่องคำนวณขนาดตัวอย่าง

การคำนวณนี้บอกว่าหากอัตราการแปลงปัจจุบันของคุณคือ 5% และคุณต้องการตรวจพบผลกระทบ 15% คุณต้องมีตัวอย่าง 13,533 ต่อรูปแบบ ดังนั้น โดยรวมแล้ว จำเป็นต้องมีผู้เข้าชมมากกว่า 25,000 ราย หากเป็นการทดสอบ A/B มาตรฐาน

ดูว่าเกิดอะไรขึ้นหากคุณต้องการตรวจจับเอฟเฟกต์ที่เล็กกว่า:

เครื่องคำนวณขนาดตัวอย่าง

สิ่งที่เปลี่ยนแปลงคือเอฟเฟกต์ที่ตรวจพบขั้นต่ำ (MDE) ลดลงจาก 15% เป็น 8% ในกรณีนี้ คุณต้องมีกลุ่มตัวอย่าง 47,127 ต่อรูปแบบ ดังนั้น จำเป็นต้องมีผู้เข้าชมเกือบ 100,000 คนหากเป็นการทดสอบ A/B มาตรฐาน

ไม่ว่าคุณจะทำการทดสอบ A/B การทดสอบแยก UX หรือ SEO ควรคำนวณขนาดตัวอย่างล่วงหน้า ก่อนเริ่มการทดสอบ การทดสอบของคุณหยุดไม่ได้ แม้ว่าจะถึงระดับความสำคัญแล้ว จนกว่าจะถึงขนาดกลุ่มตัวอย่างที่กำหนดไว้ล่วงหน้า หากเป็นเช่นนั้น แสดงว่าการทดสอบไม่ถูกต้อง

นี่คือเหตุผลที่คุณไม่สามารถทำตามแนวทางปฏิบัติที่ดีที่สุดอย่างไร้จุดหมาย เช่น "หยุดหลังจาก 100 Conversion"

สิ่งสำคัญคือต้องทำการทดสอบเพื่อเพิ่มทีละสัปดาห์เต็ม การเข้าชมของคุณสามารถเปลี่ยนแปลงได้ตามวันในสัปดาห์และช่วงเวลาของวัน ดังนั้น คุณจะต้องรวมทุกวันในสัปดาห์ด้วย

ทำไมคุณควรทดสอบ A/B?

สมมติว่าคุณใช้เงิน 100 ดอลลาร์ไปกับโฆษณาบน Facebook เพื่อส่งคน 10 คนมายังไซต์ของคุณ มูลค่าการสั่งซื้อเฉลี่ยของคุณคือ $25 ผู้เยี่ยมชมแปดคนออกไปโดยไม่ซื้ออะไรเลย และอีกสองคนใช้เงินคนละ 25 ดอลลาร์ ผลลัพธ์? คุณเสียเงิน 50 เหรียญ

สมมติว่าคุณใช้เงิน 100 ดอลลาร์ไปกับโฆษณาบน Facebook เพื่อส่งคน 10 คนมายังไซต์ของคุณ มูลค่าการสั่งซื้อเฉลี่ยของคุณยังคงเป็น $25 คราวนี้แม้ว่าผู้เยี่ยมชมเพียงห้าคนเท่านั้นที่ออกไปโดยไม่ซื้ออะไรเลยและอีกห้าคนใช้เงินคนละ 25 ดอลลาร์ ผลลัพธ์? คุณทำเงินได้ 25 เหรียญ

นี่เป็นหนึ่งในตัวอย่างการทดสอบ A/B ที่ง่ายกว่าแน่นอน แต่การเพิ่มอัตราการแปลงในไซต์ คุณได้ทำให้การ เข้าชมเดิม มีค่ามากขึ้น

รูปภาพและสำเนาของการทดสอบ A/B ยังช่วยให้คุณค้นพบข้อมูลเชิงลึก ไม่ว่าการทดสอบของคุณจะชนะหรือแพ้ ค่านี้สามารถโอนย้ายได้มาก ตัวอย่างเช่น ข้อมูลเชิงลึกเกี่ยวกับการเขียนคำโฆษณาจากการทดสอบ A/B ของคำอธิบายผลิตภัณฑ์สามารถช่วยแจ้งคุณค่าของคุณ วิดีโอผลิตภัณฑ์ หรือคำอธิบายผลิตภัณฑ์อื่นๆ

คุณไม่สามารถละเลยคุณค่าโดยธรรมชาติของการมุ่งเน้นการปรับปรุงประสิทธิภาพของร้านค้าของคุณอย่างต่อเนื่อง

คุณควรจะทำการทดสอบ A/B หรือไม่?

ไม่จำเป็น. หากคุณกำลังใช้งานไซต์ที่มีการเข้าชมต่ำ หรือเว็บหรือแอปบนอุปกรณ์เคลื่อนที่ การทดสอบ A/B อาจไม่ใช่ความพยายามในการเพิ่มประสิทธิภาพที่ดีที่สุดสำหรับคุณ คุณอาจเห็นผลตอบแทนจากการลงทุน (ROI) ที่สูงขึ้นจากการทดสอบผู้ใช้หรือพูดคุยกับลูกค้าของคุณ เป็นต้น

แม้จะเชื่อกันโดยทั่วไป แต่การเพิ่มประสิทธิภาพอัตราการแปลงไม่ได้เริ่มต้นและสิ้นสุดด้วยการทดสอบ

พิจารณาตัวเลขจากเครื่องคำนวณขนาดตัวอย่างด้านบน ผู้เยี่ยมชม 47,127 รายต่อรูปแบบเพื่อตรวจจับผลกระทบ 8% หากอัตรา Conversion พื้นฐานของคุณคือ 5% สมมติว่าคุณต้องการทดสอบหน้าผลิตภัณฑ์ มีผู้เข้าชมเกือบ 100,000 คนในสองถึงสี่สัปดาห์หรือไม่?

ทำไมสองถึงสี่สัปดาห์? โปรดจำไว้ว่า เราต้องการทดสอบอย่างน้อยสองรอบธุรกิจเต็มรูปแบบ โดยปกติจะใช้เวลาสองถึงสี่สัปดาห์ ตอนนี้คุณอาจกำลังคิดว่า "ไม่มีปัญหา แชแนล ฉันจะทำการทดสอบนานกว่าสองถึงสี่สัปดาห์เพื่อให้ได้ขนาดตัวอย่างที่ต้องการ" นั่นก็ใช้ไม่ได้เช่นกัน

คุณเห็นไหมว่ายิ่งการทดสอบดำเนินไปนานเท่าไร ก็ยิ่งเสี่ยงต่อภัยคุกคามด้านความถูกต้องจากภายนอกและตัวอย่างมลพิษมากขึ้นเท่านั้น ตัวอย่างเช่น ผู้เข้าชมอาจลบคุกกี้และเข้าสู่การทดสอบ A/B อีกครั้งในฐานะผู้เข้าชมใหม่ หรือบางคนอาจเปลี่ยนจากโทรศัพท์มือถือเป็นเดสก์ท็อปแล้วดูรูปแบบอื่น

โดยพื้นฐานแล้ว การปล่อยให้การทดสอบทำงานนานเกินไปนั้นไม่ดีเท่ากับการไม่ปล่อยให้ทำการทดสอบนานพอ

การทดสอบคุ้มค่ากับการลงทุนสำหรับร้านค้าที่มีขนาดตัวอย่างที่ต้องการภายในสองถึงสี่สัปดาห์ ร้านค้าที่ไม่ควรพิจารณาการเพิ่มประสิทธิภาพรูปแบบอื่นๆ จนกว่าการเข้าชมจะเพิ่มขึ้น

Julia Starostenko นักวิทยาศาสตร์ข้อมูลที่ Shopify เห็นด้วย โดยอธิบายว่า:

Headshot ผู้เชี่ยวชาญ

Julia Starostenko, Shopify

“การทดลองคือความสนุก! แต่สิ่งสำคัญคือต้องแน่ใจว่าผลลัพธ์ถูกต้อง

“ถามตัวเอง: ผู้ชมของคุณมีขนาดใหญ่พอหรือไม่? คุณได้รวบรวมข้อมูลเพียงพอหรือไม่ เพื่อให้บรรลุนัยสำคัญทางสถิติที่แท้จริง (ภายในกรอบเวลาที่เหมาะสม) ขนาดของผู้ชมจะต้องมีขนาดใหญ่เพียงพอ”

คุณควรทดสอบ A/B อย่างไร

ฉันไม่สามารถบอกคุณได้ว่าคุณควรทดสอบ A/B อะไร ฉันรู้ว่าฉันรู้ว่า. มันจะทำให้ชีวิตคุณง่ายขึ้นอย่างแน่นอน ถ้าฉันสามารถให้รายการของ 99 สิ่งที่ต้องทดสอบตอนนี้ นักการตลาดไม่เคยขาดแคลนที่เต็มใจทำเพื่อแลกกับการคลิก

ความจริงก็คือ การทดสอบเดียวที่ควรค่าแก่การดำเนินการคือการทดสอบตามข้อมูลของคุณเอง ฉันไม่สามารถเข้าถึงข้อมูลของคุณ ลูกค้าของคุณ ฯลฯ และไม่มีใครดูแลรายการแนวคิดการทดสอบ A/B จำนวนมากเหล่านั้น พวกเราไม่มีใครสามารถบอกคุณได้ อย่างมีความหมาย ว่าต้องทดสอบอะไร

การทดสอบเดียวที่ควรค่าแก่การดำเนินการคือการทดสอบตามข้อมูลของคุณเอง

เราขอแนะนำให้คุณตอบคำถามนี้ด้วยตนเองผ่านการวิเคราะห์เชิงคุณภาพและเชิงปริมาณ ตัวอย่างการทดสอบ A/B ยอดนิยม ได้แก่:

  • การวิเคราะห์ทางเทคนิค ร้านค้าของคุณโหลดได้ถูกต้องและรวดเร็วในทุกเบราว์เซอร์หรือไม่? ในทุกอุปกรณ์? คุณอาจมี iPhone 11 เครื่องใหม่ที่เป็นประกาย แต่มีบางคนที่ยังคงใช้ Motorola Razr ตั้งแต่ปี 2548 อยู่ หากไซต์ของคุณทำงานไม่ถูกต้องและรวดเร็ว ไซต์ของคุณก็จะไม่สามารถแปลงได้อย่างที่ควรเป็นอย่างแน่นอน
  • การสำรวจในสถานที่ สิ่งเหล่านี้จะปรากฏขึ้นเมื่อผู้เยี่ยมชมร้านค้าของคุณเรียกดูไปรอบๆ ตัวอย่างเช่น แบบสำรวจในสถานที่อาจถามผู้เยี่ยมชมที่เคยอยู่ในหน้าเดียวกันมาระยะหนึ่งว่ามีอะไรที่ขัดขวางไม่ให้พวกเขาทำการซื้อในวันนี้ ถ้าเป็นเช่นนั้นมันคืออะไร? คุณสามารถใช้ข้อมูลเชิงคุณภาพนี้เพื่อปรับปรุงอัตราการคัดลอกและการแปลงของคุณ
  • สัมภาษณ์ลูกค้า. ไม่มีอะไรมาแทนที่การคุยโทรศัพท์และพูดคุยกับลูกค้าของคุณได้ ทำไมพวกเขาถึงเลือกร้านค้าของคุณมากกว่าร้านค้าคู่แข่ง? พวกเขาพยายามแก้ปัญหาอะไรเมื่อมาถึงไซต์ของคุณ มีคำถามหลายล้านข้อที่คุณสามารถถามเพื่อทำความเข้าใจว่าใครคือลูกค้าของคุณและทำไมพวกเขาถึงซื้อจากคุณ จริงๆ
  • แบบสำรวจลูกค้า แบบสำรวจลูกค้าคือแบบสำรวจฉบับเต็มซึ่งส่งไปยังผู้ที่ทำการซื้อแล้ว (ซึ่งต่างจากผู้เยี่ยมชม) เมื่อออกแบบแบบสำรวจ คุณต้องการเน้นที่: การกำหนดลูกค้าของคุณ กำหนดปัญหาของพวกเขา กำหนดความลังเลที่พวกเขามีก่อนซื้อ และระบุคำและวลีที่พวกเขาใช้เพื่ออธิบายร้านค้าของคุณ
  • การวิเคราะห์เชิงวิเคราะห์ เครื่องมือวิเคราะห์ของคุณติดตามและรายงานข้อมูลของคุณถูกต้องหรือไม่ อาจฟังดูงี่เง่า แต่คุณจะต้องแปลกใจว่าเครื่องมือวิเคราะห์ต่างๆ ถูกกำหนดค่าอย่างไม่ถูกต้อง การวิเคราะห์เชิงวิเคราะห์เป็นข้อมูลเกี่ยวกับการค้นหาว่าผู้เยี่ยมชมของคุณมีพฤติกรรมอย่างไร ตัวอย่างเช่น คุณอาจเน้นที่ช่องทาง ช่องทางการแปลงที่ใหญ่ที่สุดของคุณรั่วที่ใด กล่าวอีกนัยหนึ่ง คนส่วนใหญ่ออกจากช่องทางของคุณไปที่ใด เป็นสถานที่ที่ดีในการเริ่มการทดสอบ
  • การทดสอบผู้ใช้ นี่คือที่ที่คุณดูผู้คนจริง ๆ ในการทดลองที่มีการควบคุมและจ่ายเงินเพื่อพยายามทำงานบนไซต์ของคุณ ตัวอย่างเช่น คุณอาจขอให้พวกเขาหาวิดีโอเกมในช่วง $40–$60 และเพิ่มลงในรถเข็น ขณะปฏิบัติงานเหล่านี้ พวกเขาบรรยายความคิดและการกระทำของตนออกมาดังๆ
  • การเล่นซ้ำของเซสชัน การเล่นซ้ำของเซสชันคล้ายกับการทดสอบของผู้ใช้ แต่ตอนนี้ คุณกำลังติดต่อกับคนจริงๆ ด้วยเงินจริงและตั้งใจที่จะซื้อจริงๆ คุณจะดูเป็นผู้เข้าชมจริงของคุณนำทางไซต์ของคุณ พวกเขามีปัญหาอะไรในการค้นหา? พวกเขาผิดหวังที่ไหน? พวกเขาดูสับสนที่ไหน?

นอกจากนี้ยังมีการวิจัยประเภทอื่นๆ ด้วย แต่เริ่มต้นด้วยการเลือกวิธีการทดสอบ A/B ที่ดีที่สุดสำหรับคุณ หากคุณดำเนินการผ่านบางส่วน คุณจะมีรายการแนวคิดที่มีข้อมูลจำนวนมากซึ่งควรค่าแก่การทดสอบ ฉันรับประกันว่ารายการของคุณจะทำให้คุณมีค่ามากกว่าบทความ "99 สิ่งที่ต้องทดสอบตอนนี้" เท่าที่เคยมีมา

จัดลำดับความสำคัญของแนวคิดการทดสอบ A/B

รายการแนวคิดในการทดสอบ A/B จำนวนมากนั้นน่าตื่นเต้น แต่ไม่มีประโยชน์ในการตัดสินใจว่าจะทดสอบอะไร คุณจะเริ่มต้นที่ไหน นั่นคือสิ่งที่การจัดลำดับความสำคัญเข้ามา

มีกรอบการจัดลำดับความสำคัญทั่วไปสองสามแบบที่คุณสามารถใช้ได้:

  • น้ำแข็ง. ICE ย่อมาจาก Impact ความมั่นใจ และความสะดวก แต่ละปัจจัยเหล่านั้นจะได้รับการจัดอันดับ 1–10 ตัวอย่างเช่น หากคุณสามารถทำการทดสอบได้ด้วยตัวเองง่ายๆ โดยไม่ได้รับความช่วยเหลือจากนักพัฒนาหรือนักออกแบบ คุณอาจให้คะแนนแปดอย่างสบายๆ คุณกำลังใช้วิจารณญาณของคุณที่นี่ และถ้าคุณมีผู้ทำการทดสอบมากกว่าหนึ่งคน การจัดอันดับอาจเป็นเรื่องส่วนตัวเกินไป ช่วยให้มีชุดแนวทางเพื่อให้ทุกคนมีเป้าหมาย
  • พาย. PIE ย่อมาจากศักยภาพ ความสำคัญ และความสะดวก อีกครั้ง แต่ละปัจจัยจะได้รับการจัดอันดับ 1-10 ตัวอย่างเช่น หากการทดสอบเข้าถึง 90% ของการเข้าชม คุณอาจให้ความสำคัญกับแปด PIE มีลักษณะเฉพาะตัวเช่นเดียวกับ ICE ดังนั้นแนวทางปฏิบัติจึงมีประโยชน์สำหรับกรอบงานนี้เช่นกัน
  • พีเอ็กซ์แอล PXL เป็นเฟรมเวิร์กการจัดลำดับความสำคัญจาก CXL มันแตกต่างกันเล็กน้อยและปรับแต่งได้มากกว่า ทำให้ต้องตัดสินใจอย่างเป็นรูปธรรมมากขึ้น แทนที่จะใช้ปัจจัยสามประการ คุณจะพบคำถามใช่/ไม่ใช่ และคำถามที่เข้าใจง่าย ตัวอย่างเช่น กรอบการทำงานอาจถามว่า “แบบทดสอบออกแบบมาเพื่อเพิ่มแรงจูงใจหรือไม่” ถ้าใช่ จะได้ 1 ถ้าไม่ใช่ จะได้ 0 คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับเฟรมเวิร์กนี้และดาวน์โหลดสเปรดชีตได้ที่นี่

ตอนนี้คุณมีไอเดียแล้วว่าจะเริ่มต้นจากที่ใด แต่ยังช่วยจัดหมวดหมู่ความคิดของคุณได้อีกด้วย ตัวอย่างเช่น ระหว่างการวิจัยคอนเวอร์ชั่นที่ฉันทำเมื่อเร็วๆ นี้ ฉันใช้สามหมวดหมู่: นำไปใช้ ตรวจสอบ และทดสอบ

  • ดำเนินการ. แค่ทำมัน. มันหักหรือชัดเจน
  • สอบสวน. ต้องใช้ความคิดพิเศษในการกำหนดปัญหาหรือจำกัดขอบเขตให้แคบลงในแนวทางแก้ไข
  • ทดสอบ. ความคิดคือเสียงและข้อมูลแจ้ง ทดสอบเลย!

ระหว่างการจัดหมวดหมู่และการจัดลำดับความสำคัญ คุณพร้อมแล้ว

หลักสูตรความผิดพลาดในสถิติการทดสอบ A/B

ก่อนที่คุณจะทำการทดสอบ คุณควรศึกษาสถิติก่อน ฉันรู้ สถิติมักจะไม่ใช่สิ่งที่แฟนๆ ชื่นชอบ แต่ให้คิดว่านี่เป็นหลักสูตรที่จำเป็นที่คุณต้องทำเพื่อจบการศึกษา

สถิติเป็นส่วนสำคัญของการทดสอบ A/B โชคดีที่เครื่องมือทดสอบ A/B และซอฟต์แวร์ทดสอบแยกช่วยให้การทำงานของเครื่องมือเพิ่มประสิทธิภาพง่ายขึ้น แต่ความเข้าใจพื้นฐานเกี่ยวกับสิ่งที่เกิดขึ้นเบื้องหลังเป็นสิ่งสำคัญสำหรับการวิเคราะห์ผลการทดสอบของคุณในภายหลัง

Alex Birkett ผู้จัดการฝ่ายการตลาดเพื่อการเติบโตที่ HubSpot อธิบายว่า:

Headshot ผู้เชี่ยวชาญ

Alex Birkett, HubSpot

“สถิติไม่ใช่จำนวนการแปลงหรือเลขฐานสอง 'ความสำเร็จ!' หรือ 'ความล้มเหลว' เป็นกระบวนการที่ใช้ในการตัดสินใจภายใต้ความไม่แน่นอนและเพื่อลดความเสี่ยงโดยพยายามลดความไม่ชัดเจนว่าผลลัพธ์ของการตัดสินใจนั้นจะเป็นอย่างไร

“ด้วยความคิดนั้น ฉันคิดว่าจำเป็นที่สุดที่จะต้องรู้พื้นฐาน: ค่าเฉลี่ย ความแปรปรวน การสุ่มตัวอย่าง ค่าเบี่ยงเบนมาตรฐาน การถดถอยของค่าเฉลี่ยคืออะไร และอะไรคือตัวอย่าง 'ตัวแทน' นอกจากนี้ยังช่วยเมื่อคุณเริ่มต้นการทดสอบ A/B เพื่อตั้งค่ารั้วกั้นบางตัวเพื่อลดข้อผิดพลาดของมนุษย์ให้มากที่สุดเท่าที่จะเป็นไปได้”

หมายถึงอะไร?

ค่าเฉลี่ยคือค่าเฉลี่ย เป้าหมายของคุณคือการหาค่าเฉลี่ยที่เป็นตัวแทนของทั้งหมด

ตัวอย่างเช่น สมมติว่าคุณกำลังพยายามหาราคาเฉลี่ยของวิดีโอเกม คุณจะไม่เพิ่มราคาของวิดีโอเกมทุกเกมในโลกแล้วหารด้วยจำนวนวิดีโอเกมทั้งหมดในโลก แต่คุณจะแยกตัวอย่างเล็กๆ ที่เป็น ตัวแทน ของวิดีโอเกมทั้งหมดในโลก

คุณอาจพบราคาเฉลี่ยของวิดีโอเกมสองสามร้อยเกม หากคุณเลือกตัวอย่างที่เป็นตัวแทน ราคาเฉลี่ยของวิดีโอเกมสองร้อยเกมนั้นควรเป็นตัวแทนของวิดีโอเกมทั้งหมดในโลก

การสุ่มตัวอย่างคืออะไร?

ยิ่งกลุ่มตัวอย่างมีขนาดใหญ่เท่าใด ความแปรปรวนก็จะยิ่งน้อยลงเท่านั้น ซึ่งหมายความว่าค่าเฉลี่ยมีแนวโน้มที่จะแม่นยำมากขึ้น

ดังนั้น หากคุณเพิ่มตัวอย่างของคุณจากวิดีโอเกมสองร้อยเกมเป็นวิดีโอเกมสองพันเกม คุณจะมีความแปรปรวนน้อยลงและค่าเฉลี่ยที่แม่นยำยิ่งขึ้น

ความแปรปรวนคืออะไร?

ความแปรปรวนคือความแปรปรวนเฉลี่ย โดยพื้นฐานแล้ว ยิ่งความแปรปรวนสูงเท่าใด ค่าเฉลี่ยก็จะยิ่งแม่นยำน้อยลงในการทำนายจุดข้อมูลแต่ละรายการเท่านั้น

แล้วค่าเฉลี่ยราคาที่แท้จริงของวิดีโอเกมแต่ละเกมนั้นใกล้เคียงกันแค่ไหน?

นัยสำคัญทางสถิติคืออะไร?

สมมติว่าไม่มีความแตกต่างระหว่าง A กับ B คุณจะเห็นผลโดยบังเอิญบ่อยแค่ไหน?

ยิ่งระดับนัยสำคัญทางสถิติต่ำลง โอกาสที่รูปแบบการชนะของคุณจะไม่เป็นผู้ชนะก็จะยิ่งมากขึ้น

พูดง่ายๆ ก็คือ ระดับนัยสำคัญต่ำหมายความว่ามีโอกาสสูงที่ "ผู้ชนะ" ของคุณจะไม่ใช่ผู้ชนะที่แท้จริง (ซึ่งเรียกว่าผลบวกลวง)

โปรดทราบว่าเครื่องมือทดสอบ A/B ส่วนใหญ่และซอฟต์แวร์ทดสอบโอเพนซอร์ส A/B เรียกความสำคัญทางสถิติโดยไม่ต้องรอขนาดตัวอย่างที่กำหนดไว้ล่วงหน้าหรือจุดในเวลาที่จะไปถึง นั่นเป็นเหตุผลที่คุณอาจสังเกตเห็นการทดสอบของคุณพลิกไปมาระหว่างที่มีนัยสำคัญทางสถิติและไม่มีนัยสำคัญทางสถิติ

Peep Laja ผู้ก่อตั้ง CXL Institute ต้องการให้ผู้คนจำนวนมากขึ้นเข้าใจความสำคัญทางสถิติของการทดสอบ A/B อย่าง แท้จริง และเหตุใดจึงสำคัญ:

Headshot ผู้เชี่ยวชาญ

ปี๊บ ลาจา สถาบัน CXL

“นัยสำคัญทางสถิติไม่เท่ากับความถูกต้อง—ไม่ใช่กฎการหยุด เมื่อคุณมีนัยสำคัญทางสถิติ 95% หรือสูงกว่า นั่นหมายความว่าน้อยมากก่อนที่จะตรงตามเงื่อนไขที่สำคัญอีกสองเงื่อนไข:

“1. มีขนาดตัวอย่างเพียงพอ ซึ่งคุณคิดออกโดยใช้เครื่องคำนวณขนาดตัวอย่าง หมายความว่า มีคนเข้าร่วมการทดลองมากพอแล้ว ดังนั้นเราจะสรุปอะไรก็ได้

“2. การทดสอบดำเนินไปนานเพียงพอเพื่อให้กลุ่มตัวอย่างเป็นตัวแทน (และไม่นานเกินไปที่จะหลีกเลี่ยงมลพิษในตัวอย่าง) ในกรณีส่วนใหญ่ คุณจะต้องการทดสอบของคุณสอง สาม หรือสี่สัปดาห์ ขึ้นอยู่กับว่าคุณจะได้รับตัวอย่างที่ต้องการได้เร็วแค่ไหน”

การถดถอยของค่าเฉลี่ยคืออะไร?

คุณอาจสังเกตเห็นความผันผวนอย่างมากในช่วงเริ่มต้นของการทดสอบ A/B

การถดถอยสู่ค่าเฉลี่ยเป็นปรากฏการณ์ที่บอกว่าหากมีสิ่งใดสุดขั้วในการวัดครั้งแรก ก็มีแนวโน้มว่าจะเข้าใกล้ค่าเฉลี่ยมากขึ้นในการวัดครั้งที่สอง

หากเหตุผลเดียวที่คุณเรียกการทดสอบเป็นเพราะการทดสอบมีนัยสำคัญทางสถิติ คุณอาจเห็นผลบวกที่ผิดพลาด รูปแบบที่ชนะของคุณมีแนวโน้มที่จะถดถอยเป็นค่าเฉลี่ยเมื่อเวลาผ่านไป

พลังทางสถิติคืออะไร?

สมมติว่ามีความแตกต่างระหว่าง A กับ B คุณจะเห็นผลบ่อยแค่ไหน?

ยิ่งระดับพลังต่ำเท่าไหร่ โอกาสที่ผู้ชนะจะไม่เป็นที่รู้จักก็จะยิ่งมากขึ้นเท่านั้น ยิ่งระดับพลังสูงเท่าไร โอกาสที่ผู้ชนะจะไม่รู้จักก็จะยิ่งต่ำลง จริงๆ แล้ว สิ่งที่คุณต้องรู้ก็คือพลังทางสถิติ 80% เป็นมาตรฐานสำหรับเครื่องมือทดสอบ A/B ส่วนใหญ่ และ/หรือบริการทดสอบแยกใดๆ

Ton Wesseling ผู้ก่อตั้ง Online Dialogue ขอให้ผู้คนมีความรู้เกี่ยวกับพลังทางสถิติมากขึ้น:

Headshot ผู้เชี่ยวชาญ

Ton Wesseling บทสนทนาออนไลน์

“หลายคนกังวลเกี่ยวกับผลบวกลวง เรากังวลมากขึ้นเกี่ยวกับผลลบปลอม เหตุใดจึงเรียกใช้การทดลองโดยที่โอกาสในการค้นหาข้อพิสูจน์ว่าการเปลี่ยนแปลงในเชิงบวกของคุณมีผลกระทบต่ำมาก”

ภัยคุกคามความถูกต้องภายนอกคืออะไร?

มีปัจจัยภายนอกที่คุกคามความถูกต้องของการทดสอบของคุณ ตัวอย่างเช่น:

  • ยอดขาย Black Friday Cyber ​​Monday (BFCM)
  • สื่อบวกหรือลบ
  • เปิดตัวแคมเปญใหญ่แบบเสียเงิน
  • วันในสัปดาห์
  • ฤดูกาลที่เปลี่ยนไป

หนึ่งในตัวอย่างการทดสอบ A/B ทั่วไปที่ภัยคุกคามด้านความถูกต้องภายนอกส่งผลต่อผลลัพธ์ของคุณคือระหว่างเหตุการณ์ตามฤดูกาล สมมติว่าคุณต้องทำการทดสอบในช่วงเดือนธันวาคม วันหยุดช็อปปิ้งที่สำคัญจะหมายถึงการเข้าชมร้านค้าของคุณเพิ่มขึ้นในเดือนนั้น คุณอาจพบว่าในเดือนมกราคมผู้ชนะเดือนธันวาคมของคุณทำงานได้ไม่ดีอีกต่อไป

ทำไม?

เนื่องจากภัยคุกคามต่อความถูกต้องภายนอก: วันหยุด

ข้อมูลที่คุณใช้ตัดสินใจในการทดสอบมีความผิดปกติ เมื่อทุกอย่างคลี่คลายในเดือนมกราคม คุณอาจจะแปลกใจที่พบว่าผู้ชนะของคุณแพ้

คุณไม่สามารถกำจัดภัยคุกคามด้านความถูกต้องภายนอกได้ แต่คุณสามารถบรรเทาได้โดยใช้การทดสอบเป็นเวลาทั้งสัปดาห์ (เช่น อย่าเริ่มการทดสอบในวันจันทร์และสิ้นสุดในวันศุกร์) รวมถึงการรับส่งข้อมูลประเภทต่างๆ (เช่น ห้าม t ทดสอบการรับส่งข้อมูลแบบชำระเงินโดยเฉพาะแล้วจึงเผยแพร่ผลลัพธ์ไปยังทุกแหล่งที่มาของการรับส่งข้อมูล) และคำนึงถึงภัยคุกคามที่อาจเกิดขึ้น

หากคุณกำลังทำการทดสอบในช่วงฤดูการจับจ่ายที่วุ่นวาย เช่น BFCM หรือผ่านภัยคุกคามด้านความถูกต้องภายนอกที่สำคัญ คุณอาจต้องการอ่าน คู่มือฉบับสมบูรณ์สำหรับการทดสอบ A/B

วิธีตั้งค่าการทดสอบ A/B

มาดูบทแนะนำการทดสอบ A/B กัน ก่อนที่คุณจะทดสอบ อะไร คุณต้องมีสมมติฐานที่มั่นคงก่อน (เยี่ยมมาก เราเพิ่งจบวิชาคณิตศาสตร์และตอนนี้เรากำลังเรียนวิทยาศาสตร์)

ไม่ต้องกังวลมันไม่ซับซ้อน โดยพื้นฐานแล้ว คุณต้องทดสอบสมมติฐาน ไม่ใช่แนวคิด สมมติฐานสามารถวัดผลได้ มุ่งมั่นที่จะแก้ปัญหา Conversion ที่เฉพาะเจาะจง และมุ่งเน้นไปที่ข้อมูลเชิงลึกแทนการชนะ

คุณต้องทดสอบสมมติฐาน A/B ไม่ใช่แนวคิด

เมื่อใดก็ตามที่ฉันเขียนสมมติฐาน ฉันจะใช้สูตรที่ยืมมาจาก Hypothesis Kit ของ Craig Sullivan:

  • เพราะคุณเห็น[insert data/feedback from research]
  • คุณคาดหวังว่า [การเปลี่ยนแปลงที่คุณกำลังทดสอบ] จะทำให้เกิด [ผลกระทบที่คุณคาดหวัง] และ
  • คุณจะวัดสิ่งนี้โดยใช้ [data metric]

ง่ายใช่มั้ย? สิ่งที่คุณต้องทำคือกรอกข้อมูลในช่องว่างและแนวคิดการทดสอบของคุณได้กลายเป็นสมมติฐานแล้ว

การเลือกเครื่องมือทดสอบ A/B

ตอนนี้คุณสามารถเริ่มเลือกเครื่องมือทดสอบ A/B หรือบริการทดสอบแยก บ่อยครั้ง คุณจะนึกถึง Google Optimize, Optimizely และ VWO ก่อน

ทั้งหมดเป็นตัวเลือกที่ดีและปลอดภัย

  • Google เพิ่มประสิทธิภาพ ฟรี บันทึกสำหรับข้อจำกัดหลายตัวแปร ซึ่งจะไม่ส่งผลกระทบต่อคุณจริงๆ หากคุณเพิ่งเริ่มต้น ใช้งานได้ดีเมื่อทำการทดสอบ Google Analytics A/B ซึ่งเป็นข้อดี
  • ให้เหมาะสมที่สุด ง่ายต่อการทำการทดสอบเล็กน้อย แม้จะไม่มีทักษะทางเทคนิคก็ตาม Stats Engine ช่วยให้วิเคราะห์ผลการทดสอบได้ง่ายขึ้น โดยทั่วไปแล้ว Optimizely จะเป็นตัวเลือกที่แพงที่สุดในสามตัวเลือก
  • วีโอโอ VWO มี SmartStats เพื่อให้การวิเคราะห์ง่ายขึ้น นอกจากนี้ยังมีโปรแกรมแก้ไข WYSIWYG ที่ยอดเยี่ยมสำหรับผู้เริ่มต้นอีกด้วย แผน VWO ทุกแผนมาพร้อมกับแผนที่ความหนาแน่น การสำรวจในสถานที่ การวิเคราะห์แบบฟอร์ม ฯลฯ

นอกจากนี้เรายังมีเครื่องมือทดสอบ A/B ใน Shopify App Store ที่คุณอาจพบว่ามีประโยชน์

เมื่อคุณเลือกเครื่องมือทดสอบ A/B หรือซอฟต์แวร์ทดสอบแยกแล้ว ให้กรอกแบบฟอร์มลงทะเบียนและทำตามคำแนะนำที่ให้ไว้ กระบวนการแตกต่างกันไปในแต่ละเครื่องมือ อย่างไรก็ตาม โดยทั่วไปแล้ว คุณจะถูกขอให้ติดตั้งข้อมูลโค้ดบนไซต์ของคุณและกำหนดเป้าหมาย

วิธีวิเคราะห์ผลการทดสอบ A/B

จำได้ไหมเมื่อฉันกล่าวว่าการเขียนสมมติฐานเปลี่ยนโฟกัสจากชัยชนะเป็นข้อมูลเชิงลึก? Krista Seiden ผู้สนับสนุน Analytics และผู้จัดการผลิตภัณฑ์ของ Google อธิบายว่าสิ่งนี้หมายความว่าอย่างไร:

Headshot ผู้เชี่ยวชาญ

Krista Seiden, Google

"แง่มุมที่ถูกมองข้ามมากที่สุดของการทดสอบ A/B คือการเรียนรู้จากผู้แพ้ของคุณ ที่จริงแล้ว ในโปรแกรมการเพิ่มประสิทธิภาพที่ผมใช้ ผมสร้างนิสัยในการเผยแพร่ 'รายงานความล้มเหลว' ซึ่งผมกล่าวถึงผู้สูญเสียรายใหญ่ที่สุดของ ไตรมาสและสิ่งที่เราเรียนรู้จากพวกเขา

“หนึ่งในรายการโปรดตลอดกาลของฉันมาจากแคมเปญที่ใช้เวลาหลายเดือนในการสร้าง เราสามารถแอบเข้าไปทดสอบหน้า Landing Page ได้ก่อนที่จะถูกตั้งค่าให้ใช้งานจริง และถือเป็นเรื่องดีที่เราทำเพราะมันล้มเหลวอย่างน่าสังเวช หากเราเปิดหน้าเว็บตามที่เป็นอยู่จริง เราจะได้รับผลกระทบอย่างมากจนถึงบรรทัดล่าง เราไม่เพียงแต่ช่วยประหยัดเงินให้กับธุรกิจได้มากเท่านั้น แต่เราสามารถเจาะลึกและตั้งสมมติฐาน (ที่เราทดสอบในภายหลัง) เกี่ยวกับสาเหตุที่หน้าใหม่ทำงานได้ไม่ดีนัก และนั่นทำให้เราเป็นนักการตลาดที่ดีขึ้นและประสบความสำเร็จมากขึ้น ในแคมเปญในอนาคต”

หากคุณสร้างสมมติฐานอย่างถูกต้อง แม้แต่ผู้แพ้ก็ยังเป็นผู้ชนะ เพราะคุณจะได้รับข้อมูลเชิงลึกที่คุณสามารถใช้สำหรับการทดสอบในอนาคตและในด้านอื่นๆ ของธุรกิจของคุณ ดังนั้น เมื่อคุณวิเคราะห์ผลการทดสอบ คุณต้องเน้นที่ข้อมูลเชิงลึก ไม่ใช่ว่าการทดสอบจะชนะหรือแพ้ มีอะไรให้เรียนรู้อยู่เสมอ มีบางสิ่งให้วิเคราะห์เสมอ อย่าไล่ผู้แพ้!

หากคุณสร้างสมมติฐานได้ถูกต้อง แม้แต่ผู้แพ้ก็ยังเป็นผู้ชนะ

สิ่งที่สำคัญที่สุดที่ควรทราบในที่นี้คือความจำเป็นในการแบ่งส่วน การทดสอบโดยรวมอาจถือว่าแพ้ แต่มีโอกาสทำได้ดีกับอย่างน้อยหนึ่งส่วน ฉันหมายถึงอะไรโดยกลุ่ม

  • ผู้มาเยือนใหม่
  • ผู้เข้าชมที่กลับมา
  • ผู้เยี่ยมชม iOS
  • ผู้เยี่ยมชม Android
  • ผู้เยี่ยมชม Chrome
  • ผู้มาเยือนซาฟารี
  • ผู้เยี่ยมชมเดสก์ท็อป
  • ผู้เยี่ยมชมแท็บเล็ต
  • ผู้เข้าชมการค้นหาทั่วไป
  • ผู้เข้าชมที่ชำระเงิน
  • ผู้เข้าชมโซเชียลมีเดีย
  • ผู้ซื้อที่เข้าสู่ระบบ

คุณได้รับความคิดใช่มั้ย?

เมื่อคุณดูผลลัพธ์ในเครื่องมือทดสอบ คุณกำลังดูลูกอมทั้งกล่อง สิ่งที่คุณต้องทำคือแยก Smarties ตามสีเพื่อให้คุณสามารถกินสีแดงได้ ฉันหมายถึงเพื่อให้คุณสามารถค้นพบข้อมูลเชิงลึกที่แบ่งกลุ่มได้ลึกซึ้งยิ่งขึ้น

เป็นไปได้ว่าสมมติฐานได้รับการพิสูจน์แล้วในบางกลุ่ม ที่บอกคุณบางอย่างเช่นกัน

การวิเคราะห์เป็นมากกว่าการทดสอบว่าผู้ชนะหรือผู้แพ้ แบ่งกลุ่มข้อมูลของคุณเพื่อค้นหาข้อมูลเชิงลึกที่ซ่อนอยู่ใต้พื้นผิว

เครื่องมือทดสอบ A/B จะไม่ทำการวิเคราะห์ให้คุณ ดังนั้นทักษะนี้จึงเป็นทักษะที่สำคัญในการพัฒนาเมื่อเวลาผ่านไป

Ebook ฟรี: การวิเคราะห์อีคอมเมิร์ซสำหรับผู้เริ่มต้น

ค้นหาว่าตัวชี้วัดใดเป็นกุญแจสำคัญในการสร้างและขยายธุรกิจออนไลน์ของคุณ คู่มือฟรีนี้เป็นขั้นตอนแรกที่สมบูรณ์แบบในการเรียนรู้เกี่ยวกับการวิเคราะห์อีคอมเมิร์ซ

วิธีเก็บถาวรการทดสอบ A/B ที่ผ่านมา

สมมติว่าคุณทำการทดสอบครั้งแรกในวันพรุ่งนี้ สองปีจากวันพรุ่งนี้ คุณจะจำรายละเอียดของการทดสอบนั้นได้หรือไม่? ไม่น่าจะใช่

การเก็บถาวรผลการทดสอบ A/B ของคุณจึงมีความสำคัญ หากไม่มีที่เก็บถาวรที่ได้รับการดูแลอย่างดี ข้อมูลเชิงลึกทั้งหมดที่คุณได้รับจะหายไป นอกจากนี้ ฉันไม่ได้คิดมากนะ การทดสอบสิ่งเดียวกันสองครั้งนั้นง่ายมาก หากคุณไม่ได้เก็บถาวร

ไม่มีทางที่ "ถูกต้อง" ในการทำเช่นนี้ คุณสามารถใช้เครื่องมือ เช่น โครงการหรือการทดลองที่มีประสิทธิภาพ หรือคุณสามารถใช้ Excel ขึ้นอยู่กับคุณจริงๆ โดยเฉพาะอย่างยิ่งเมื่อคุณเพิ่งเริ่มต้น เพียงให้แน่ใจว่าคุณกำลังติดตาม:

  • สมมติฐาน
  • ภาพหน้าจอของการควบคุมและรูปแบบต่างๆ
  • ไม่ว่าจะชนะหรือแพ้
  • ข้อมูลเชิงลึกที่ได้รับจากการวิเคราะห์

เมื่อคุณโตขึ้น คุณจะขอบคุณตัวเองที่เก็บข้อมูลนี้ไว้ ไม่เพียงแต่จะช่วยคุณ แต่ยังจ้างงานใหม่และที่ปรึกษา/ผู้มีส่วนได้ส่วนเสียด้วย

กระบวนการทดสอบ A/B ของผู้เชี่ยวชาญ

เมื่อคุณได้ผ่านบทช่วยสอนการทดสอบ A/B มาตรฐานแล้ว มาดูกระบวนการของผู้เชี่ยวชาญจากบริษัทอย่าง Google และ HubSpot กัน

รายการเรื่องรออ่านฟรี: การเพิ่มประสิทธิภาพการแปลงสำหรับผู้เริ่มต้น

เปลี่ยนผู้เยี่ยมชมเว็บไซต์ให้กลายเป็นลูกค้ามากขึ้นโดยรับหลักสูตรความผิดพลาดในการเพิ่มประสิทธิภาพการแปลง เข้าถึงรายการบทความที่มีผลกระทบสูงฟรีและรวบรวมไว้ด้านล่าง

Krista Seiden, Google

กระบวนการทีละขั้นตอนของฉันสำหรับการทดสอบ A/B บนเว็บและแอปเริ่มต้นด้วยการวิเคราะห์ ในความคิดของฉัน นี่คือแกนหลักของโปรแกรมการทดสอบใดๆ ที่ดี ในขั้นตอนการวิเคราะห์ เป้าหมายคือการตรวจสอบข้อมูลการวิเคราะห์ของคุณ แบบสำรวจหรือข้อมูล UX หรือแหล่งที่มาอื่นๆ ของข้อมูลเชิงลึกของลูกค้าที่คุณอาจมี เพื่อทำความเข้าใจว่าโอกาสในการเพิ่มประสิทธิภาพของคุณอยู่ที่ใด

เมื่อคุณมีแนวทางที่ดีจากขั้นตอนการวิเคราะห์แล้ว คุณสามารถตั้งสมมติฐานว่าอะไรที่อาจผิดพลาด และคุณจะแก้ไขหรือปรับปรุงส่วนต่างๆ ของการเพิ่มประสิทธิภาพเหล่านี้ได้อย่างไร

ต่อไปก็ถึงเวลาสร้างและเรียกใช้การทดสอบของคุณ ตรวจสอบให้แน่ใจว่าได้เรียกใช้โปรแกรมเหล่านี้ในระยะเวลาที่เหมาะสม (ค่าเริ่มต้นคือสองสัปดาห์เพื่อให้แน่ใจว่าฉันกำลังพิจารณาการเปลี่ยนแปลงหรือความผิดปกติแบบสัปดาห์ต่อสัปดาห์) และเมื่อคุณมีข้อมูลเพียงพอ ให้วิเคราะห์ผลลัพธ์ของคุณเพื่อตัดสินผู้ชนะของคุณ

การใช้เวลาในขั้นตอนนี้เพื่อวิเคราะห์ผู้แพ้ก็เป็นสิ่งสำคัญเช่นกัน—คุณสามารถเรียนรู้อะไรจากการเปลี่ยนแปลงเหล่านี้ได้บ้าง

สุดท้ายนี้ และคุณจะไปถึงขั้นตอนนี้ได้ก็ต่อเมื่อคุณได้ใช้เวลาวางรากฐานสำหรับโปรแกรมการเพิ่มประสิทธิภาพที่มั่นคงแล้ว ก็ได้เวลาพิจารณาการปรับเปลี่ยนในแบบของคุณ ไม่จำเป็นต้องมีชุดเครื่องมือแฟนซี แต่อาจมาจากข้อมูลที่คุณมีเกี่ยวกับผู้ใช้ของคุณ

การปรับเปลี่ยนการตลาดในแบบของคุณทำได้ง่ายเพียงแค่กำหนดเป้าหมายเนื้อหาที่ถูกต้องไปยังสถานที่ที่เหมาะสม หรือซับซ้อนพอๆ กับการกำหนดเป้าหมายตามการกระทำของผู้ใช้แต่ละราย อย่ากระโดดเข้ามาพร้อมกันในบิตส่วนบุคคล ตรวจสอบให้แน่ใจว่าคุณใช้เวลามากพอเพื่อทำความเข้าใจพื้นฐานให้ดีเสียก่อน

Alex Birkett, HubSpot

ในระดับสูง ฉันพยายามทำตามขั้นตอนนี้:

  • รวบรวมข้อมูลและทำให้แน่ใจว่าการใช้งานการวิเคราะห์นั้นถูกต้อง
  • วิเคราะห์ข้อมูลและค้นหาข้อมูลเชิงลึก
  • เปลี่ยนข้อมูลเชิงลึกเป็นสมมติฐาน
  • จัดลำดับความสำคัญตามผลกระทบและความง่าย และการจัดสรรทรัพยากรให้สูงสุด (โดยเฉพาะทรัพยากรทางเทคนิค)
  • ทำการทดสอบ (ปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดด้านสถิติตามความรู้และความสามารถของฉัน)
  • วิเคราะห์ผลลัพธ์และนำไปใช้หรือไม่ตามผลลัพธ์
  • ทำซ้ำตามการค้นพบและทำซ้ำ

ใส่ง่ายกว่า: วิจัย ทดสอบ วิเคราะห์ ทำซ้ำ

แม้ว่ากระบวนการนี้สามารถเบี่ยงเบนหรือเปลี่ยนแปลงได้ตามบริบท (ฉันกำลังทดสอบคุณลักษณะผลิตภัณฑ์ที่มีความสำคัญต่อธุรกิจหรือไม่ บล็อกโพสต์ CTA โปรไฟล์ความเสี่ยงและความสมดุลของนวัตกรรมเป็นอย่างไร เทียบกับการลดความเสี่ยงหรือไม่) แต่ก็ใช้ได้กับทุกขนาด หรือประเภทบริษัท

ประเด็นคือกระบวนการนี้คล่องตัว แต่ยังรวบรวมข้อมูลที่เพียงพอ ทั้งความคิดเห็นของลูกค้าเชิงคุณภาพและการวิเคราะห์เชิงปริมาณ เพื่อให้สามารถคิดแนวคิดการทดสอบที่ดีขึ้นและจัดลำดับความสำคัญได้ดีขึ้น เพื่อให้คุณสามารถเพิ่มปริมาณการเข้าชมร้านค้าออนไลน์ของคุณได้

Ton Wesseling บทสนทนาออนไลน์

คำถามแรกที่เราตอบเสมอเมื่อต้องการเพิ่มประสิทธิภาพการเดินทางของลูกค้าคือ: ผลิตภัณฑ์หรือบริการนี้เหมาะสมกับรูปแบบ ROAR ที่เราสร้างขึ้นในการสนทนาออนไลน์อย่างไร คุณยังอยู่ในระยะเสี่ยงที่เราสามารถทำวิจัยมากมายแต่ไม่สามารถตรวจสอบสิ่งที่เราค้นพบผ่านการทดสอบออนไลน์ A/B ได้ (การแปลงต่ำกว่า 1,000 ครั้งต่อเดือน) หรือคุณอยู่ในขั้นตอนการเพิ่มประสิทธิภาพหรือไม่ หรือมากกว่านั้น?

  • ระยะ R isk: การวิจัยจำนวนมากซึ่งจะถูกแปลเป็นอะไรก็ได้ตั้งแต่จุดหมุนของโมเดลธุรกิจไปจนถึงการออกแบบใหม่และคุณค่าที่นำเสนอ
  • O ptimization phase: การทดลองขนาดใหญ่ที่จะเพิ่มประสิทธิภาพการนำเสนอคุณค่าและรูปแบบธุรกิจ
  • O ptimization phase: การทดลองเล็กๆ เพื่อตรวจสอบสมมติฐานพฤติกรรมของผู้ใช้ ซึ่งจะสร้างความรู้สำหรับการเปลี่ยนแปลงการออกแบบที่ใหญ่ขึ้น
  • การ ทำงานอัตโนมัติ: คุณยังคงมีอำนาจในการทดลอง (ผู้เยี่ยมชม) เหลืออยู่ หมายความว่าไม่จำเป็นต้องใช้ศักยภาพในการทดสอบอย่างเต็มที่ในการตรวจสอบเส้นทางของผู้ใช้ สิ่งที่เหลืออยู่ควรใช้เพื่อเอารัดเอาเปรียบเพื่อให้เติบโตเร็วขึ้นในขณะนี้ (โดยไม่เน้นการเรียนรู้ในระยะยาว) การดำเนินการนี้อาจเป็นไปโดยอัตโนมัติโดยใช้การเรียกใช้โจร/การใช้อัลกอริธึม
  • R e-think: คุณหยุดเพิ่มการค้นคว้ามากมาย เว้นแต่จะเป็นจุดเปลี่ยนไปสู่สิ่งใหม่

ROOAR

ดังนั้นการทดสอบ A/B ของเว็บหรือแอปจึงเป็นเพียงเรื่องใหญ่ในระยะการปรับให้เหมาะสมของ ROAR และอื่นๆ (จนกว่าจะคิดใหม่)

แนวทางของเราในการทำการทดลองคือแบบจำลอง FACT & ACT:

ข้อเท็จจริง & ACT

การวิจัยที่เราทำขึ้นอยู่กับโมเดล 5V ของเรา:

รุ่น 5V

เรารวบรวมข้อมูลเชิงลึกเหล่านี้ทั้งหมดเพื่อสร้างสมมติฐานหลักที่ได้รับการสนับสนุนจากการวิจัย ซึ่งจะนำไปสู่สมมติฐานย่อยที่จะถูกจัดลำดับความสำคัญตามข้อมูลที่รวบรวมผ่านการทดสอบ A/B ของเดสก์ท็อปหรืออุปกรณ์เคลื่อนที่ ยิ่งโอกาสที่สมมติฐานเป็นจริงมากเท่าไหร่ ก็ยิ่งมีอันดับสูงขึ้นเท่านั้น

เมื่อเราเรียนรู้ว่าสมมติฐานของเราจริงหรือเท็จ เราสามารถเริ่มรวมการเรียนรู้และทำตามขั้นตอนที่ใหญ่ขึ้นโดยการออกแบบใหม่/ปรับส่วนขนาดใหญ่ของเส้นทางของลูกค้าใหม่ อย่างไรก็ตาม ในบางจุด การใช้งานที่ชนะทั้งหมดจะนำไปสู่ค่าสูงสุดในพื้นที่ จากนั้นคุณต้องก้าวไปอีกขั้นเพื่อให้สามารถเข้าถึงศักยภาพสูงสุดระดับโลกได้

และแน่นอน การเรียนรู้หลักจะกระจายไปทั่วทั้งบริษัท ซึ่งจะนำไปสู่การเพิ่มประสิทธิภาพและนวัตกรรมที่กว้างขึ้นทุกประเภทตามข้อมูลเชิงลึกของบุคคลที่หนึ่งที่ผ่านการตรวจสอบความถูกต้องของคุณ

คุณทำการตลาดกับผู้ชมต่างประเทศหรือไม่? เรียนรู้วิธีทำให้กระบวนการนั้นง่ายด้วยการหลอกโลคัลไลซ์เซชั่น

Julia Starostenko, Shopify

จุดประสงค์ของการทดสอบคือเพื่อตรวจสอบว่าการเปลี่ยนแปลงหน้าเว็บที่มีอยู่จะส่งผลกระทบเชิงบวกต่อธุรกิจ

ก่อนเริ่มต้น สิ่งสำคัญคือต้องพิจารณาว่าการเรียกใช้การทดสอบจำเป็นจริงๆ หรือไม่ พิจารณาสถานการณ์ต่อไปนี้: มีปุ่มที่มีอัตราการคลิกต่ำมาก แทบจะเป็นไปไม่ได้เลยที่จะลดประสิทธิภาพของปุ่มนี้ ดังนั้นจึงไม่จำเป็นต้องตรวจสอบประสิทธิภาพของการเปลี่ยนแปลงที่เสนอต่อปุ่ม (เช่น เรียกใช้การทดสอบ)

ในทำนองเดียวกัน หากการเปลี่ยนแปลงที่เสนอสำหรับปุ่มมีขนาดเล็ก อาจไม่คุ้มค่าที่จะใช้เวลาตั้งค่า ดำเนินการ และทำลายการทดสอบ ในกรณีนี้ การเปลี่ยนแปลงควรมีผลกับทุกคน และสามารถตรวจสอบประสิทธิภาพของปุ่มได้

หากพิจารณาแล้วว่าการทำการทดสอบจะเป็นประโยชน์ ขั้นตอนต่อไปคือการกำหนดตัวชี้วัดทางธุรกิจที่ควรปรับปรุง (เช่น เพิ่มอัตราการแปลงของปุ่ม) จากนั้นเราตรวจสอบให้แน่ใจว่ามีการเก็บรวบรวมข้อมูลที่เหมาะสม

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

ปี๊บ ลาจา สถาบัน CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • ดำเนินการวิจัยเกี่ยวกับคอนเวอร์ชั่นโดยใช้กรอบงาน เช่น ResearchXL เพื่อระบุปัญหาในไซต์ของคุณ
  • เลือกปัญหาที่มีลำดับความสำคัญสูง (ปัญหาที่ส่งผลกระทบต่อผู้ใช้ส่วนใหญ่และเป็นปัญหาร้ายแรง) และระดมความคิดเพื่อแก้ไขปัญหานี้ให้ได้มากที่สุด แจ้งกระบวนการคิดของคุณด้วยข้อมูลเชิงลึกการวิจัยคอนเวอร์ชั่นของคุณ กำหนดอุปกรณ์ที่คุณต้องการเรียกใช้การทดสอบ (คุณต้องเรียกใช้การทดสอบ A/B สำหรับอุปกรณ์เคลื่อนที่แยกจากเดสก์ท็อป)
  • กำหนดจำนวนรูปแบบที่คุณสามารถทดสอบได้ (ตามระดับการเข้าชม/ธุรกรรมของคุณ) แล้วเลือกหนึ่งถึงสองแนวคิดที่ดีที่สุดสำหรับโซลูชันเพื่อทดสอบกับกลุ่มควบคุม
  • วางโครงร่างการรักษาที่แน่นอน (เขียนสำเนา ทำการเปลี่ยนแปลงการออกแบบ ฯลฯ) คุณอาจต้องรวมผู้ออกแบบเพื่อออกแบบองค์ประกอบใหม่ ทั้งนี้ขึ้นอยู่กับขอบเขตของการเปลี่ยนแปลง
  • ให้นักพัฒนาส่วนหน้าของคุณใช้การรักษาในเครื่องมือทดสอบของคุณ ตั้งค่าการผสานรวมที่จำเป็น (Google Analytics) กำหนดเป้าหมายที่เหมาะสม
  • ดำเนินการ QA ในการทดสอบ (การทดสอบที่เสียหายถือเป็นตัวทำลายการทดสอบ A/B ที่ใหญ่ที่สุด) เพื่อให้แน่ใจว่าใช้งานได้กับทุกเบราว์เซอร์/อุปกรณ์คอมโบ
  • เปิดการทดสอบ!
  • เมื่อการทดสอบเสร็จสิ้น ให้ทำการวิเคราะห์หลังการทดสอบ
  • ขึ้นอยู่กับผลลัพธ์ ใช้ผู้ชนะ ทำซ้ำการรักษา หรือไปและทดสอบอย่างอื่น
ไอคอนเทมเพลต

การสัมมนาผ่านเว็บฟรี:

การตลาด101

ดิ้นรนเพื่อเพิ่มยอดขาย? เรียนรู้วิธีดำเนินการตั้งแต่วันแรกจนถึงการขายครั้งแรกในหลักสูตรฝึกอบรมฟรีนี้

สมัครตอนนี้

เพิ่มประสิทธิภาพการทดสอบ A/B สำหรับธุรกิจของคุณ

คุณมีกระบวนการ คุณมีพลัง! ดังนั้น ออกไปที่นั่น รับซอฟต์แวร์ทดสอบ A/B ที่ดีที่สุด และเริ่มทดสอบร้านค้าของคุณ ก่อนที่คุณจะรู้ ข้อมูลเชิงลึกเหล่านั้นจะเพิ่มเงินในธนาคารของคุณมากขึ้น

หากคุณต้องการเรียนรู้เกี่ยวกับการเพิ่มประสิทธิภาพต่อไป ลองพิจารณาหลักสูตรฟรี เช่น การทดสอบ A/B ของ Udacity โดย Google คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับการทดสอบ A/B ของเว็บและแอปบนอุปกรณ์เคลื่อนที่เพื่อเพิ่มชุดทักษะการเพิ่มประสิทธิภาพของคุณ