Cara menyiapkan diri Anda untuk sukses dalam pengujian A/B

Satu hal yang saya sukai dari email adalah data. Karena sudah tersedia, mudah untuk menjalankan tes terpisah dan melihat kinerja email secara real time. Anda akan sering menemukan saya meneliti spreadsheet dan terus-menerus memperbarui data seolah-olah saya sedang menonton balapan jarak dekat.

Namun semua itu tidak penting jika pengujian A/B tidak disiapkan dengan benar.

Tanpa dasar yang kuat, hasil pengujian A/B Anda tidak dapat diandalkan dan dapat mengarahkan Anda ke arah yang salah. Dan itu dapat membebani Anda dalam keterlibatan, konversi, dan pada akhirnya, pada pelanggan dan pelanggan. Jadi sebelum Anda memikirkan pengujian berikutnya, pastikan Anda siap untuk sukses guna mendapatkan wawasan yang Anda butuhkan untuk mendorong strategi pemasaran Anda.

Dan siapa yang lebih baik membicarakan pengujian A/B selain pakar pengujian tetap dan manajer pertumbuhan senior kami, John Kim? John menjalankan sebagian besar pengujian konversi di situs web kami dan telah mengajari saya sedikit untuk mempertajam keterampilan saya sendiri. Dan sekarang Anda juga akan belajar darinya.

Apa saja hal utama yang perlu Anda lakukan untuk menjalankan pengujian A/B yang berhasil?

Di mana pun Anda menguji (misalnya email, situs web, dalam aplikasi, atau iklan berbayar), dasar-dasarnya tetap sama. Lakukan dengan benar, dan Anda akan segera menuju hasil yang dapat Anda percayai dan ambil tindakan.

Ketahui apa yang Anda uji

Sebelum menjalankan pengujian A/B Anda, penting untuk memahami dengan tepat apa yang akan Anda uji. Di Litmus, kami memiliki sejumlah kriteria yang kami dokumentasikan untuk setiap tes A/B untuk memastikan kami memaksimalkan peluang keberhasilan dan pembelajaran.

Hipotesa

Mungkin elemen paling vital dari pengujian A/B Anda—hipotesis yang bagus—adalah jawaban atas masalah yang Anda coba pecahkan.

Hipotesis Anda harus jelas, terfokus, dan dibuat dengan beberapa bukti yang mendasari atau terbatas. Sederhananya, ini adalah tebakan terpelajar tentang bagaimana Anda dapat memecahkan masalah bisnis yang kompleks. Hipotesis Anda harus didefinisikan dengan jelas karena eksperimen Anda akan dirancang untuk mengujinya.

Mulailah menulis hipotesis Anda! Dalam kasus kami, mereka sering ditulis menggunakan pernyataan if-then .

Contoh: Jika kita mengubah warna tombol standar menjadi oranye alih-alih hijau, kita akan melihat peningkatan klik-tayang.

Sasaran

Elemen berikutnya yang ingin kami dokumentasikan sebelum menjalankan eksperimen apa pun adalah tujuan eksperimen. Pada akhirnya, apa yang ingin Anda capai untuk bisnis Anda?

Jelaskan apa arti sukses bagi Anda.

Contoh: Sasaran kami adalah meningkatkan klik-tayang pada tombol untuk, pada gilirannya, meningkatkan konversi di laman berikutnya, yang menghasilkan pendaftaran atau aktivasi uji coba yang lebih tinggi secara keseluruhan.

Metrik

Sebelum menjalankan eksperimen, penting untuk mengetahui apa yang akan Anda pantau untuk metrik utama Anda. Dengan hipotesis dan tujuan Anda, jelaskan satu atau dua metrik yang akan Anda gunakan untuk menentukan keberhasilan dalam hal tujuan yang Anda nyatakan sebelumnya.

Langkah ini penting karena Anda ingin memastikan bahwa Anda:

1. Ketahui metrik mana yang penting bagi Anda
2. Memiliki kemampuan untuk memantau dan mengaitkan aktivitas itu kembali ke pengguna dan kelompok tertentu (audiens pengujian dan kontrol Anda diambil dari keseluruhan audiens Anda).
3. Pahami metrik sekunder Anda. Selain metrik utama, penting untuk memantau bagaimana pengguna berinteraksi dengan pengalaman Anda yang lain.

pagar pembatas

Berbagai cara pengujian yang diberikan dapat memengaruhi bisnis Anda dapat mengejutkan.

Apa yang kami lakukan dalam langkah ini adalah mendokumentasikan semua metrik dan saluran yang dapat berdampak positif atau negatif pada pengujian A/B mendatang.

Penting untuk menjalani latihan ini agar kita dapat:

1. Minimalkan kejutan untuk setiap tes yang diberikan
2. Timbang (sebaik mungkin) potensi manfaat vs. risiko/penghalang.

Tim kami melakukan upaya yang signifikan dalam mempersiapkan tes. Kami memasuki setiap tes dengan harapan yang realistis, ambang keberhasilan dan kegagalan, dan siap untuk banyak hasil.

Akses metrik email yang tidak biasa di Litmus Analytics Metrik email standar seperti rasio buka, rasio klik-tayang, rasio berhenti berlangganan, dan lainnya hanya dapat memberi tahu Anda banyak hal. Pahami bagaimana audiens Anda berinteraksi dengan email Anda dengan detail seperti klien email, kecepatan baca, dan banyak lagi. Dapatkan lebih banyak data email →

Tes dan lacak terpisah

Pengujian A/B atau pengujian terpisah adalah fitur yang tersedia secara luas dan ditawarkan dengan sebagian besar penyedia layanan email (ESP) dan platform Otomasi Pemasaran. Jika Anda ingin menjalankan pengujian di situs pemasaran atau aplikasi Anda, alat seperti VWO atau Optimizely juga menawarkan solusi.

Saat memilih audiens Anda, tentukan jumlah orang yang Anda butuhkan dari audiens Anda untuk menjadi keseluruhan pengujian Anda untuk menetapkan signifikansi statistik, atau kemungkinan bahwa perbedaan rasio konversi antara grup A dan grup B bukan karena peluang acak . Anda akan ingin mengukir sebagian dari keseluruhan audiens Anda untuk membagi 50/50 ke dalam grup-grup ini jika Anda memiliki audiens yang cukup besar. Di sini, di Litmus, kami telah menemukan berbagai alat selama bertahun-tahun untuk membantu. Salah satu favorit kami adalah kalkulator pengujian A/B Neil Patel.

Setelah Anda menentukan berapa banyak orang yang perlu menjadi audiens pengujian Anda, setengahnya seharusnya tidak menerapkan perubahan apa pun pada pengalaman mereka. Grup ini akan menjadi grup Kontrol Anda. Sebaik mungkin, pengalaman mereka harus sangat mirip dengan apa yang Anda anggap sebagai pengalaman dasar atau tipikal Anda. Setengah lainnya dari audiens Anda akan menjadi kelompok varian Anda. Untuk pengguna dalam grup ini, terapkan perlakuan uji.

Tes A/B biasanya dianalisis pada tingkat kelompok. Artinya—kami menilai apakah kohort yang menerima pengalaman pengobatan berubah secara signifikan berbeda dari kohort Kontrol.

Sangat penting bahwa menempatkan anggota audiens ke dalam kelompok tertentu adalah acak dan setiap orang yang diberikan hanya menerima satu perlakuan. Jika kami mempertimbangkan susunan masing-masing kohort (pengujian dan kontrol), kami ingin memastikan bahwa kami tidak menimbulkan bias apa pun terhadap demografi, firmografi, atau karakteristik lain apa pun dari pengguna untuk satu kohort. Mengacak kelompok Anda dan memiliki lebih sedikit varian lebih baik memastikan bahwa kelompok Anda mewakili pilihan acak dari audiens Anda.

Membungkus

Pengujian A/B tidak harus sulit, tetapi jika Anda tidak menyiapkannya dengan benar, wawasan yang Anda peroleh darinya tidak akan berarti banyak. Memahami dasar-dasar yang telah kami jelajahi di sini akan menyiapkan Anda untuk sukses, sehingga Anda dapat menerapkan pembelajaran Anda ke seluruh strategi pemasaran Anda. Ingat, mundur selangkah untuk memikirkan setiap elemen dan Anda akan berhasil. Nantikan blog kami di A/B yang menguji pemasaran email Anda, tempat kami akan menyelam lebih dalam untuk menguji saluran favorit kami.

Lebih banyak data. Lebih banyak wawasan. Dapatkan lebih banyak data email—lebih banyak wawasan—saat Anda melampaui metrik email standar. Akses kecepatan baca, kecepatan penerusan, dan lainnya dengan kecanggihan Analisis Email Litmus, yang terintegrasi langsung ke dalam Litmus Plus. Coba Litmus Plus gratis →