13 Kesalahan Pengujian A/B Email yang Membatasi Kesuksesan Anda

“Anda harus menguji, jika tidak, Anda hanya membuat tebakan yang terpelajar,” kata Stuart Clark dari Red C di Litmus Live London 2017. Pengujian A/B email adalah topik yang berulang di ketiga acara Litmus Live tahun lalu, dan juga ini tahun. Itu tidak mengherankan karena ini adalah salah satu peluang paling kuat bagi pemasar email untuk mengulangi dan meningkatkan kampanye mereka.

Pengujian A/B dapat membantu Anda menemukan perubahan berdampak tinggi pada baris subjek, desain email, halaman arahan, dan banyak lagi. Seberapa besar keuntungan yang bisa didapat?

“Merek e-niaga yang diuji A/B
email mereka menghasilkan 20% lebih banyak pendapatan
rata-rata."

—Alex Kelly (MailChimp)
di Litmus Live 2017

Tweet kutipan ini →

Untuk menguji A/B email Anda, yang perlu Anda lakukan hanyalah menyajikan dua variasi ke dua grup pelanggan yang berbeda dan kemudian mendengarkan. Metrik akan memberi tahu Anda preferensi mereka, yang kemudian dapat Anda tindak lanjuti baik dalam jangka pendek dengan mengirimkan variasi pemenang ke lebih banyak audiens Anda, atau dalam jangka panjang dengan menerapkan preferensi tersebut ke kampanye mendatang.

Kedengarannya sederhana—dan sampai taraf tertentu, berkat penyedia layanan email dan penyedia perangkat lunak pengujian yang meluncurkan fungsionalitas yang membuat pengujian A/B email lebih mudah dilakukan daripada sebelumnya. Namun, juga agak mudah untuk mengacaukan pengujian A/B email Anda dan sampai pada kesimpulan yang salah atau merusak hasil Anda sepenuhnya.

Untuk menghindari nasib itu, berikut adalah 13 tips yang akan memastikan Anda mendapatkan hasil maksimal dari pengujian A/B email Anda:

1. Uji email otomatis dan transaksional Anda, bukan hanya email broadcast dan tersegmentasi Anda.

Hampir 39% merek tidak pernah atau jarang menguji A/B untuk siaran dan email tersegmentasi mereka, menurut Survei Email Negara 2018 dari Litmus.

Itu adalah peluang yang terlewatkan, tetapi ada lebih banyak uang yang tersisa di meja saat Anda melihat email otomatis dan transaksional. Lebih dari 65% merek tidak pernah atau jarang menguji A/B email otomatis mereka, dan 76% tidak pernah atau jarang menguji A/B email transaksional mereka.

Sayang sekali karena meskipun A/B menguji siaran Anda dan email tersegmentasi memberi Anda keunggulan kompetitif, pengujian A/B email otomatis dan transaksional memberi Anda keunggulan besar. Program email yang berhasil memiliki kemungkinan 58% lebih besar daripada program yang kurang berhasil untuk menguji A/B email yang dipicu setidaknya setahun sekali. Dan program yang berhasil memiliki kemungkinan 53% lebih besar untuk menguji A/B email transaksional mereka setidaknya setahun sekali.

Kedua tindakan tersebut berada di 10 besar dari 20 Hal yang Dilakukan Program Pemasaran Email yang Berhasil.

Meskipun email yang dipicu sering dipuji sebagai program set it and forget it, ingatlah bahwa tidak ada dalam Pemasaran Email yang 'Atur dan Lupakan.' Email-email ini menyumbang sebagian besar pendapatan pemasaran email di lebih dari 13% merek, menurut Survei Email Negara 2018 Litmus. Dan persen itu hanya akan tumbuh di tahun-tahun mendatang.

2. Fokuskan upaya pengujian A/B email Anda pada elemen kampanye yang paling mungkin menggerakkan jarum pada kinerja.

Terkadang perubahan kecil pada elemen kecil dapat menggerakkan jarum untuk Anda, tetapi umumnya bijaksana untuk memfokuskan pengujian Anda pada elemen email utama, seperti baris subjek, ajakan bertindak, dan gambar.

Menurut survei kami terhadap 3.000 pemasar, di sinilah sebagian besar merek saat ini memfokuskan upaya pengujian A/B email mereka. Anda juga harus.

Selain elemen tersebut, email otomatis Anda memiliki elemen lain yang layak untuk diuji. Dalam buku saya, Aturan Pemasaran Email , saya merekomendasikan pengujian:

• Logika pemicu yang berbeda untuk email otomatis
• Seberapa cepat mengirim pesan setelah dipicu
• Apakah akan mengirim serangkaian email otomatis
• Penundaan antara email otomatis dalam satu rangkaian
• Dalam kondisi apa email otomatis dalam rangkaian dilewati
• Dalam kondisi apa rangkaian email otomatis berakhir

3. Pahami apakah pengujian Anda akan membawa Anda lebih dekat ke maksimum lokal atau maksimum global.

Apakah Anda menguji tweak tambahan atau perubahan radikal pada email Anda? Penting untuk dipahami karena, seperti yang ditunjukkan Manajer Produk Indeed, Janie Clarke di Litmus Live San Francisco, penyesuaian kecil dapat membantu Anda mencapai puncak maksimum lokal, tetapi tidak akan membantu Anda menemukan maksimum global baru. Untuk menemukannya, Anda harus mencoba pendekatan yang sama sekali berbeda.

Misalnya, menguji warna tombol atau menguji tautan teks versus tombol hanya akan membantu Anda lebih dekat untuk mengoptimalkan desain email itu—atau mencapai maksimum lokal. Namun, menguji desain yang banyak menyalin versus desain yang banyak gambar atau email interaktif versus email hanya teks, misalnya, dapat membantu Anda menemukan cara terbaik untuk mengomunikasikan pesan Anda—atau menemukan maksimum global.

4. Batasi pengujian A/B Anda pada satu hal pada satu waktu.

Kecuali Anda melakukan pengujian multivarian, Anda akan ingin agar pengujian A/B Anda terbatas pada satu perubahan per pengujian. Misalnya, Anda dapat menguji…

• Tombol hijau versus tombol biru
• Salinan email dengan bukti sosial disertakan versus tanpa bukti sosial
• Gambar pahlawan gaya hidup versus gambar pahlawan produk
• Diskon persen versus diskon dolar

Memiliki lebih dari satu perbedaan antara versi A dan B membuat sulit untuk menentukan dengan jelas elemen mana yang menyebabkan perbedaan kinerja.

5. Memiliki hipotesis yang jelas.

Jangan membuat perubahan acak hanya untuk melihat apa yang mungkin berhasil. Ketahui apa yang ingin Anda capai dan miliki alasan yang kuat mengapa apa yang Anda uji akan membantu Anda mencapai tujuan yang diinginkan.

Misalnya, jika Anda mencoba untuk meningkatkan konversi, Anda dapat membuat satu versi salinan email Anda di mana ajakan bertindak berada di paro atas untuk membuatnya lebih terlihat dan versi lain di mana konten mendahului CTA dan mencoba untuk menghasilkan pesan yang kuat. kepentingan KTA. Juga, jika Anda ingin melihat apakah menyapa pelanggan baru Anda dengan nama di baris subjek email selamat datang Anda meningkatkan konversi, Anda akan menguji satu baris subjek dengan personalisasi dan yang lain tanpa.

Situs seperti Behave.org dapat memberi Anda banyak ide pengujian untuk dicoba berdasarkan apa yang telah dilakukan oleh merek lain.

6. Pilih metrik kemenangan pengujian yang selaras dengan sasaran kampanye Anda.

Kami tidak dapat cukup menekankan hal ini: Pastikan untuk menguji cukup jauh ke bawah corong—yang dalam banyak kasus berarti menguji sejauh mungkin ke bawah corong. Sebagian besar kampanye email mencoba menghasilkan konversi email atau konversi penjualan, jadi pengujian A/B email Anda juga harus berfokus pada pemindahan metrik tersebut.

Di mana beberapa pemasar salah adalah mereka berpikir baris subjek hanya dapat memengaruhi pembukaan, konten email hanya dapat memengaruhi klik, dan konten halaman arahan hanya dapat memengaruhi konversi. Tidak benar! Berbagai tahapan interaksi email tidak beroperasi secara terpisah. Mereka semua bekerja sama, karena pelanggan mengalami semuanya bersama-sama.

Ketika Anda menerima itu, Anda menyadari bahwa tujuan dari baris subjek bukan untuk menghasilkan pembukaan. Ini untuk menghasilkan pembuka yang cenderung mengkonversi. Demikian pula, tujuan konten email bukan untuk menghasilkan klik. Ini untuk menghasilkan clickers yang cenderung mengkonversi.

Tidak meyakinkan? Sangat mudah untuk mengkonfirmasi sendiri. Jalankan saja beberapa pengujian A/B baris subjek dan lihat bagaimana baris subjek yang berbeda memengaruhi aktivitas hingga ke corong interaksi email.

Juga, siapa yang peduli jika baris subjek A menghasilkan lebih banyak pembukaan daripada baris subjek B jika baris subjek B menghasilkan lebih banyak konversi? Dan siapa yang peduli jika konten email A menghasilkan lebih banyak klik daripada konten email B jika yang terakhir menghasilkan lebih banyak konversi? Kami menjamin bahwa bos Anda akan memilih lebih banyak konversi.

Analisis Email Status 2018 Bagaimana kemampuan analitik email Anda dibandingkan dengan rekan-rekan Anda? Lihat metrik email apa yang diukur merek (dan alat apa yang mereka gunakan untuk melakukannya) dengan laporan State of Email Analytics pertama kami. Dapatkan salinan Anda →

7. Gunakan segmen pemirsa uji dari pelanggan serupa.

Sama seperti Anda mengontrol perubahan yang Anda buat pada versi A dan B email Anda, Anda juga perlu mengontrol siapa yang mendapatkan setiap versi. Anda ingin dua grup pengujian Anda terdiri dari jenis pelanggan yang sama, apakah itu pelanggan baru, pelanggan yang merupakan pelanggan, atau pelanggan dalam geografi tertentu, misalnya.

8. Gunakan segmen pemirsa uji pelanggan aktif.

Demikian pula, Anda akan ingin memastikan bahwa kedua kelompok penerima tes berisi pelanggan aktif yang secara teratur terlibat dengan email Anda. Jika tidak, jika versi A masuk ke grup pelanggan yang jauh lebih aktif daripada grup yang mendapatkan versi B, maka versi A lebih cenderung "menang" karena alasan yang mungkin tidak ada hubungannya dengan apa yang ada di versi A.

Satu-satunya peringatan adalah jika Anda menguji email keterlibatan kembali, dalam hal ini Anda ingin menargetkan pelanggan yang tidak aktif, tentu saja.

9. Pastikan kelompok pengujian Anda cukup besar sehingga hasil Anda akan signifikan secara statistik.

Jika audiens pengujian Anda terlalu kecil, maka hasil pengujian Anda mungkin hanya karena keacakan. Pastikan bahwa hasil Anda signifikan secara statistik dengan memiliki audiens pengujian yang cukup besar.

Kissmetrics, AB Testguide, dan Optimizely semuanya memiliki kalkulator online untuk membantu Anda.

10. Gunakan grup ketidaksepakatan, bila perlu.

Untuk email apa pun yang Anda uji, pertimbangkan efek pelanggan Anda tidak menerima email itu sama sekali. Memiliki sekelompok pelanggan yang tidak menerima email adalah bagaimana Anda dapat mengukur efek itu.

Grup Holdout sangat berharga dalam hal pengujian email otomatis. Misalnya, jika Anda menguji kinerja email pengabaian keranjang belanja baru, Anda ingin memastikan bahwa sebagian pengabai keranjang tidak mendapatkan email pengabaian keranjang sama sekali. Melakukan hal itu memungkinkan Anda mengukur apakah email pengabaian keranjang Anda mengganggu pelanggan atau mengganggu perilaku belanja alami mereka.

Namun, Anda dapat menggunakan grup holdout untuk email apa pun yang Anda kirim untuk memastikan bahwa email tersebut benar-benar memiliki efek positif pada pelanggan Anda. Perusahaan perangkat lunak perusahaan Atlassian telah menyiapkan sistem yang memerlukan pengujian setiap email, termasuk grup penangguhan wajib, Manajer Produk Senior Atlassian Platform Keterlibatan Jeff Sinclair mengatakan kepada peserta Litmus Live San Francisco.

11. Buat rencana pengujian sehingga Anda melakukan pengujian secara teratur dan mencatat hasil pengujian.

Pengujian A/B ad hoc tidak efisien karena sporadis dan tidak fokus. Untuk mendapatkan hasil maksimal dari pengujian A/B, Anda memerlukan rencana. Kembangkan jadwal pengujian yang mencatat:

• Teori yang Anda coba konfirmasi
• Email mana yang Anda gunakan untuk menguji setiap teori
• Hasil dari setiap pengujian dan bagaimana pengaruhnya terhadap rencana pengujian Anda di masa mendatang

Bertujuan untuk menyertakan pengujian A/B di setidaknya setengah dari siaran Anda dan email promosi tersegmentasi, karena penelitian kami menunjukkan bahwa merek mendapatkan sedikit keunggulan kompetitif saat mereka menguji lebih jarang dari itu. Demikian pula, merek melaporkan peningkatan keberhasilan yang signifikan ketika mereka menguji A/B email yang dipicu dan transaksional setidaknya sekali setiap 6 bulan.

Anda juga ingin memiliki rencana pengujian karena Anda harus…

12. Konfirmasikan hasil tes.

Tes A/B tunggal tidak pernah konklusif selamanya. Dalam jangka pendek, peningkatan apa pun yang Anda lihat mungkin merupakan hasil dari efek baru. Pelanggan tertarik pada yang baru, yang dapat meningkatkan perubahan apa pun yang Anda buat versus kontrol.

Namun, efek kebaruan memudar cukup cepat. Jadi, jika Anda menjalankan pengujian yang sama dua atau tiga kali selama periode waktu tertentu, Anda akan menghilangkan efek baru dan dapat melihat dampak sebenarnya dari perubahan tersebut.

Dalam jangka panjang, perilaku dan sikap konsumen berubah. Komposisi daftar email Anda juga dapat berubah dari waktu ke waktu tergantung pada praktik akuisisi pelanggan, perubahan pada penawaran produk atau layanan Anda, ekspansi ke atau mundur dari geografi tertentu, dan faktor lainnya.

Semakin definitif keberhasilan tes, semakin lama Anda mungkin bisa menunggu untuk mengonfirmasinya lagi. Namun pada akhirnya, Anda akan ingin mengonfirmasi ulang setiap pengujian secara berkala setidaknya sekali atau dua kali—yang, sekali lagi, adalah alasan mengapa rencana pengujian A/B sangat penting.

13. Bagikan hasil pengujian A/B email Anda dengan pemilik saluran lain di perusahaan Anda.

Jonathan Pay dari Holistic Email Marketing memberi tahu peserta Litmus Live London untuk memastikan membagikan wawasan pengujian A/B email mereka dengan web, media sosial, dan tim iklan mereka. Itu saran yang bagus, karena pembelajaran pemasaran email dapat mendorong kesuksesan di saluran lain.

Koordinasi yang buruk di seluruh saluran dan departemen diidentifikasi sebagai tantangan terbesar yang dihadapi pemasar email pada tahun 2018, menurut jajak pendapat Litmus terhadap lebih dari 600 pemasar. Berbagi hasil pengujian A/B hanyalah satu cara lagi agar merek dapat mendorong pendekatan omnichannel untuk pemasaran dan pengalaman pelanggan.

Untuk mendapatkan hasil maksimal dari upaya pengujian A/B email Anda…

Ikuti 13 rekomendasi tersebut:

1. Uji email otomatis dan transaksional Anda, bukan hanya email siaran dan tersegmentasi Anda.
2. Fokuskan upaya pengujian A/B email Anda pada elemen kampanye yang paling mungkin menggerakkan jarum pada kinerja.
3. Pahami apakah pengujian Anda akan membawa Anda lebih dekat ke maksimum lokal atau maksimum global.
4. Batasi pengujian A/B Anda pada satu hal pada satu waktu.
5. Memiliki hipotesis yang jelas.
6. Pilih metrik kemenangan pengujian yang selaras dengan sasaran kampanye Anda.
7. Gunakan segmen pemirsa uji dari pelanggan serupa.
8. Gunakan segmen audiens uji dari pelanggan aktif.
9. Pastikan grup pengujian Anda cukup besar sehingga hasil Anda akan signifikan secara statistik.
10. Gunakan grup ketidaksepakatan, jika perlu.
11. Buat rencana pengujian sehingga Anda menguji secara teratur dan mencatat hasil pengujian.
12. Konfirmasikan hasil tes.
13. Bagikan hasil pengujian A/B email Anda dengan pemilik saluran lain di perusahaan Anda.