Panduan untuk Pengujian A/B

Pemasaran telah ada selama beberapa waktu, tetapi selama beberapa dekade terakhir, telah sepenuhnya merevolusi. Ada lebih sedikit tebakan, dan kita dapat dengan lebih mudah membedakan taktik pemasaran mana yang berhasil dan mana yang gagal.

Saat ini, setiap operasi pemasaran harus dapat menghubungkan usahanya dengan hasil. Ini berarti lebih banyak akuntabilitas untuk tim pemasaran. Tidak cukup prospek yang dibuat? Kami punya masalah. Daftar kontak terlalu kecil? Masalah.

Kabar baiknya adalah, sementara pemasar dituntut lebih bertanggung jawab, mereka sekarang memiliki cara yang lebih baik untuk mengukur taktik mana yang mereka gunakan berhasil dan mana yang tidak. Di masa lalu, jawaban untuk “mengapa kita tidak menghasilkan cukup banyak prospek?” mungkin "Saya tidak benar-benar tahu." Sekarang alasan di balik hasil yang tidak memuaskan sering kali dapat ditunjukkan dengan tepat.

Salah satu cara bagi pemasar untuk mengoptimalkan pekerjaan mereka adalah dengan pengujian A/B.

Apa itu pengujian A/B: Ikhtisar tingkat tinggi

Pengujian A/B adalah konsep sederhana. Kadang-kadang disebut "pengujian terpisah", ini adalah praktik menempatkan dua versi antarmuka pengguna—seperti halaman web atau desain produk—untuk melihat mana yang berkinerja lebih baik.

Setengah dari populasi akan melihat satu versi dan setengah lainnya akan melihat yang lain. Anda kemudian dapat menggunakan data dari semua kunjungan tersebut untuk menentukan versi UI mana yang berkinerja lebih baik.

Apa yang harus diuji?

Salah satu bagian yang sulit saat memulai pengujian A/B adalah menentukan apa yang harus Anda uji. Ada banyak sekali antarmuka yang dapat Anda uji, dan di dalam antarmuka itu, ada banyak sekali variasi yang dapat Anda coba. Jadi, ketika memulai, apa yang Anda uji?

Tetapkan tujuan

Untuk memastikan Anda menguji sesuatu yang berharga, Anda perlu mencari tahu apa yang ingin Anda capai dengan tes split Anda. Sebelum Anda menguji apa pun, Anda harus dapat menjawab pertanyaan “mengapa kami menguji komponen khusus ini versus yang lain?”

Jadi, pengujian Anda harus terinspirasi oleh tujuan tingkat tinggi dalam organisasi Anda. Jika Anda seorang pemasar yang ingin membuat daftar kontak perusahaan Anda, uji versi yang berbeda dari formulir pendaftaran email. Membangun daftar kontak yang kuat tercakup dalam tujuan pemasaran tingkat tinggi untuk menghasilkan prospek berkualitas tinggi.

Sangat penting bahwa tes Anda memiliki semacam nomor sulit di belakang mereka untuk evaluasi. Jika Anda menjalankan tes dan kemudian mendasarkan keputusan Anda pada preferensi pribadi, Anda melakukan sesuatu yang salah. Hasil tes Anda harus didukung oleh data keras dan, dengan asumsi lebih dari perbedaan kecil, harus melakukan sebagian besar pengambilan keputusan untuk Anda.

Tabel ini dari buku Dan Siroker dan Pete Koomen Pengujian A/B: Cara Paling Ampuh untuk Mengubah Klik menjadi Pelanggan berfungsi sebagai panduan bagus untuk apa tujuan Anda mungkin bergantung pada jenis situs yang Anda miliki.

Bagaimana memprioritaskan

Anda mungkin berpikir: “Kami memiliki begitu banyak tujuan, Anda tidak terlalu mempersempitnya.” Itu adalah poin yang valid.

Sangat cerdas untuk memprioritaskan berdasarkan ROI. Menguji faktor ROI tinggi, jelas, akan memberi Anda hasil terbaik pada pengujian Anda dan berfungsi sebagai pembenaran untuk pengujian lebih lanjut pada faktor lain.

Misalnya, jika Anda menjalankan blog, dua metrik keberhasilan Anda mungkin adalah tampilan halaman total dan pendaftaran uji coba gratis. Sekarang, tampilan halaman sangat bagus, tetapi tidak ada ROI langsung dari tampilan halaman yang tidak rata (kecuali jika Anda beriklan di blog Anda atau menjadi duta produk).

Ada hubungan yang lebih langsung dengan pendapatan dalam pendaftaran percobaan daripada tampilan halaman. Jadi, pengujian yang berhasil pada tombol uji coba Anda akan lebih berharga daripada pengujian yang berhasil, katakanlah, variasi yang berbeda dari tajuk utama ke entri blog.

Anda sebaiknya melakukan pengujian yang lebih berdampak terlebih dahulu, bukan hanya karena ini yang terbaik untuk bisnis Anda, tetapi juga, Anda dapat menggunakan pengujian ini sebagai bukti konsep jika ada orang dalam organisasi Anda yang mempertanyakan nilai A/B pengujian.

Hindari sindrom HiPPO

Sangat penting Anda menentukan tujuan Anda dan bagaimana memprioritaskannya sebelum Anda memulai. Alasannya adalah: orang tidak benar-benar tahu desain apa yang akan efektif, dan jika Anda tidak memiliki tujuan yang ditetapkan, Anda mempertaruhkan terlalu banyak subjektivitas dalam proses pengambilan keputusan Anda.

Istilah HiPPO adalah singkatan dari: Opini Orang dengan Bayaran Tertinggi. Dan sebagai sebuah organisasi, Anda ingin sangat berhati-hati terhadapnya. Organisasi yang tidak memiliki objektivitas dalam pengujian mereka sering kali secara default menggunakan HiPPO, yang bukan merupakan strategi yang baik.

Namun, jika Anda memiliki tujuan yang jelas yang didasarkan pada metrik keras sebelum memulai, Anda akan lebih mudah untuk tetap objektif. Sulit bagi siapa pun, tidak peduli berapa banyak uang yang mereka hasilkan, untuk mengesampingkan angka yang jelas (walaupun saya yakin seseorang dapat menceritakan kisah tentang bos yang satu itu).

Prinsip untuk pengujian A/B

Hindari penyempurnaan terlalu dini

Saat pengujian A/B, Anda akhirnya akan sampai pada titik menyempurnakan desain menjadi opsi terbaik, tetapi Anda harus memastikan untuk tidak melakukannya terlalu cepat. Alih-alih memperbaiki apa yang sudah Anda miliki saat memulai, berpikirlah besar dan bereksperimenlah dengan berbagai ide.

Katakanlah Anda memiliki halaman web yang ditata satu arah. Jika Anda memulai dengan menyempurnakannya, pada akhirnya Anda akan mendapatkan versi terbaik dari tata letak itu. Bagus kan? Salah.

Ada kemungkinan berbeda bahwa tata letak laman, bahkan dalam kondisi terbaiknya, tidak memiliki potensi versi lain laman tersebut dengan tata letak yang sama sekali berbeda .

Ketika Isaac Newton masih kecil, dia berkelahi. Bayangkan jika dia menghabiskan seluruh hidupnya untuk mengasah kemampuan joustingnya, tidak pernah mencoba aktivitas yang berbeda. Dia mungkin akhirnya menjadi jouster yang cukup bagus, bahkan mungkin hebat.

Untungnya, dia tidak menghabiskan seluruh hidupnya dengan kepala terkubur dalam buku jousting. Sebaliknya, ia mencoba beberapa kegiatan yang sangat berbeda, seperti Matematika, dan dikenal sebagai salah satu pemikir terbesar yang pernah hidup.

Oke, saya tidak tahu apakah Newton pernah berkelahi. Saya membuat bagian itu, tetapi untuk mengilustrasikan sebuah poin: Jika Anda mulai menyempurnakan terlalu dini, Anda mungkin kehilangan opsi berpotensi tinggi karena Anda tidak menghabiskan cukup waktu untuk mencoba hal-hal yang sangat berbeda di awal.

Tidak selalu tentang penambahan

Ketika datang dengan variasi yang berbeda untuk diuji, Anda mungkin tergoda untuk menambahkan, menambah, menambahkan. Ini tidak selalu merupakan ide terbaik. Kesederhanaan berjalan jauh, dan dengan membuat tambahan, Anda mungkin hanya menciptakan kompleksitas.

Jika Anda ingin membuat variasi, pikirkan "apa yang bisa saya kurangi dari aslinya?" sebelum Anda sampai ke "apa yang bisa saya tambahkan?"

Dalam Pengujian A/B: Cara Paling Ampuh untuk Mengubah Klik menjadi Pelanggan , Siroker dan Koomen menguraikan studi kasus yang menggambarkan konsep ini dengan sempurna. Mereka menceritakan kisah pengujian yang dijalankan oleh Cost Plus World Market di mana pengecer menyembunyikan kode promo dan bidang formulir opsi pengiriman dari halaman terakhir di corong checkout. Dengan menyembunyikan bidang tersebut dan mengubahnya menjadi tautan yang dapat diperluas, mereka melihat peningkatan pendapatan per pengunjung sebesar 15,6%. Konversi juga naik 5,2%. Itu adalah beberapa angka besar.

Berikut gambar tes yang disertakan dalam buku. Sungguh menakjubkan bagaimana perubahan kecil bisa berdampak seperti itu.

Kegagalan tidak selalu buruk

Saat Anda membagi pengujian, setiap kegagalan perlu memberi tahu Anda tentang sesuatu. Dengan kacamata berwarna mawar, Anda mungkin mendapatkan gagasan bahwa setiap variasi akan menghasilkan hasil yang baik. Yang benar adalah, banyak dari mereka tidak. Jika tidak, Anda tidak harus mengemasi tas Anda dan pulang ke rumah, tetapi menggali dan mencari jawaban.

Katakanlah Anda menjalankan tes mengubah halaman beranda situs web Anda. Sasaran utama Anda dengan perubahan ini adalah meningkatkan konversi dari pengunjung pertama kali. Tidak butuh waktu lama bagi Anda untuk melihat bahwa perubahan yang diusulkan tidak berhasil. Konversi turun di beranda baru.

Namun, setelah beberapa penggalian, Anda menemukan bahwa pengunjung yang kembali tinggal di situs web Anda lebih lama. Sesuatu tentang UI baru memiliki efek ini.

Sekarang Anda telah mengetahui bahwa pengunjung pertama kali dan pengguna baru berinteraksi dengan situs Anda secara berbeda, dan Anda memiliki alat untuk memaksimalkan pengalaman untuk kedua segmen. Tentu, tes ini tidak membawa hasil yang diinginkan, tetapi tidak sia-sia.

Namun, tidak semua tes akan memberikan lapisan perak yang jelas. Katakanlah setelah menggali lebih dalam, Anda tidak menemukan apa pun tentang desain baru yang berfungsi. Anda mungkin harus menghapus desain baru sama sekali, tetapi gunakan pengalaman tersebut sebagai pembenaran untuk pengujian lebih lanjut.

Dan, saat Anda melakukan pengujian lebih lanjut, gunakan hasil sebelumnya untuk menginformasikan pengujian tersebut. Anda selalu dapat menggunakan pelajaran dari tes sebelumnya untuk menghasilkan hipotesis untuk tes masa depan.

Tanpa manfaat pengujian, organisasi Anda mungkin telah beralih tanpa mengetahui apa hasilnya. Itu akan menjadi pembunuh bagi bisnis.

Cara uji A/B

Jadi, Anda tahu beberapa aturan pengujian terpisah untuk dijalani, dan Anda memiliki rencana pengujian.

Tapi bagaimana dengan logistik? Bagaimana Anda benar-benar melakukannya?

Nah, ada beberapa cara. Anda dapat membuat alat Anda sendiri, Anda dapat membelinya dari vendor perangkat lunak, atau Anda dapat menyewa agen yang mengurus semuanya untuk Anda.

Mari kita bahas ketiga opsi itu dan lihat mana yang terbaik untuk Anda.

Buat sendiri

Sebenarnya, saya tidak bisa banyak membantu di sini. Membuat alat pengujian A/B Anda sendiri adalah upaya intensif teknik. Jadi, jika Anda mempertimbangkan opsi ini, inilah langkah pertama: pergi ke kepala teknik Anda dan tanyakan seberapa masuk akal untuk membangun alat pengujian A/B di rumah.

Tidak memiliki tim teknik? Kemudian kita selesai di sini. Baik membeli alat atau menyewa agen.

Beli alat

Tidak ada kekurangan alat pengujian A/B yang tersedia untuk Anda beli. Alat-alat ini akan bervariasi dalam kegunaannya, tetapi bahkan jika Anda bukan seorang ahli, Anda mungkin dapat menemukan sesuatu yang cukup sederhana untuk digunakan.

Ada dua pertanyaan utama yang harus Anda tanyakan pada diri sendiri sebelum membeli alat.

Apakah ini bekerja dengan baik dengan perangkat lunak yang sudah Anda gunakan?

Anda perlu memastikan alat yang Anda beli akan terintegrasi dengan sistem manajemen konten Anda, alat analitik lain yang Anda gunakan, platform e-niaga Anda, dan benar-benar hal lain yang menurut Anda mungkin relevan.

Alat pengujian A/B tidak berdiri sendiri, jadi lakukan riset sebelum membuat keputusan.

Apakah itu sesuai dengan anggaran Anda?

Yang ini agak jelas, tetapi perlu ditanyakan. Alat akan bervariasi dalam biayanya, jadi Anda perlu memastikan yang Anda dapatkan sepadan. Sama seperti Anda memprioritaskan apa yang akan diuji berdasarkan ROI, keputusan ini juga harus didasarkan pada ROI. Mengingat fitur yang ditawarkan, penerapannya, dan biaya alat, apakah manfaatnya lebih besar daripada biayanya?

Omong-omong, Anda akan terkejut melihat betapa kecilnya biaya itu. Tidak sulit untuk mendapatkan alat dengan fungsionalitas pengujian A/B dengan harga murah. Kami menawarkan pengujian terpisah dalam kampanye email yang sangat mudah digunakan.

Sewa agen

Ini mungkin cara termudah untuk melakukan pengujian terpisah, tetapi juga disertai dengan risiko. Ketika Anda mempekerjakan seseorang untuk mengambil kendali, Anda, kurang lebih, menyerahkan mereka. Anda akan perlu bertanya pada diri sendiri pertanyaan yang sama mengenai anggaran seperti yang Anda lakukan jika Anda membeli alat, tetapi metode ini juga berarti mengajukan banyak pertanyaan tentang penyedia yang Anda rencanakan untuk disewa.

Berikut adalah beberapa pertanyaan bagus untuk ditanyakan sebelum membuat keputusan:

• Berapa banyak pengawasan yang akan Anda miliki selama proses tersebut?
• Bagaimana rekam jejak agensi?
• Apakah mereka memiliki bukti keberhasilan dalam proyek pengoptimalan konversi sebelumnya?
• Jenis pelaporan dan analitik apa yang mereka berikan setelah pengujian selesai?

Komunikasi

Ini mungkin tidak diajukan di bawah "logistik", tetapi komunikasi sangat penting saat pengujian terpisah karena dua alasan.

Alasan #1: Itu membuat Anda tetap teratur

Tergantung pada ukuran organisasi Anda, Anda mungkin menguji beberapa hal sekaligus. Dan mungkin saja beberapa dari hal-hal ini dapat berdampak satu sama lain.

Misalnya, Anda sedang menguji formulir pendaftaran email di beranda dan Anda juga menguji deskripsi meta yang berbeda untuk beranda. Anda mungkin melihat peningkatan dalam langganan email, tetapi itu bisa jadi akibat dari formulir baru atau peningkatan klik-tayang dari deskripsi meta.

Cara terbaik untuk mengatasi ini adalah dengan menunjuk pemimpin pengujian. Tanggung jawab orang ini adalah untuk mengawasi dan mengelola semua pengujian yang Anda lakukan pada situs Anda. Hal ini tidak hanya mencegah potensi beberapa pengujian yang saling memengaruhi, tetapi juga memberikan organisasi Anda orang yang dapat dihubungi untuk setiap pertanyaan terkait pengujian.

Alasan #2: Mengklarifikasi nilai pengujian

Beberapa organisasi tidak memiliki 100% dukungan dalam hal pengujian. Tidak diragukan ada nilai di dalamnya, tetapi seseorang yang tidak memiliki pengetahuan mungkin menganggapnya tidak perlu. Dengan mengomunikasikan hasil pengujian dengan jelas, Anda dapat mencadangkan nilainya dengan angka pasti.

Anda mungkin tidak dapat menjual seseorang di organisasi Anda untuk mendesain halaman beberapa kali, tetapi tidak ada argumen yang menentang hasil yang lebih baik.

Jangan pernah berhenti menguji

Kemungkinannya adalah, Anda tidak akan pernah menemukan hasil terbaik. Ada banyak hal yang dapat Anda uji, dan dalam hampir semua kasus, sesuatu dapat ditingkatkan.

Karena itu, sangat penting untuk menyadari bahwa pengujian A/B adalah perjalanan yang tidak pernah berakhir. Sesuatu yang bekerja dengan baik dalam satu tahun mungkin mengalami penurunan hasil di tahun berikutnya.

Jadi, kembangkan rencana pengujian jangka panjang yang membantu bisnis Anda melihat hasil yang berkelanjutan. Ini seperti pelatih bola basket sekolah menengah saya yang klise akan mengatakan: "Ruang terbesar di dunia adalah ruang untuk perbaikan."