Memulai Pengujian Multivariat dalam Pemasaran
Diterbitkan: 2023-08-10Salah satu manfaat terbesar pemasaran digital adalah kemampuan untuk menguji hampir setiap aspek bauran pemasaran Anda untuk melihat mana yang terbaik. Dari baris subjek email dan tajuk utama hingga gambar laman landas dan warna CTA, kemampuan untuk menguji dan membandingkan hasil memberi Anda keunggulan dibandingkan media tradisional.
Dalam banyak kasus, Anda mungkin mengandalkan pengujian A/B untuk memilih dan menguji satu elemen kampanye dalam satu waktu. Tetapi di tempat lain, Anda mungkin ingin mengukur keefektifan mengubah beberapa elemen berbeda sekaligus. Anda mungkin juga ingin mengungkap hubungan antara berbagai elemen. Dalam situasi ini, pengujian multivarian adalah yang Anda butuhkan.
Apa itu Pengujian Multivariat?
Pengujian multivariat (MVT) adalah metode pengujian yang melibatkan pengujian beberapa elemen atau kombinasi variabel sekaligus. Dibandingkan dengan pengujian A/B, di mana Anda menguji satu elemen pada satu waktu, Anda dapat menggunakan proses MVT untuk menemukan kombinasi variabel mana yang berkinerja terbaik dalam mencapai hasil yang Anda inginkan. Ini memberi Anda wawasan berharga tentang bagaimana berbagai elemen dapat memengaruhi perilaku pengguna.
Pengujian multivariat adalah proses intensif sumber daya yang membutuhkan ukuran sampel yang besar. Jika Anda tertarik untuk menggunakannya, panduan berikut dapat membantu Anda menentukan apakah itu cocok.
Contoh Pengujian Multivariat
Seperti apa pengujian multivariat dalam kehidupan nyata?
Pertimbangkan contoh berikut untuk pengecer e-niaga:
Anda ingin mengganti warna tombol CTA serta bahasa untuk melihat mana yang mendorong lebih banyak klik. Anda memutuskan untuk menggunakan MVT untuk menentukan mana yang terbaik. Dalam situasi ini, Anda akan membuat empat versi halaman yang berbeda dan menguji masing-masing versi.
Anda ingin tahu apakah mengubah judul dan menambahkan lebih banyak gambar ke email selamat datang pelanggan mendorong klik. Anda membuat beberapa versi dengan judul dan gambar berbeda dan membiarkan kampanye berjalan dengan sendirinya.
Anda perlu meningkatkan konversi di laman landas Anda, jadi Anda memutuskan untuk menguji berbagai kombinasi judul, gambar, konten teks, dan bidang formulir untuk melihat kombinasi mana yang menghasilkan tingkat konversi tertinggi.
Anda melihat rasio pentalan yang lebih tinggi dan lebih sedikit klik ke halaman produk dari beranda situs web Anda, jadi Anda menguji spanduk, menu navigasi, dan penempatan tombol CTA untuk mengoptimalkan pengalaman pengguna dan memindahkan pengguna lebih jauh ke corong penjualan.
Ingat, tujuan pengujian multivariasi bukan hanya untuk menemukan elemen yang bekerja paling baik, tetapi untuk memahami bagaimana elemen tersebut berinteraksi satu sama lain.
Pengujian Multivariasi vs. Pengujian A/B
Apa perbedaan antara pengujian multivarian dan pengujian A/B? Kedua pengujian melibatkan pembuatan hipotesis tentang apa yang mungkin terjadi jika Anda mengubah beberapa hal di halaman. Seperti yang telah kami tetapkan, pada yang pertama Anda menguji banyak elemen atau variabel, seringkali pada waktu yang bersamaan. Pengujian A/B berfokus secara eksklusif pada satu variabel pada satu waktu.
Jadi bagaimana Anda tahu mana yang lebih masuk akal untuk kebutuhan Anda?
Katakanlah Anda ingin meningkatkan konversi pada halaman arahan dari iklan pencarian berbayar, tetapi Anda tidak yakin pendekatan mana yang ingin Anda ambil. Meskipun pengujian A/B adalah metode yang lebih sederhana dan lebih cepat yang ideal untuk mengubah satu perubahan, pengujian multivarian menawarkan pendekatan yang lebih komprehensif. Bergantung pada berapa banyak waktu dan sumber daya yang Anda miliki, yang satu mungkin bekerja lebih baik daripada yang lain.
Pada akhirnya, pilihan model pengujian Anda bergantung pada waktu, lalu lintas, dan kerumitan yang ingin Anda uji.
Kapan Menggunakan Pengujian Multivarian
Pengujian multivariasi adalah alat yang luar biasa untuk pengoptimalan situs web, tetapi itu tidak selalu merupakan pilihan terbaik. Jika Anda dihadapkan dengan kondisi atau kebutuhan berikut, mungkin cocok untuk Anda:
Anda memiliki jumlah lalu lintas yang besar—kemungkinan ribuan pengunjung. Jumlah ini bertambah berdasarkan jumlah variasi. Ukuran sampel yang diperlukan harus lebih kecil dari tingkat lalu lintas Anda saat ini.
Anda perlu mengoptimalkan titik konversi utama di situs web Anda, termasuk halaman arahan atau proses checkout.
Anda ingin memahami bagaimana berbagai elemen pada halaman berinteraksi dan memengaruhi perilaku pengguna.
Anda perlu menyempurnakan desain yang sudah ada untuk pengoptimalan kinerja.
Dengan begitu banyak kasus penggunaan yang baik untuk pengujian multivarian, kapan itu tidak masuk akal?
Anda memiliki lalu lintas rendah.
Anda berada di tahap awal desain Anda.
Anda ingin menguji variabel tunggal.
Dalam situasi ini, pengujian A/B mungkin merupakan pilihan yang lebih baik. Sebelum Anda berkomitmen pada proses pengujian, pertimbangkan keadaan dan tujuan khusus Anda.
Jenis Pengujian Multivariat
Saat Anda berkomitmen untuk pengujian multivarian, Anda juga perlu menentukan metode mana yang paling sesuai dengan pendekatan Anda. Jumlah faktor yang perlu Anda uji dapat memengaruhi berapa lama proses pengujian Anda dan berapa biayanya.
Pengujian multivariat biasanya dapat mengambil salah satu dari dua bentuk: pengujian faktorial penuh atau pengujian parsial. Bergantung pada sumber daya Anda dan hasil yang diinginkan, yang satu mungkin lebih cocok daripada yang lain.
Pengujian faktorial penuh
Pengujian faktorial lengkap mencakup pengujian semua kemungkinan kombinasi konten dengan probabilitas yang sama. Dalam pengujian faktorial lengkap, Anda akan menguji setiap kombinasi. Katakanlah Anda memiliki halaman arahan dengan dua gambar dan empat CTA. Itu berarti Anda akan menguji delapan versi berbeda:
Versi 1: Gambar 1, CTA 1
Versi 2: Gambar 1, CTA 2
Versi 3: Gambar 1, CTA 3
Versi 4: Gambar 1, CTA 4
Versi 5: Gambar 2, CTA 1
Versi 6: Gambar 2, CTA 2
Versi 7: Gambar 2, CTA 3
Versi 8: Gambar 2, CTA 4
Pengujian faktorial penuh memang menawarkan data yang komprehensif, tetapi ada beberapa kelemahannya. Pertama, ini intensif sumber daya. Seperti yang Anda lihat, Anda membutuhkan jumlah percobaan yang tinggi untuk setiap variabel yang Anda ubah, dan jumlah itu hanya meningkat jika Anda menambahkan faktor. Menganalisis hasil tersebut juga cukup rumit. Karena persyaratan ukuran sampel yang besar, mencapai signifikansi statistik juga bisa sulit. Itu berdampak pada skalabilitas.
Dalam banyak kasus, Anda mungkin memilih untuk melakukan uji faktorial parsial atau fraksional, yang dapat mengurangi sumber daya yang Anda perlukan tetapi tetap memberikan wawasan yang berharga.
Pengujian sebagian
Pengujian parsial (atau fraksional) adalah proses yang lebih sederhana yang menguji subset yang lebih kecil dari opsi yang tersedia. Katakanlah Anda memutuskan untuk menguji kombinasi variabel yang lebih kompleks lagi untuk laman landas Anda dan menggandakan jumlah variabel menjadi 16. Dalam pengujian faktorial lengkap, Anda membagi lalu lintas secara merata di antara semua variasi.
Dalam uji faktorial fraksional, Anda akan membagi lalu lintas tersebut di antara delapan variasi. Rasio konversi dari variasi yang tersisa berasal dari pengurangan statistik berdasarkan yang telah Anda uji.
Mengapa Anda menerapkan pengujian ini? Anda biasanya membutuhkan lebih sedikit lalu lintas dengan pengujian ini, tetapi Anda tidak mendapatkan data terperinci. Namun, apa yang diberikannya kepada Anda adalah pengertian umum apakah variasi lebih baik atau lebih buruk daripada yang lain.
Mengapa Anda memilih pengujian parsial, terutama jika tidak menawarkan data komprehensif seperti yang dilakukan oleh pengujian faktorial lengkap?
Tes multivariat parsial memungkinkan Anda untuk fokus pada kombinasi variabel yang paling menjanjikan atau relevan. Ini penting ketika Anda memiliki sumber daya yang terbatas, seperti waktu, lalu lintas, atau daya komputasi. Ini juga mengurangi kompleksitas pengujian, terutama saat variabel meningkat. Anda bahkan dapat mengurangi jumlah perbandingan yang Anda buat, yang mengarah pada risiko positif palsu yang lebih kecil (hasil yang sebenarnya tidak memberikan manfaat).
Pada akhirnya, pengujian parsial dapat bekerja untuk Anda jika Anda ingin membuat pengujian Anda seefisien mungkin. Ketahuilah bahwa ada trade-off: karena Anda tidak menguji setiap kemungkinan kombinasi, Anda mungkin berisiko kehilangan interaksi faktor yang berpotensi signifikan.
Cara Melakukan Tes Multivariat
Pengujian multivarian Anda akan berbeda bergantung pada jumlah variabel yang Anda sertakan dan jenis pengujian yang Anda lakukan, namun langkah dasarnya adalah sebagai berikut:
Identifikasi tujuan Anda: Tentukan apa yang ingin Anda capai dengan tes tersebut. Contoh sasaran termasuk meningkatkan konversi, mengurangi rasio pentalan, meningkatkan keterlibatan pengguna, dll.
Pilih variabel Anda: Bila Anda mengetahui tujuan Anda, Anda dapat mengidentifikasi elemen situs untuk diuji. Ini termasuk tajuk utama, gambar, warna, tombol, CTA, dan lainnya.
Desain variasi: Untuk setiap variabel, buat versi yang berbeda. Jika Anda menguji berita utama, buat versi yang berbeda untuk melihat mana yang berkinerja terbaik.
Siapkan pengujian Anda: Temukan alat multivariasi yang tepat untuk menyiapkan pengujian Anda. Alat ini akan menyajikan variasi yang berbeda secara acak kepada pengguna Anda dan melacak hasilnya.
Jalankan pengujian: Biarkan pengujian Anda berjalan selama waktu yang cukup untuk mengumpulkan data. Durasi pengujian Anda bergantung pada lalu lintas situs web dan jumlah variasi yang perlu Anda uji.
Analisis hasilnya: Setelah tes Anda selesai, analisis hasilnya. Bandingkan performa setiap variasi terkait dengan sasaran Anda.
Terapkan perubahan: Berdasarkan analisis Anda, terapkan variasi yang paling berhasil di situs atau aplikasi Anda.
Ulangi pengujian seperlunya: Pengujian multivariasi bukanlah operasi "satu dan selesai". Setelah Anda menyelesaikan satu pengujian, identifikasi variabel baru dan mulai prosesnya lagi.
Ingat: pengujian multivariasi bukan hanya tentang mengidentifikasi variasi dengan performa terbaik. Penting juga untuk memahami bagaimana berbagai elemen berinteraksi dan memengaruhi perilaku pengguna.
Cara Menemukan Variabel untuk Diuji
Mengetahui elemen mana yang akan diuji dalam tes multivariat adalah sebuah keterampilan. Ini juga penting untuk memastikan tes berhasil. Variabel dalam pengujian multivariasi dapat mencakup hal-hal seperti judul, gambar, video, tombol CTA, deskripsi produk, tata letak, warna, dan lainnya. Kunci keberhasilan pengujian multivariasi mencakup pemilihan variabel yang secara signifikan memengaruhi perilaku pengguna dan sasaran akhir Anda.
Untuk membantu mengungkap variabel mana yang harus Anda sertakan dalam pengujian, pertimbangkan untuk mengambil langkah-langkah berikut:
Pahami tujuan Anda
Sebelum Anda memutuskan variabel, tanyakan apa tujuan Anda. Apakah Anda ingin meningkatkan konversi? Apakah rencana untuk meningkatkan keterlibatan pengguna atau mengurangi rasio pentalan? Sasaran ini memandu variabel yang akan Anda fokuskan.
Analisis data yang ada
Gunakan alat analitik Anda saat ini untuk menganalisis data yang ada dan mengidentifikasi tren atau tanda kuning atau merah. Jika halaman tertentu memiliki rasio pantulan yang tinggi, Anda mungkin ingin menguji variabel pada halaman tersebut untuk mengurangi metrik tersebut.
Melakukan pengujian pengguna dan mencari umpan balik
Pengujian pengguna adalah alat yang ampuh untuk memahami bagaimana orang nyata menggunakan situs web atau produk Anda. Melakukan survei dan meminta umpan balik dapat membantu Anda mengidentifikasi potensi masalah bagi pelanggan Anda.
Lihat kompetisinya
Lihatlah apa yang dilakukan pesaing Anda. Elemen apa di situs mereka yang membantu mereka sukses? Ini mungkin variabel yang dapat Anda uji di laman landas atau situs web Anda sendiri.
Gunakan peta panas untuk keuntungan Anda
Peta panas dapat membantu Anda melihat di mana pengguna mengklik, menggulir, dan menghabiskan waktu di situs Anda. Apakah pengguna berlama-lama di bagian tertentu? Bagaimana mereka membaca atau terlibat dengan konten Anda? Peta panas dapat menunjukkan area minat dan mengungkap elemen yang dapat Anda uji di masa mendatang.
Keuntungan dan Kerugian Pengujian Multivariat
Seperti semua proses pengujian, pengujian multivarian bukannya tanpa kelebihan dan kekurangannya yang unik. Meskipun ini jelas merupakan alat yang ampuh untuk mengoptimalkan kinerja situs web, ini mungkin bukan yang paling cocok untuk semua orang. Pertimbangkan pro dan kontra berikut sebelum Anda terjun ke pengujian.
Keuntungan
MVT adalah cara yang efisien untuk menguji interaksi antar elemen halaman.
Ini membutuhkan lebih sedikit pengujian berturut-turut karena Anda menguji beberapa variabel sekaligus.
Ini memungkinkan Anda untuk membuat pengalaman yang sangat dioptimalkan untuk pengguna Anda.
Manfaat utama lain dari pengujian multivariasi adalah memungkinkan Anda membuat pengalaman pengguna yang sangat dioptimalkan untuk memaksimalkan konversi. Sebagian besar elemen atau variabel yang Anda uji seperti kecepatan halaman, visual, dan bahkan jenis CTA dapat memengaruhi pengalaman pengguna. Saat Anda mengoptimalkan elemen ini untuk konversi, Anda sering mendapat manfaat tambahan untuk meningkatkan cara orang berinteraksi dengan situs Anda.
Kekurangan
MVT adalah proses kompleks yang melibatkan beberapa kombinasi variabel.
Ini bisa memakan waktu, terutama dibandingkan dengan pengujian A/B sederhana.
Ini membutuhkan volume lalu lintas situs yang besar, membuat signifikansi statistik lebih sulit dicapai untuk situs yang lebih kecil
Ada risiko perubahan kecil yang tidak mengubah perilaku pengguna.
Alat Pengujian Multivariasi Terbaik
Tidak ada kekurangan pengujian A/B yang kuat dan alat pengujian multivariasi di pasar. Harga dapat bervariasi berdasarkan platform dan kebutuhan. Beberapa platform pengujian paling populer meliputi:
Secara optimal: Beberapa nama besar dalam pemasaran digital, penjualan, dan e-niaga mengandalkan platform Eksperimen Optimizely untuk menjalankan eksperimen guna mendapatkan wawasan tentang perilaku pelanggan mereka. Dengan opsi Akselerasi dan Skala, Anda dapat melakukan MVT pada beberapa halaman sekaligus. Seperti banyak penyedia lainnya, Anda harus meminta penawaran harga.
AB Tasty: AB Tasty tidak menawarkan harga di muka, melainkan mengandalkan penawaran khusus berdasarkan informasi yang Anda berikan. Namun, ia menawarkan banyak alat canggih untuk pengujian (termasuk kode dan kemampuan pengeditan WYSIWYG). Mereka mencantumkan beberapa merek terkemuka di daftar klien mereka, yang dapat memberi Anda bukti sosial yang Anda perlukan untuk memeriksanya.
VWO: VWO menawarkan rangkaian alat pengujian yang kuat, terutama dalam versi gratisnya. Jumlah yang akan Anda bayar untuk paket per bulan bervariasi berdasarkan kebutuhan dan lalu lintas yang perlu Anda lacak setiap bulan. Namun bagi pemasar dengan pengunjung kurang dari 50.000 per bulan, paket pertumbuhan mereka berharga $822 per bulan dan menawarkan alat pengujian multivariasi yang komprehensif.
Konversi: Konversi adalah alat MVT lain yang mengatakan bahwa Anda dapat "menyiapkan setiap jenis eksperimen yang memungkinkan". Menawarkan pengujian A/B, split, dan multivarian. Harga Konversi bervariasi berdasarkan jumlah pengguna yang perlu Anda uji per bulan, meskipun paket Pakar mereka adalah $13.432 per tahun untuk 12 juta pengguna. Anda mungkin membutuhkan lebih dari 15 hari untuk menjalankan tes, tetapi mereka menawarkan masa percobaan.
Pentingnya Pengujian Multivariat dalam Kampanye Lintas Saluran
Pengujian multivariasi bisa menjadi proses yang rumit, tetapi jangan remehkan betapa pentingnya pengujian ini untuk strategi lintas saluran Anda. Memahami hubungan antar elemen di halaman web atau di dalam kampanye email sangat membantu dalam meningkatkan pengalaman pelanggan Anda saat mereka bergerak melalui perjalanan. Mampu menganalisis dan berbicara dengan data di balik apa yang terbaik untuk upaya pemasaran digital Anda sangat penting.
Anda memerlukan alat canggih untuk membantu menempatkan data tersebut di satu tempat yang nyaman, di mana platform periklanan digital kami berperan. Kami dapat membantu Anda menganalisis informasi dari kampanye pemasaran Anda dan menentukan upaya berbayar mana yang lebih berhasil. Saat Anda menggunakan dasbor kinerja pemasaran digital yang tepat, Anda akan mengurangi waktu yang dihabiskan untuk melihat data dan membebaskan energi untuk menguji kampanye Anda.
FAQ
Apa perbedaan antara pengujian multivarian dan pengujian A/B?
Pengujian A/B biasanya hanya menguji satu variabel dalam satu waktu dan menunjukkan kepada Anda mana yang lebih efektif untuk mencapai tujuan Anda. Pengujian multivariat menguji banyak kombinasi variabel untuk melihat bagaimana mereka berinteraksi.
Apa manfaat dari pengujian multivariat?
Pengujian multivariasi memungkinkan Anda melihat bagaimana beberapa variasi berinteraksi satu sama lain di laman landas, situs web, atau aset pemasaran lainnya. Ini membantu mengidentifikasi kombinasi elemen terbaik yang bekerja sama untuk mencapai sasaran Anda, seperti peningkatan rasio konversi.
Apa kelemahan dari pengujian multivarian?
Pengujian multivariasi adalah proses intensif waktu karena banyaknya variabel yang perlu Anda sertakan. Itu juga bisa mahal. Karena pengujian multivariasi melibatkan begitu banyak variabel, biasanya diperlukan volume lalu lintas yang lebih tinggi untuk menghasilkan hasil yang signifikan secara statistik.
Apa contoh uji multivariat?
Anda adalah pengecer e-niaga yang ingin menguji bagaimana berbagai elemen di laman landas Anda berinteraksi satu sama lain dan mendorong konversi. Dalam pengujian multivariasi, Anda membuat kombinasi elemen-elemen ini (judul, warna, salinan tombol CTA, konten halaman, dan gambar) dan menetapkannya secara acak ke audiens yang berbeda. Di akhir pengujian, Anda menganalisis kombinasi yang menunjukkan hasil terbaik untuk sasaran spesifik Anda, dalam hal ini rasio konversi.
Kapan saya harus menggunakan pengujian multivariasi?
Gunakan pengujian multivariasi saat Anda memiliki tingkat lalu lintas yang tinggi, perlu mengoptimalkan titik konversi utama, dan ingin memahami interaksi antara berbagai elemen di laman Anda.