Persyaratan untuk Menjalankan Program Eksperimen Serius

Menjalankan program eksperimen adalah seni dan ilmu. Saya mengatakannya sepanjang waktu. Program harus memiliki beberapa tingkat ketelitian – yang berarti sistem, proses, dan prosedur. Itu bukan sesuatu yang bisa dianggap enteng. Percaya bahwa siapa pun dapat memulai program besok dengan persiapan dan perencanaan yang minim adalah sebuah kesalahan. Sayangnya, bagaimanapun, itu terjadi sepanjang waktu. Ini menyebabkan banyak uang, waktu, dan tenaga terbuang sia-sia – tidak mengherankan. Ini membawa saya ke topik persiapan.

Jika Anda ingin serius bereksperimen dan meningkatkan seberapa kompetitif Anda di pasar, sebaiknya Anda melakukannya dengan baik. Anda harus menganggap pesaing Anda melakukannya dengan baik. Jadi jika ini beresonansi dengan Anda, lanjutkan membaca dan saya jamin Anda akan mengambil satu atau dua nugget emas untuk segera digunakan.

Prekursor yang tak terhindarkan untuk membangun program eksperimen yang akan membuat atau menghancurkan Anda: Perhitungan pra-tes

Perhitungan pra-tes. Pernah mendengar tentang mereka? Sudahkah Anda melakukannya? Apakah MDE atau efek minimum yang dapat dideteksi terdengar familier? Bagaimana dengan perkiraan durasi atau ukuran sampel? Saya harap Anda tahu apa yang saya bicarakan meskipun saya bertaruh uang yang sebagian besar dari Anda tidak - hanya karena pengalaman pribadi saya dengan klien.

Sebelum Anda melakukan apa pun yang terkait dengan eksperimen, lihat apakah Anda memiliki volume data yang cukup untuk melakukannya. Lihat apakah Anda dapat menguji sama sekali melalui perhitungan pra-tes. Dengan volume data, maksud saya pengunjung dan konversi. Pengunjung dapat berupa apa pun yang biasanya Anda gunakan (misalnya, sesi, pengguna, MAU, dll.). Konversi berasal dari metrik utama yang akan Anda gunakan dalam pengujian. Ketahui ini:

1. Tidak setiap bisnis memiliki volume data yang cukup untuk melakukan eksperimen pada kapasitas apa pun.
2. Jika Anda bisa melakukannya, ketahuilah bahwa Anda tidak hanya memilih kecepatan yang Anda inginkan begitu saja. Itu berdasarkan perhitungan.

Penyebab #1 karena mengabaikan satu atau kedua poin ini: tenaga penjualan. Jika Anda ingin membeli alat apa pun, pastikan ini adalah bagian dari percakapan. Rintangan minimum untuk masuk untuk memiliki program eksperimen: volume data yang cukup untuk menjalankan satu tes dalam waktu delapan minggu atau kurang dalam satu swimlane.

Saya membahas topik ini secara mendetail beberapa bulan lalu untuk Negara Eksperimen. Ketahuilah bahwa jika Anda tidak memahami topik ini dan melakukannya sejak hari pertama, itu akan menghantui Anda dan pasti menyebabkan hasil yang tidak diinginkan pada akhirnya. Satu catatan lain yang sangat penting: ketahui apakah alat pengujian Anda (atau yang akan Anda gunakan) dibuat berdasarkan pengujian cakrawala tetap atau pengujian berurutan. Ini mempengaruhi perhitungan dan bagaimana Anda menjalankan program Anda.

Langkah 1 (Post-prekursor): Pengukuran & kualitas data

Jika Anda telah menyelesaikan rintangan perhitungan pra-tes dan Anda telah memastikan bahwa Anda memiliki volume data yang cukup untuk diuji, rintangan berikutnya untuk bergerak maju adalah pengukuran dan kualitas data. Anda harus tahu apa yang Anda tuju dalam pekerjaan ini; jika tidak, Anda akan menggelepar seperti ikan di tepi sungai. Terlalu banyak tim yang tidak mengetahui apa yang sedang mereka kerjakan – seperti pengiriman formulir, transaksi, pendapatan, LTV, dll.

Pahami apa metrik primer, sekunder, dan tersier Anda untuk eksperimen dan bisnis secara keseluruhan. Pahami dengan kejelasan yang lengkap. Jangan biarkan kebingungan atau ketidakpastian yang berkepanjangan. Pastikan semua orang ada di halaman yang sama.

Kemudian, setelah Anda memiliki sebanyak itu, pastikan Anda mengumpulkan data itu di tempat yang tepat dan Anda dapat mempercayainya.

Jika pengukuran dan/atau kualitas data adalah bencana, hentikan saja. Hentikan semuanya dan curahkan semua upaya Anda untuk melakukannya dengan benar. Pikirkan eksperimen sebagai piramida. Kedua hal ini adalah lapisan dasar piramida. Jika retak pada suatu saat, segala sesuatu yang lain akan runtuh di atasnya. Saya berjanji.

Saya akan mengatakan bahwa saya tahu ini bisa sulit. Melakukannya dengan benar dapat membutuhkan waktu ekstra. Bahkan mungkin lebih dari satu atau dua bulan. Melakukannya dengan benar sangat berharga. Saya telah melihat masalah muncul enam bulan atau lebih setelah meluncurkan program – hanya untuk semuanya akhirnya berhenti melengking. Tidak ada yang bahagia pada saat itu.

Catatan tentang apa yang seharusnya menjadi metrik utama…

Ini terkadang menjadi topik yang memecah belah di antara para praktisi. Saya memiliki pendirian yang sangat tegas tentang masalah ini, khususnya dalam hal tim pemasaran dan situs web (tidak harus tim produk dan produk).

Metrik utama harus selalu berupa metrik corong bawah. Pesanan. Pengiriman formulir. MQL. Pendapatan. LTV. SQL. Anda mengerti. Beberapa orang mengatakan bahwa mereka harus selalu menjadi tindakan yang paling dekat dengan perubahan yang Anda buat atau metrik keterlibatan. Salah. Tidak. Tidak. Salah. BS. Siapa pun yang memberi tahu Anda bahwa ini harus menjadi orang yang membenarkan program tersebut dalam enam bulan atau satu tahun kepada CMO atau CEO perusahaan. Mereka akan berada di kursi panas. JANGAN memiliki program yang penuh dengan pengujian yang berfokus pada klik tombol, klik-tayang, tampilan halaman, rata-rata. durasi sesi, rasio keluar, rasio pentalan, tayangan video, dan sebagainya. Itu tidak akan membenarkan ribuan atau ratusan ribu dolar yang dihabiskan untuk melakukan pekerjaan ini. Semua orang ingin mengetahui ROI mereka dan bagaimana pekerjaan tersebut memengaruhi keuntungan. Klik tombol tidak akan melakukan itu.

Saya tidak mengatakan jangan mengukur metrik keterlibatan atau metrik funnel yang lebih tinggi, tetapi itu harus menjadi metrik sekunder atau tersier. Bukan yang utama. Mereka menambahkan konteks cerita ujian. Itu bukan tes yang bergantung pada saat tiba waktunya untuk membuat keputusan. Catatan, saya juga tidak mengatakan tidak pernah ada pengecualian. Masih mengevaluasi tes berdasarkan kasus per kasus.

Sebuah nasihat: Bagi mereka yang memperdebatkan topik ini di antara Anda sendiri, saya selalu memberi tahu tim untuk mendiskusikan opsi dan memutuskan sendiri. Pastikan Anda sampai pada kesimpulan kolektif bahwa semua orang patuh untuk bergerak maju.

Langkah 2: Riset & ide pengguna

Pada titik ini, Anda harus (1) mengetahui bahwa Anda memiliki volume data yang cukup untuk diuji dan (2) mengetahui apa yang Anda ukur dan bahwa Anda mengumpulkan data yang tepat yang dapat Anda percayai. Terus gimana? Itu datang dengan apa yang harus diuji. Apa ide tes Anda? Bagaimana Anda akan membuatnya?

Coba tebak apa yang dilakukan kebanyakan tim? Mereka keluar dari firasat dan banyak dari "kami berpikir", "kami merasa", dan "kami percaya". Itu terlalu subyektif, dan itu cara yang buruk untuk menjalankan program. Pendekatan itu sama sekali tidak didukung data. Inilah yang oleh para praktisi disebut "pengujian spageti" AKA melemparkan barang ke dinding dan berharap benda itu menempel. Percakapan berbasis data tidak melibatkan banyak bahasa semacam itu, dan data yang diperlukan berasal dari riset pengguna. Saya selalu ditanya apa arti "penelitian".

Nah, ada beberapa metodologi yang mengumpulkan data termasuk namun tidak terbatas pada analitik, jajak pendapat, survei, pengujian pengguna, pengujian pesan, peta panas, rekaman sesi, penyortiran kartu, pengujian pohon, pemetaan perjalanan pelanggan, persona, dan banyak lagi. Ada juga beberapa alat untuk membantu kami menyelesaikan masing-masing. Saya selalu mengatakan untuk memulai dengan satu atau dua dan lanjutkan ke yang lain dari sana. Itu tentu lebih baik daripada tidak sama sekali. Secara teknis, saya tidak terlalu menghitung analitik lagi karena setiap perusahaan memiliki data analitik saat ini. Jika Anda tidak memilikinya, kemungkinan besar Anda memiliki ikan yang lebih besar untuk digoreng. Jika Anda memilikinya, usahakan untuk satu atau dua bahkan lebih dari itu (dan jangan katakan "oh, kami baik-baik saja").

Ada metodologi yang disebut evaluasi heuristik. Saat itulah seseorang secara visual menilai sebuah pengalaman dan mengembangkan wawasan berdasarkan pengalaman dan keahlian mereka. Ada waktu dan tempat untuk itu tetapi sebagian besar tidak didukung oleh "data keras". Ini cukup subyektif dan akan berbeda sampai batas tertentu tergantung siapa yang menyelesaikannya. Ketahuilah bahwa program Anda tidak boleh didasarkan pada jenis wawasan ini.

Saya tidak akan membahas bagaimana melakukan penelitian dengan sangat detail di sini, tetapi Anda dapat melihat salah satu Webinar VWO saya di sini di mana saya berbicara lebih banyak tentang model ResearchXL CXL.

Langkah 3: Prioritas

Setelah Anda memiliki daftar ide pengujian, Anda tidak dapat melakukan semuanya sekaligus. Anda memerlukan cara yang strategis dan logis untuk membuat rencana tindakan. Di sinilah kerangka prioritas berperan. Banyak yang ada. Saya suka khususnya: kerangka kerja PXL dari CXL. Yang umum lainnya termasuk PIE, ICE, atau PILL. PXL adalah yang paling objektif menurut saya. Ini dapat disesuaikan dan lebih kuat (dengan cara yang baik).

Model lain oke dan lebih baik daripada tidak sama sekali. Jika Anda memiliki sesuatu dan itu berhasil untuk Anda, bagus. Cukup miliki satu dan pastikan semua orang menggunakannya! Ini menyelamatkan Anda dari berurusan dengan kekacauan ekstra.

Langkah 4: Pemetaan jalan

Peta jalan secara visual menunjukkan kepada Anda apa yang sedang berjalan pada waktu tertentu. Gabungkan penentuan prioritas dan kalkulasi pra-tes dan boom. Anda punya peta jalan. Ini paling baik dilakukan di bagan Gantt. Tambahkan semua swimlane dan tes Anda dengan perkiraan durasi, perangkat, dan metadata berguna lainnya. Anda akan menghindari tumpang tindih yang tidak diinginkan dan efek interaksi yang tidak diinginkan. Ini membantu semua orang merencanakan jauh lebih efektif dan efisien. Ini akan menyelamatkan Anda dari lebih banyak kekacauan.

Langkah 5 dan seterusnya: Bisnis seperti biasa

Sekarang semua yang telah kita bahas sudah selesai, bisnis seperti biasa. Anda memiliki ujian yang akan Anda jalankan. Anda mengirimkannya melalui alur kerja eksperimen reguler: maket > desain > pengembangan > QA > luncurkan > pantau > simpulkan > analisis > bagikan dan arsipkan > ulangi.

Topik terkait: Manajemen & tata kelola program

Di luar tes individu, ada topik lain untuk dipertimbangkan sehubungan dengan keseluruhan "program". Ini termasuk manajemen dan tata kelola program. Inilah cara saya memikirkan mereka dengan cara yang sangat matang…

Manajemen program: Bagaimana Anda akan mengatur dan melacak semua pekerjaan ini? Cari tahu alat apa yang akan Anda gunakan untuk tugas, manajemen data, dan komunikasi. (Saya mendapat rincian itu dari Ben Labay, CEO Speero.)

Tata kelola: Peran dan tanggung jawab apa yang dimiliki setiap orang? Cara yang bermanfaat untuk menentukan ini adalah dengan (1) memilih model tata kelola dan (2) melengkapi bagan RASCI yang selaras dengan model tata kelola. Model tata kelola umum untuk diselidiki dan dipertimbangkan: Individu, terpusat, terdesentralisasi, pusat keunggulan, dewan pengujian, dan hibrida.

Jika Anda tidak menyelesaikan keduanya dengan yang lainnya, itu akan menjadi kekacauan tambahan dan Anda akan membayarnya di setiap langkah. Paku ini. Butuh waktu ekstra, tapi itu sepadan. Jika Anda meretas hal-hal untuk sementara waktu, konsekuensinya pada akhirnya akan menyusul Anda. Saya berjanji. (Rupanya, saya telah membuat beberapa janji di sini.)

Kesimpulan

Anda harus merasa sedikit (atau banyak) lebih percaya diri dengan apa yang dapat Anda lakukan untuk memulai eksperimen atau apa yang dapat Anda lakukan untuk menaikkan level program yang sudah berjalan. Jangan merasa itu terlalu sulit atau terlalu mudah. Biasanya di suatu tempat di tengah. Rekomendasi terbesar saya berlaku untuk semua yang saya sebutkan: Miliki quarterback. Memiliki seseorang yang memimpin semua pekerjaan ini. Itu tidak harus menjadi peran penuh waktu mereka, tetapi seseorang harus memilikinya. Itu biasanya ketika saya melihat paling sukses.

Sebagai penutup, saya harap Anda memiliki program eksperimen yang penuh ketelitian, hasil, dan sedikit kesenangan. Pada akhirnya, pekerjaan yang menyenangkan dan mengasyikkan dapat membuat perbedaan besar bagi bisnis.

Jika Anda ingin tahu lebih banyak tentang bagaimana eksperimen mendorong inovasi dan pertumbuhan dan layak mendapatkan semua hype, tonton webinar terbaru saya dengan VWO.