2016'yı Bitirirken CRO Testlerini Bitirmekten Bahsedelim

Bir yılı daha kapatmaya yaklaşırken ve “Bu test ne zaman sonuçlanabilir?” Hala haftada en az bir kez konuşmalarımda geçiyor, oturup test sonuç sürecimi ve bu kararı etkileyen tüm değişkenleri yazmanın zamanı geldiğini hissettim.

Bugün, sonuç kararına yaklaşırken aklınızda bulundurmanız gereken iki ipucu ile sizi ısıtacağım ve ardından bu karara yaklaşırken baktığım dört değişkene geçeceğim. Uzun zaman önce gömdüğün istatistik ders kitabının tozunu üfle ve başlayalım.

Önsöz İpucu 1: Verilerinizin Güzel ve Sağlam Olduğundan Emin Olun

Testinizi kurmadan önce, hedeflerinizin ne olduğunu zaten bilmelisiniz. Orada nasıl “hedefler” dediğime dikkat edin. Evet, merkezi bir dönüşüme sahip olmanız gerektiğini hepimiz biliyoruz; kullanıcılarınızı yönlendirdiğiniz tek büyük şey. Ancak, değişikliğimizin bu etkileşimleri de etkileyip etkilemediğini gözlemlemek için izleyebileceğimiz herhangi bir siteyle başka birçok etkileşim vardır. Birkaç örnek için aşağıdaki resme bakın.

Herhangi bir test verisini analiz etmeden önce, verilerinizin hepsinin eşit bir oyun alanında olduğunu iki kez kontrol edin. Bir veri dizisini çarpıtmadan veri noktalarını uygun şekilde karşılaştırabilmeniz için, aynı tarih aralığı için her bir hedef için veri çektiğinizden emin olun. Buradayken, ayrıca tüm hedef verilerinizin "normal" göründüğünden ve yanlış giden herhangi bir hedeften veya hiçbir eylem görmemiş ölü hedeflerden şüphelenmediğinizden emin olun.

Önsöz İpucu #2: Asla Tek Bir Değişken Üzerinde Sonuca Varmayın

Bir sonuç kararı vermek herhangi bir değişkene dayanamaz. Bu dört değişkenin her birini dikkate alın ve değişkenlerin çoğu birbirini tamamlıyorsa, güvenle sonuca varabilirsiniz.

Tüm değişkenler birbiriyle çelişiyorsa, çok sayıda farklı senaryoya bakıyor olabilirsiniz. Ancak bu noktada, sonuca varırsanız, maliyetli sonuçları olan mantıksız bir karar veriyor olabilirsiniz.

Bu değişkenlerin her biri diğer değişkenlerden en az birini etkiler veya etkiler. Böylece tamamlayıcı veriler kendini desteklerken, çelişkili veriler sizi noktaları yalan ağlarıyla birleştirmeye zorlar. yapma!

Değişken #1: Örnek Boyutu

Örnek boyutu önemlidir millet. Örneklem büyüklüğü, popülasyonumuza (toplam kullanıcı) ve kabul edilebilir hata marjımıza (100 hedefli istatistiksel anlamlılık) dayalı olarak bir davranışı güvenle genellememizi sağlar.

Aslında her şey oranlarla ilgili, ancak sürekli olarak aynı siteye çok az trafik dalgalanmasıyla bakıyorsanız, o zaman çalışmak için bir alt satır hedefi belirleyebilirsiniz.

Bir testin her segmentinde yüz kullanıcı, doğru bir minimumdur. Düşük trafikli sitelerde bile, birkaç kullanıcının verilerine dayanarak davranışları genellemek çok zordur. Böylece, daha neşeli. Daha yüksek örnek boyutu, aykırı değerlerden görebildiğimiz tüm çarpıklıkları geçersiz kılmaya da yardımcı olur.

Ancak, günde en az 1.000 kullanıcı getiren oldukça büyük bir e-ticaret sitesinde, 100 ve uygun örneklem büyüklüğündeki kullanıcıları düşünmemin hiçbir yolu yoktur. Her şey oranlarla ve siteniz için düzenli olarak tipik bir kullanıcı hacminin ne olduğuyla ilgilidir.

Bu değişken, dikkate alacağınız hedefler için kullanıcıların yanı sıra dönüşümleri de içerir. Düşük dönüşüm sağlayan bir siteniz olsa bile, 0 dönüşümü 2 dönüşümle karşılaştırırsanız, 2 dönüşümlü varyasyon kesinlikle kazanacaktır, çünkü teknik olarak dönüştürmek için tek varyasyon olduğu için.

Dönüşümlerinizin en azından çift haneli olduğundan emin olun; ve bu sizin minimum (çift haneli) sayınızsa, diğer üç değişkende güçlü bir iltifat eylemine sahip olduğunuzdan emin olun.

Veya, istatistiksel bir ayarda örnek boyutu konusunda fazla deneyiminiz yoksa, sizin için uygun bir örnek boyutu belirlemek için bu kullanışlı örnek boyutu hesaplayıcıyı kullanabilirsiniz.

Değişken #2: Test Süresi

İdeal olarak, 2-6 hafta arasında herhangi bir yerde testler yapıyorum.

İki hafta sağlam bir minimumdur, çünkü herhangi bir değişkenin "iyi" veya "kötü" bir hafta geçirme ve mutlu trafik çekme veya düşük motivasyonlu trafiği uzaklaştırma olasılığını geçersiz kılıyorsunuz. Altı hafta güzel bir maksimum çünkü görebileceğiniz herhangi bir dalgalanmayı yakalamak için yeterince geniş bir zamansal ağ.

Ancak, bir testi sonsuza kadar çalıştırmanın da testiniz için zararlı olabileceğini unutmayın. Test sonuçlarında büyük bir faktör, yeni uyaranlara kullanıcı tepkisidir. Bu nedenle, bir testi ilk başlattığımızda, bir varyasyonun dramatik bir şekilde kaybettiği, diğerinin galibiyet serisini yakaladığı kapıdan büyük sıçramalar görme eğilimindeyiz. Zamanla, varyasyonlar arasındaki bu büyük boşluk normalleşmeye ve kapanmaya eğilimlidir, çünkü “yeni” yıpranmıştır ve geri dönen kullanıcılar, bir zamanlar olduğu gibi yeni değişiklikten etkilenmez. Bu nedenle, test ne kadar uzun sürerse, değişiklik o kadar az yeni olur ve geri dönen kullanıcılar için davranışları o kadar az etkiler.

Değişken #3: İstatistiksel Önem

Sonucunuzda “güven” beyan etmede istatistiksel anlamlılık kritik olmakla birlikte, aynı zamanda çok yanıltıcı olabilir.

İstatistiksel anlamlılık, iki orandaki bir değişikliğin normal varyanstan mı yoksa bir dış faktörden mi kaynaklandığını belirler. Dolayısıyla teorik olarak güçlü bir istatistiksel anlamlılığa ulaştığımızda, değişikliğimizin kullanıcılar üzerinde bir etkisi olduğunu biliyoruz.

İdeal olarak, mümkün olduğunca %100'e yakın bir istatistiksel anlamlılığı hedeflemek istersiniz. %100'e ne kadar yakınsanız, hata payınız o kadar küçük olur. Bu, sonuçlarınızın daha tutarlı bir şekilde yeniden üretilebileceği anlamına gelir. İstatistiksel anlamlılığınız ne kadar yüksek olursa, kazanan varyasyonu uygularsanız bu dönüşüm oranı artışını koruma şansınız da o kadar yüksek olur. %95, hedeflemek için iyi bir yüksek hedeftir. %90 yerleşmek için iyi bir yer. %90'dan düşükse ve gerçekten “güvenle” sonuca varmakla riske giriyorsunuz.

Buradaki tehdit, numune boyutunun gerçekten önemli olmasıdır. Birkaç gün içinde %98'lik bir istatistiksel anlamlılığa ulaşabilir ve kelimenin tam anlamıyla yalnızca toplam 16 kullanıcıya bakabilirsiniz ki bu açıkça güvenilir bir örneklem boyutu değildir.

İstatistiksel önem, bir test ilk başlatıldığında daha önce bahsettiğim performanstaki o büyük artışı da yakalayabilir. Testler her türlü flip-flop özelliğine sahiptir ve ayrıca zamanla verilerin normalleştiğini de biliyoruz. Bu nedenle, istatistiksel anlamlılığı çok erken ölçmek, bu değişikliğin büyük olasılıkla kullanıcılarımızı daha uzun vadede nasıl etkileyeceği konusunda tamamen yanlış bir resim verebilir.

Ayrıca, her test istatistiksel olarak anlamlılık kazanmayacaktır. Yaptığınız bazı değişiklikler, kullanıcı davranışını normal varyanstan daha fazla olarak görülecek kadar güçlü bir şekilde etkilemeyebilir. Ve bu iyi! Bu, kullanıcının dikkatini biraz daha çekmek için daha büyük değişiklikleri test etmeniz gerektiği anlamına gelir.

Değişken #4: Veri Tutarlılığı

Bu, oradaki tüm parmak arası atlama testlerine gidiyor. Normalleşmeyi reddeden ve size net bir kazanan sunmayı reddeden bazı testler var. Her günü size kazanan olarak farklı bir varyasyon sunarak geçirecekler ve sizi kesinlikle çılgına çevirecekler.

Ancak varlar ve tutarlı veri yönlülüğü aramanın bu kadar önemli olmasının nedeni de tam olarak bu. Kazanan ilan ettiğiniz varyasyon her zaman kazanan oldu mu? Değilse, neden her zaman kazanan olmadı? “Neden?” Sorusuna kendinizden emin bir şekilde cevap veremiyorsanız, daha sonra kazanan olarak geçiş yapan varyasyonu uygularsanız, kazananı uygulamak alt satırınıza zarar verebilir.

Ayrıca, kontrolün dönüşüm oranı ile varyasyonun dönüşüm oranı arasındaki farkı da ölçerim (diğer bir deyişle “artış” veya “düşüş”). Testin ilk ani artış aşamasının dışında kalmasını sağlamak için bu ölçümün de tutarlı olmasını istiyorum.

Ayrıca, bu metriğin ne kadar tutarlı olduğunu görmek için istatistiksel anlamlılığı periyodik olarak hesaplamak da faydalıdır.

Son düşünceler

Her türlü testi sonuçlandırmak şakaya gelmez ve baskıyla doludur. Yanlış bir çağrı yaparsanız ve veriler aksini gösterirken “hissettiğiniz” bir şeyi uygularsanız, kârlılığınız ve kullanıcılarınız zarar görür.

Her uygun açıdan bir sonuca yaklaşın, böylece verilerle desteklenen gerçekten emin bir sonuca sahip olduğunuzdan emin olabilirsiniz!