Eksiksiz A/B Testi Kılavuzu: Google, HubSpot ve Daha Fazlasından Uzman İpuçları

Bu muhtemelen A/B testini ilk okuyuşun değil. E-posta konu satırlarınızı veya sosyal medya gönderilerinizi A/B testi bile yapabilirsiniz.

Pazarlama alanında A/B testi hakkında çok şey söylenmesine rağmen, birçok insan hala yanlış anlıyor. Sonuç? Uygunsuz bir testten elde edilen yanlış sonuçlara dayanarak önemli iş kararları veren kişiler.

A/B testi, özellikle mağaza sahipleri için yazılan içerikte, genellikle aşırı basitleştirilmiştir. Aşağıda, e-ticaret için farklı A/B testi türlerine başlamak için bilmeniz gereken her şeyi, olabildiğince açık bir şekilde açıklanmış olarak bulacaksınız.

A/B testi nedir?

A/B testi, bazen bölünmüş test olarak da adlandırılır, hangisinin daha iyi performans gösterdiğini belirlemek için aynı web sayfasının, e-postanın veya diğer dijital varlığın iki sürümünü karşılaştırma işlemidir.

Bu süreç, önemli ticari soruları yanıtlamanıza olanak tanır, halihazırda sahip olduğunuz trafikten daha fazla gelir elde etmenize yardımcı olur ve verilere dayalı bir pazarlama stratejisinin temelini oluşturur.

Daha Fazla Bilgi Edinin: İşletmeniz İçin SWOT Analizi Nasıl Yapılır?

A/B testi nasıl çalışır?

Pazarlama bağlamında A/B testini kullanırken, ziyaretçilerin %50'sine varlığınızın A versiyonunu (buna "kontrol" diyelim) ve ziyaretçilerin %50'sinin B versiyonunu (buna "varyant" diyelim) gösterirsiniz.

En yüksek dönüşüm oranıyla sonuçlanan sürüm kazanır. Örneğin, varyantın (sürüm B) en yüksek dönüşüm oranını sağladığını varsayalım. Daha sonra kazanan ilan eder ve ziyaretçilerin %100'ünü varyanta yönlendirirsiniz.

Ardından, varyant yeni kontrol olur ve yeni bir varyant tasarlamanız gerekir.

Bir A/B testi dönüşüm oranının mükemmel olmayan bir başarı ölçüsü olduğunu belirtmekte fayda var. Niye ya? Mağazanızdaki her şeyi ücretsiz hale getirerek dönüşüm oranınızı anında artırabilirsiniz. Tabii ki, bu korkunç bir iş kararı.

Bu nedenle, çalan bir kasanın sesine kadar bir dönüşümün değerini izlemelisiniz.

Ücretsiz Okuma Listesi: Yeni Başlayanlar için Dönüşüm Optimizasyonu

Dönüşüm optimizasyonunda hızlandırılmış bir kurs alarak daha fazla web sitesi ziyaretçisini müşteriye dönüştürün. Aşağıdaki ücretsiz, küratörlüğünde yüksek etkili makaleler listemize erişin.

Ücretsiz okuma listesini alın

Doğrudan gelen kutunuza teslim edilen Dönüşüm Optimizasyonu okuma listemizi alın.

Neredeyse orada: Anında erişim sağlamak için lütfen aşağıya e-postanızı girin.

E Güncellemeleri al

Ayrıca size Shopify bülteninden yeni eğitim kılavuzları ve başarı öyküleri hakkında güncellemeler göndereceğiz. SPAM'den nefret ediyoruz ve e-posta adresinizi güvende tutacağımıza söz veriyoruz.

Abone olduğun için teşekkürler. Yakında ücretsiz ipuçları ve kaynaklar almaya başlayacaksınız. Bu arada, 14 günlük ücretsiz Shopify deneme sürümüyle mağazanızı oluşturmaya başlayın.

Başlamak

A/B/n testi nedir?

A/B/n testi ile birden fazla varyantı kontrole karşı test edebilirsiniz. Bu nedenle, ziyaretçilerin %50'sine kontrolü ve ziyaretçilerin %50'sine varyantı göstermek yerine, ziyaretçilerin %25'ine kontrolü, %25'ini birinci varyantı, %25'ini ikinci varyantı ve %25'i üçüncü varyantı gösterebilirsiniz.

Not: Bu, aynı zamanda birden çok değişken içeren çok değişkenli testten farklıdır. Çok değişkenli testler çalıştırırken, yalnızca birden çok değişkeni test etmekle kalmaz, A/B testi UX veya SEO bölme testi gibi birden çok öğeyi de test edersiniz. Amaç, hangi kombinasyonun en iyi performansı gösterdiğini bulmaktır.

Çok değişkenli testleri çalıştırmak için çok fazla trafiğe ihtiyacınız olacak, bu yüzden şimdilik bunları görmezden gelebilirsiniz.

A/B testleri ne kadar sürmelidir?

A/B testinizi en az bir, ideal olarak iki tam iş döngüsü için çalıştırın. Sırf anlamlılığa ulaştınız diye testinizi bırakmayın. Ayrıca önceden belirlenmiş örneklem büyüklüğünüzü karşılamanız gerekecektir. Son olarak, tüm testleri tam haftalık artışlarla çalıştırmayı unutmayın.

Neden iki tam iş döngüsü? Yeni başlayanlar için:

1. “Bunu düşünmem gerek” alıcılarını hesaba katabilirsiniz.
2. Tüm farklı trafik kaynaklarını (Facebook, e-posta bülteni, organik arama vb.)
3. Anormallikleri hesaba katabilirsiniz. Örneğin, Cuma e-posta bülteniniz.

Herhangi bir A/B veya açılış sayfası test aracı kullandıysanız, muhtemelen küçük yeşil “İstatistiksel Olarak Önemli” simgesine aşinasınızdır.

Birçokları için, ne yazık ki bu, "sınav pişirilir, onu deyin"in evrensel işaretidir. Aşağıda daha fazlasını öğreneceğiniz gibi, A/B testi istatistiksel anlamlılığına ulaşılmış olması, testi durdurmanız gerektiği anlamına gelmez.

Ve önceden belirlenmiş numune boyutunuz? Göründüğü kadar korkutucu değil. Evan Miller'dan bunun gibi bir örnek boyutu hesaplayıcı açın.

Bu hesaplama, mevcut dönüşüm oranınız %5 ise ve %15'lik bir etki tespit edebilmek istiyorsanız, varyasyon başına 13,533'lük bir örneğe ihtiyacınız olduğunu söylüyor. Bu nedenle, standart bir A/B testi ise toplamda 25.000'den fazla ziyaretçiye ihtiyaç vardır.

Daha küçük bir etki tespit etmek isterseniz ne olduğunu izleyin:

Değişen tek şey, minimum algılanabilir etkidir (MDE). %15'ten %8'e düşürüldü. Bu durumda, varyasyon başına 47.127'lik bir örneğe ihtiyacınız vardır. Bu nedenle, standart bir A/B testi ise toplamda yaklaşık 100.000 ziyaretçiye ihtiyaç vardır.

A/B testi UX veya SEO bölme testi yapıyor olsanız da, test başlamadan önce örnek boyutunuz önceden hesaplanmalıdır. Önem düzeyine ulaşsa bile testiniz, önceden belirlenmiş örneklem büyüklüğüne ulaşılana kadar duramaz. Varsa, test geçerli değildir.

Bu nedenle, "100 dönüşümden sonra dur" gibi en iyi uygulamaları amaçsızca takip edemezsiniz.

Testleri tam haftalık artışlarla çalıştırmak da önemlidir. Trafiğiniz haftanın gününe ve günün saatine göre değişebilir, bu nedenle haftanın her gününü dahil ettiğinizden emin olmak istersiniz.

Neden A/B testi yapmalısınız?

Diyelim ki sitenize 10 kişi göndermek için Facebook reklamlarına 100$ harcadınız. Ortalama sipariş değeriniz 25$'dır. Bu ziyaretçilerin sekizi hiçbir şey satın almadan ayrılıyor ve diğer ikisi her biri 25 dolar harcıyor. Sonuç? 50 dolar kaybettin.

Şimdi diyelim ki 10 kişiyi sitenize göndermek için Facebook reklamlarına 100$ harcadınız. Ortalama sipariş değeriniz hala 25$. Ancak bu sefer, bu ziyaretçilerin yalnızca beşi hiçbir şey satın almadan ayrılıyor ve diğer beşi her biri 25 dolar harcıyor. Sonuç? 25 dolar kazandın.

Bu, elbette, daha basit A/B testi örneklerinden biridir. Ancak sitedeki dönüşüm oranını artırarak aynı trafiği daha değerli hale getirdiniz.

A/B testi görüntüleri ve kopyası, testiniz kazansa da kaybetse de içgörüleri ortaya çıkarmanıza yardımcı olur. Bu değer çok aktarılabilir. Örneğin, bir ürün açıklaması A/B testinden elde edilen bir metin yazarlığı bilgisi, değer teklifinizi, bir ürün videosunu veya diğer ürün açıklamalarını bilgilendirmeye yardımcı olabilir.

Ayrıca mağazanızın etkinliğini sürekli iyileştirmeye odaklanmanın doğasında var olan değeri de göz ardı edemezsiniz.

A/B testi olmalı mısınız?

Şart değil. Düşük trafikli bir site veya web veya mobil uygulama çalıştırıyorsanız, A/B testi muhtemelen sizin için en iyi optimizasyon çabası değildir. Örneğin, kullanıcı testi yapmaktan veya müşterilerinizle konuşmaktan büyük olasılıkla daha yüksek bir yatırım getirisi (ROI) göreceksiniz.

Popüler inanışın aksine, dönüşüm oranı optimizasyonu test ile başlamaz ve bitmez.

Yukarıdaki örneklem büyüklüğü hesaplayıcısındaki sayıları göz önünde bulundurun. Temel dönüşüm oranınız %5 ise, %8'lik bir etki tespit etmek için varyasyon başına 47.127 ziyaretçi. Bir ürün sayfasını test etmek istediğinizi varsayalım. İki ila dört hafta içinde yaklaşık 100.000 ziyaretçi alıyor mu?

Neden iki ila dört hafta? Unutmayın, en az iki tam iş döngüsü için testler yapmak istiyoruz. Genellikle, bu iki ila dört haftaya kadar çalışır. Şimdi belki "Sorun değil Shanelle, gerekli örneklem büyüklüğüne ulaşmak için testi iki ila dört haftadan daha uzun süre çalıştıracağım" diye düşünüyorsunuz. Bu da işe yaramayacak.

Görüyorsunuz, bir test ne kadar uzun süre çalışırsa, dış geçerlilik tehditlerine ve numune kirliliğine o kadar duyarlı olur. Örneğin, ziyaretçiler çerezlerini silebilir ve A/B testine yeni bir ziyaretçi olarak yeniden girebilir. Veya birisi cep telefonundan masaüstüne geçebilir ve alternatif bir varyasyon görebilir.

Esasen, testinizin çok uzun süre çalışmasına izin vermek, yeterince uzun sürmesine izin vermemek kadar kötüdür.

Test, gerekli numune büyüklüğünü iki ila dört hafta içinde karşılayabilen mağazalar için yatırıma değer. Trafikleri artana kadar diğer optimizasyon biçimlerini dikkate alamayan mağazalar.

Shopify'daki veri bilimcisi Julia Starostenko, aynı fikirde ve şunları açıklıyor:

Julia Starostenko, Shopify

“Deneme eğlencelidir! Ancak sonuçların doğru olduğundan emin olmak önemlidir.

“Kendinize sorun: Hedef kitleniz yeterince büyük mü? Yeterince veri topladınız mı? Gerçek istatistiksel anlamlılığı elde etmek için (makul bir zaman çerçevesi içinde) izleyici boyutunun yeterince büyük olması gerekir.”

A/B testi ne yapmalısınız?

A/B testi yapmanız gerektiğini size söyleyemem. Biliyorum biliyorum. Size şu anda test etmeniz gereken 99 şeyin bir listesini verebilseydim, kesinlikle hayatınızı kolaylaştırırdı. Tıklamalar karşılığında bunu yapmaya istekli pazarlamacıların sıkıntısı yoktur.

Gerçek şu ki, çalıştırmaya değer testler yalnızca kendi verilerinize dayanan testler. Verilerinize, müşterilerinize vb. erişimim yok ve bu devasa A/B testi fikirleri listelerini düzenleyen kimse de yok. Hiçbirimiz size neyi test edeceğinizi anlamlı bir şekilde söyleyemeyiz.

Çalıştırmaya değer testler, kendi verilerinize dayanan testlerdir.

Bunun yerine, nitel ve nicel analiz yoluyla bu soruyu kendiniz yanıtlamanızı tavsiye ederim. Bazı popüler A/B testi örnekleri şunlardır:

• Teknik Analiz. Mağazanız her tarayıcıda düzgün ve hızlı bir şekilde yükleniyor mu? Her cihazda mı? Parlak yeni bir iPhone 11'e sahip olabilirsiniz, ancak birileri hala 2005'ten bir Motorola Razr'ı sallıyor. Siteniz düzgün ve hızlı çalışmıyorsa, kesinlikle gerektiği kadar iyi dönüşmez.

• Yerinde anketler. Bunlar, mağazanızın ziyaretçileri etrafa göz atarken açılır. Örneğin, yerinde bir anket, bir süredir aynı sayfada olan ziyaretçilere, bugün satın almalarını engelleyen bir şey olup olmadığını sorabilir. Eğer öyleyse, nedir? Bu nitel verileri kopyalama ve dönüştürme oranınızı artırmak için kullanabilirsiniz.

• Müşteri görüşmeleri. Telefonla konuşmanın ve müşterilerinizle konuşmanın yerini hiçbir şey tutamaz. Rakip mağazalar yerine neden sizin mağazanızı seçtiler? Sitenize geldiklerinde hangi sorunu çözmeye çalışıyorlardı? Müşterilerinizin kim olduğunu ve gerçekten sizden neden satın aldıklarını anlamak için sorabileceğiniz milyonlarca soru var.

• Müşteri anketleri. Müşteri anketleri, halihazırda bir satın alma işlemi gerçekleştirmiş olan kişilere (ziyaretçilerin aksine) giden tam uzunlukta anketlerdir. Bir anket tasarlarken şunlara odaklanmak istersiniz: müşterilerinizi tanımlama, sorunlarını tanımlama, satın almadan önce yaşadıkları tereddütleri tanımlama ve mağazanızı tanımlamak için kullandıkları kelime ve ifadeleri belirleme.

• Analitik analiz. Analitik araçlarınız verilerinizi doğru şekilde izliyor ve raporluyor mu? Bu aptalca gelebilir, ancak kaç tane analitik aracının yanlış yapılandırıldığına şaşıracaksınız. Analitik analiz, ziyaretçilerinizin nasıl davrandığını bulmakla ilgilidir. Örneğin, huniye odaklanabilirsiniz. En büyük dönüşüm hunisi sızıntılarınız nerede? Başka bir deyişle, çoğu insan dönüşüm huninizden nerede çıkıyor? Teste başlamak için iyi bir yer.

• Kullanıcı testi. Burası, ücretli, kontrollü bir deneyde gerçek kişilerin sitenizde görevleri gerçekleştirmeye çalıştığını izlediğiniz yerdir. Örneğin, onlardan 40$-60$ aralığında bir video oyunu bulmalarını ve sepetlerine eklemelerini isteyebilirsiniz. Bu görevleri yerine getirirken düşüncelerini ve eylemlerini yüksek sesle anlatırlar.

• Oturum tekrarları. Oturum tekrarları, kullanıcı testine benzer, ancak şimdi gerçek paraya ve gerçek satın alma niyetine sahip gerçek insanlarla uğraşıyorsunuz. Gerçek ziyaretçileriniz sitenizde gezinirken izleyeceksiniz. Neyi bulmakta zorlanırlar? Nerede hüsrana uğrarlar? Nerede kafaları karışmış görünüyor?

Ek araştırma türleri de vardır, ancak sizin için en iyi A/B testi metodolojisini seçerek başlayın. Bazılarını gözden geçirirseniz, test etmeye değer, veriye dayalı fikirlerden oluşan devasa bir çamaşırhane listesine sahip olacaksınız. Listenizin size "Şu anda test edilecek 99 şey" makalesinden daha fazla değer katacağını garanti ederim.

A/B testi fikirlerine öncelik verme

A/B testi fikirlerinin büyük bir listesi heyecan vericidir, ancak neyin test edileceğine karar vermek için tam olarak yardımcı değildir. Nereden başlarsın? Burada önceliklendirme devreye giriyor.

Kullanabileceğiniz birkaç yaygın önceliklendirme çerçevesi vardır:

• BUZ. ICE, etki, güven ve kolaylık anlamına gelir. Bu faktörlerin her biri 1-10 arasında bir sıralama alır. Örneğin, bir geliştirici veya tasarımcının yardımı olmadan testi kendi başınıza kolayca çalıştırabilirseniz, sekizlik bir kolaylık verebilirsiniz. Burada yargınızı kullanıyorsunuz ve birden fazla kişi test yapıyorsa, sıralamalar çok öznel hale gelebilir. Herkesi objektif tutmak için bir dizi yönergeye sahip olmak yardımcı olur.

• TURTA. PIE, potansiyel, önem ve kolaylık anlamına gelir. Yine, her faktör 1-10 arasında bir sıralama alır. Örneğin, test trafiğinizin %90'ına ulaşacaksa sekize önem verebilirsiniz. PIE, ICE kadar özneldir, dolayısıyla kılavuzlar bu çerçeve için de yardımcı olabilir.

• PXL. PXL, CXL'in önceliklendirme çerçevesidir. Biraz daha farklı ve daha özelleştirilebilir, daha objektif kararlar almaya zorluyor. Üç faktör yerine, evet/hayır soruları ve bir uygulama kolaylığı sorusu bulacaksınız. Örneğin, çerçeve şunu sorabilir: "Test motivasyonu artırmak için mi tasarlandı?" Evet ise 1 alır. Hayır ise 0 alır. Bu çerçeve hakkında daha fazla bilgi edinebilir ve elektronik tabloyu buradan indirebilirsiniz.

Artık nereden başlayacağınız konusunda bir fikriniz var, ancak fikirlerinizi kategorilere ayırmanıza da yardımcı olabilir. Örneğin, yakın zamanda yaptığım bazı dönüşüm araştırmaları sırasında üç kategori kullandım: uygula, araştır ve test et.

• Uygulamak. Sadece yap. Kırık veya bariz.
• Araştırmak. Sorunu tanımlamak veya bir çözümü daraltmak için fazladan düşünmeyi gerektirir.
• Ölçek. Fikir sağlam ve veri bilgili. Dene!

Bu sınıflandırma ve önceliklendirme arasında hazırsınız.

A/B testi istatistiklerinde hızlandırılmış kurs

Bir testi çalıştırmadan önce istatistiklere göz atmak önemlidir. Biliyorum, istatistikler genellikle hayranların favorisi değil, ama bunu, mezun olmak için gönülsüzce aldığın zorunlu ders olarak düşün.

İstatistikler, A/B testinin büyük bir parçasıdır. Neyse ki, A/B test araçları ve bölünmüş test yazılımı, bir optimize edicinin işini kolaylaştırdı, ancak sahne arkasında neler olup bittiğine dair temel bir anlayış, daha sonra test sonuçlarınızı analiz etmek için çok önemlidir.

HubSpot Büyüme Pazarlama Müdürü Alex Birkett şöyle açıklıyor:

Alex Birkett, HubSpot

“İstatistikler sihirli bir dönüşüm sayısı veya ikili bir 'Başarı!' değildir. ya da 'Başarısızlık' olayı. Belirsizlik altında karar vermek ve verilen bir kararın sonucunun ne olacağı konusundaki bulanıklığı azaltmaya çalışarak riski azaltmak için kullanılan bir süreçtir.

"Bunu akılda tutarak, temel bilgileri bilmenin en gerekli olduğunu düşünüyorum: ortalama nedir, varyans, örnekleme, standart sapma, ortalamaya gerileme ve 'temsili' bir örneği neyin oluşturduğu. Ayrıca, mümkün olduğunca fazla insan hatasını azaltmak için bazı özel korkuluklar kurmak için A/B testine başladığınızda yardımcı olur.”

ne demek?

Ortalama, ortalamadır. Amacınız, bütünü temsil eden bir ortalama bulmaktır.

Örneğin, video oyunlarının ortalama fiyatını bulmaya çalıştığınızı varsayalım. Dünyadaki her video oyununun fiyatını toplayıp dünyadaki tüm video oyunlarının sayısına bölmeyeceksiniz. Bunun yerine, dünyadaki tüm video oyunlarını temsil eden küçük bir örneği izole edeceksiniz.

Birkaç yüz video oyununun ortalama fiyatını bulabilirsin. Temsili bir örnek seçtiyseniz, bu iki yüz video oyununun ortalama fiyatı dünyadaki tüm video oyunlarını temsil etmelidir.

örnekleme nedir?

Örnek boyutu ne kadar büyük olursa, değişkenlik o kadar az olur, bu da ortalamanın doğru olma olasılığının daha yüksek olduğu anlamına gelir.

Bu nedenle, örnekleminizi iki yüz video oyunundan iki bin video oyununa yükseltirseniz, daha az varyansa ve daha kesin bir ortalamaya sahip olursunuz.

varyans nedir?

Varyans, ortalama değişkenliktir. Esasen, değişkenlik ne kadar yüksek olursa, tek bir veri noktasını tahmin etmede ortalama o kadar az doğru olacaktır.

Peki, her bir video oyununun gerçek fiyatına ortalama ne kadar yakın?

İstatistiksel anlamlılık nedir?

A ve B arasında hiçbir fark olmadığını varsayarsak, etkiyi ne sıklıkla tesadüfen göreceksiniz?

İstatistiksel anlamlılık düzeyi ne kadar düşükse, kazanan varyasyonunuzun hiç kazanmama olasılığı o kadar yüksek olur.

Basitçe söylemek gerekirse, düşük bir önem düzeyi, "kazananınızın" gerçek bir kazanan olmama ihtimalinin yüksek olduğu anlamına gelir (bu, yanlış pozitif olarak bilinir).

Çoğu A/B test aracının ve açık kaynaklı A/B test yazılımının, önceden belirlenmiş bir numune boyutuna veya zamana ulaşılmasını beklemeden istatistiksel olarak anlamlı olduğunu unutmayın. Bu nedenle, testinizin istatistiksel olarak anlamlı ve istatistiksel olarak önemsiz arasında gidip geldiğini fark edebilirsiniz.

CXL Enstitüsü'nün kurucusu Peep Laja, daha fazla insanın A/B testinin istatistiksel önemini ve bunun neden önemli olduğunu gerçekten anlamasını istiyor:

Peep Laja, CXL Enstitüsü

"İstatistiksel önem geçerliliğe eşit değildir - bu bir durdurma kuralı değildir. %95 veya daha yüksek bir istatistiksel anlamlılığa ulaştığınızda, bu, diğer iki önemli koşulun karşılanmasından çok az önce anlamına gelir:

“1. Örnek boyutu hesaplayıcılarını kullanarak anlayabileceğiniz yeterli örnek boyutu var. Yani, herhangi bir sonuca varabilmemiz için yeterli sayıda insan deneyin bir parçası oldu.

“2. Test, numunenin temsili olması için yeterince uzun sürdü (ve numune kirliliğini önlemek için çok uzun sürmedi). Çoğu durumda, gerekli numuneyi ne kadar hızlı alabileceğinize bağlı olarak testlerinizi iki, üç veya dört hafta yapmak isteyeceksiniz.”

ortalamaya gerileme nedir?

A/B testinizin başında aşırı dalgalanmalar fark edebilirsiniz.

Ortalamaya gerileme, bir şeyin ilk ölçümünde aşırı olması durumunda ikinci ölçümünde ortalamaya daha yakın olacağını söyleyen olgudur.

Test istemenizin tek nedeni, istatistiksel anlamlılığa ulaşmış olmasıysa, yanlış bir pozitif görüyor olabilirsiniz. Kazanan varyasyonunuz muhtemelen zaman içinde ortalamaya gerileyecektir.

İstatistiksel güç nedir?

A ve B arasında bir fark olduğunu varsayarsak, etkiyi ne sıklıkla göreceksiniz?

Güç seviyesi ne kadar düşükse, kazananın tanınmama olasılığı o kadar artar. Güç seviyesi ne kadar yüksek olursa, bir kazananın tanınmama şansı o kadar düşük olur. Gerçekten, bilmeniz gereken tek şey, çoğu A/B test aracı ve/veya herhangi bir bölünmüş test hizmeti için %80 istatistiksel gücün standart olduğudur.

Online Dialogue'un kurucusu Ton Wesseling, daha fazla insanın istatistiksel güç hakkında bilgi sahibi olmasını diler:

Ton Wesseling, Çevrimiçi Diyalog

“Pek çok insan yanlış pozitifler hakkında endişeleniyor. Yanlış negatifler hakkında daha çok endişeleniyoruz. Olumlu değişikliğinizin bir etkisi olduğuna dair kanıt bulma şansının gerçekten düşük olduğu deneyleri neden çalıştırasınız?”

Dış geçerlilik tehditleri nelerdir?

Testlerinizin geçerliliğini tehdit eden dış etkenler vardır. Örneğin:

• Kara Cuma Siber Pazartesi (BFCM) satışları
• Olumlu veya olumsuz bir basın sözü
• Büyük bir ücretli kampanya lansmanı
• haftanın günü
• değişen mevsimler

Dış geçerlilik tehditlerinin sonuçlarınızı etkilediği daha yaygın A/B testi örneklerinden biri mevsimsel etkinliklerdir. Aralık ayında bir test yapacağınızı varsayalım. Büyük alışveriş tatilleri, o ay boyunca mağazanızın trafiğinde bir artış anlamına gelir. Ocak ayında, Aralık kazananınızın artık iyi performans göstermediğini görebilirsiniz.

Niye ya?

Dış geçerlilik tehdidi nedeniyle: tatiller.

Test kararınızı temel aldığınız veriler bir anormallikti. Ocak ayında işler sakinleştiğinde, kazananınızın kaybettiğini görünce şaşırabilirsiniz.

Dış geçerlilik tehditlerini ortadan kaldıramazsınız, ancak farklı trafik türleri (ör. t yalnızca ücretli trafiği test edin ve ardından sonuçları her trafik kaynağına dağıtın) ve olası tehditlere karşı dikkatli olun.

BFCM gibi yoğun bir alışveriş sezonunda veya büyük bir dış geçerlilik tehdidi nedeniyle bir test yapıyorsanız, A/B Testi için Eksiksiz Kılavuzumuzu okumak isteyebilirsiniz.

A/B testi nasıl kurulur

Küçük bir A/B testi eğitiminden geçelim. Herhangi bir şeyi test etmeden önce sağlam bir hipoteze sahip olmanız gerekir. (Harika, matematik dersini yeni bitirdik ve şimdi bilime geçiyoruz.)

Endişelenme, karmaşık değil. Temel olarak, bir fikri değil, bir hipotezi test etmeniz gerekir. Bir hipotez ölçülebilirdir, belirli bir dönüştürme problemini çözmeyi amaçlar ve kazanımlar yerine içgörülere odaklanır.

Bir fikri değil, bir hipotezi A/B testi yapmanız gerekir.

Ne zaman bir hipotez yazsam, Craig Sullivan'ın Hipotez Kitinden ödünç alınan bir formül kullanırım:

• Çünkü [veri ekle/araştırmadan geri bildirim] görüyorsunuz.
• [Test etmekte olduğunuz değişikliğin] [beklediğiniz etkiye] neden olmasını bekliyorsunuz ve
• Bunu [veri metriği] kullanarak ölçeceksiniz

Kolay değil mi? Tek yapmanız gereken boşlukları doldurmak ve test fikriniz bir hipoteze dönüştü.

Bir A/B test aracı seçme

Artık bir A/B test aracı veya bölünmüş test hizmeti seçmeye başlayabilirsiniz. Çoğu zaman aklınıza ilk önce Google Optimize, Optimizely ve VWO gelir.

Hepsi iyi, güvenli seçenekler.

• Google Optimize. Ücretsiz, bazı çok değişkenli sınırlamalar için tasarruf edin; bu, yeni başlıyorsanız sizi gerçekten etkilememelidir. Bir artı olan Google Analytics A/B testi yaparken iyi çalışır.

• En iyi şekilde. Teknik beceriler olmadan bile küçük testleri başlatmak ve çalıştırmak kolaydır. Stats Engine, test sonuçlarını analiz etmeyi kolaylaştırır. Tipik olarak, Optimizely, üç seçenek arasında en pahalı seçenektir.

• VWO. VWO, analizi kolaylaştırmak için SmartStats'a sahiptir. Ayrıca, yeni başlayanlar için harika bir WYSIWYG editörüne sahiptir. Her VWO planı, ısı haritaları, yerinde anketler, form analitiği vb. ile birlikte gelir.

Shopify App Store'da yararlı bulabileceğiniz bazı A/B test araçlarımız da bulunmaktadır.

Bir A/B test aracı veya bölünmüş test yazılımı seçtikten sonra kayıt formunu doldurun ve verilen talimatları izleyin. İşlem aletten alete değişir. Ancak genellikle sitenize bir snippet yüklemeniz ve hedefler belirlemeniz istenir.

A/B testi sonuçları nasıl analiz edilir

Bir hipotez yazmanın odağı kazanımlardan içgörülere kaydırdığını söylediğimi hatırlıyor musunuz? Google Analytics Avukatı ve Ürün Müdürü Krista Seiden bunun ne anlama geldiğini açıklıyor:

Krista Seiden, Google

"A/B testinin en çok gözden kaçan yönü, kaybedenlerinizden öğrenmektir. Aslında, yürüttüğüm optimizasyon programlarında, en büyük kaybedenlerden bazılarını çağırdığım bir 'başarısızlık raporu' yayınlamayı alışkanlık haline getirdim. çeyrek ve onlardan öğrendiklerimiz.

"Tüm zamanların favorilerimden biri, yapımı aylar süren bir kampanyaydı. Açılış sayfası testine, yayınlanmaya ayarlanmadan hemen önce girebildik ve yaptığımız iyi oldu çünkü sefil bir şekilde başarısız oldu. Sayfayı gerçekten olduğu gibi başlatmış olsaydık, sonuçta önemli bir darbe almış olurduk. Sadece işletmeyi bir ton paradan tasarruf etmekle kalmadık, aynı zamanda yeni sayfanın neden bu kadar kötü performans gösterdiği ve bu da bizi daha iyi pazarlamacılar ve daha başarılı kıldığı hakkında (daha sonra test ettiğimiz) bazı varsayımlarda bulunduk ve bazı varsayımlarda bulunduk. Gelecekteki kampanyalarda.”

Hipotezinizi doğru bir şekilde oluşturursanız, kaybeden bile kazanır, çünkü gelecekteki testler için ve işinizin diğer alanlarında kullanabileceğiniz içgörüler kazanırsınız. Bu nedenle, test sonuçlarınızı analiz ederken, testin kazanıp kazanmadığına değil, içgörülere odaklanmanız gerekir. Her zaman öğrenecek bir şey vardır, her zaman analiz edilecek bir şey. Kaybedenleri kovmayın!

Hipotezinizi doğru bir şekilde oluşturursanız, kaybeden bile kazanır.

Burada dikkat edilmesi gereken en önemli şey segmentasyon ihtiyacıdır. Bir test genel olarak bir kaybeden olabilir, ancak en az bir segmentte iyi performans gösterme olasılığı vardır. Segment derken neyi kastediyorum?

• Yeni ziyaretçiler
• Geri dönen ziyaretçiler
• iOS ziyaretçileri
• Android ziyaretçileri
• Chrome ziyaretçileri
• Safari ziyaretçileri
• Masaüstü ziyaretçileri
• Tablet ziyaretçileri
• Organik arama ziyaretçileri
• Ücretli ziyaretçiler
• Sosyal medya ziyaretçileri
• Oturum açmış alıcılar

Fikri anladın, değil mi?

Test aracınızdaki sonuçlara baktığınızda, şeker kutusunun tamamına bakıyorsunuz. En son kırmızıları yiyebilmek için Smartie'leri renklerine göre ayırmanız gerekiyor. Demek istediğim, daha derin, bölümlere ayrılmış içgörüleri ortaya çıkarabilmeniz için.

Olasılıklar, hipotezin belirli segmentler arasında doğrulanmış olmasıdır. Bu da size bir şey söylüyor.

Analiz, testin kazanan veya kaybeden olmasından çok daha fazlasıdır. Yüzeyin altındaki gizli bilgileri bulmak için verilerinizi bölümlere ayırın.

A/B test araçları analizi sizin yerinize yapmaz, bu nedenle bu, zaman içinde geliştirilmesi gereken önemli bir beceridir.

Ücretsiz E-Kitap: Yeni Başlayanlar için E-Ticaret Analizi

Çevrimiçi işinizi kurmak ve büyütmek için hangi metriklerin anahtar olduğunu öğrenin. Bu ücretsiz kılavuz, e-ticaret analitiği hakkında bilgi edinmenin mükemmel ilk adımıdır.

Ücretsiz e-kitabı şimdi alın

Yeni Başlayanlar için E-Ticaret Analizlerini doğrudan gelen kutunuza teslim edin.

Neredeyse orada: Anında erişim sağlamak için lütfen aşağıya e-postanızı girin.

E Güncellemeleri al

Ayrıca size Shopify bülteninden yeni eğitim kılavuzları ve başarı öyküleri hakkında güncellemeler göndereceğiz. SPAM'den nefret ediyoruz ve e-posta adresinizi güvende tutacağımıza söz veriyoruz.

Abone olduğun için teşekkürler. Yakında ücretsiz ipuçları ve kaynaklar almaya başlayacaksınız. Bu arada, 14 günlük ücretsiz Shopify deneme sürümüyle mağazanızı oluşturmaya başlayın.

Başlamak

Geçmiş A/B testleri nasıl arşivlenir

Diyelim ki yarın ilk testinizi yaptınız. Yarından iki yıl sonra, o testin ayrıntılarını hatırlayacak mısın? Muhtemel değil.

Bu nedenle A/B testi sonuçlarınızı arşivlemeniz önemlidir. İyi bakımlı bir arşiv olmadan, kazandığınız tüm bu bilgiler kaybolacaktır. Ayrıca şaka yapmıyorum, arşivlemiyorsanız aynı şeyi iki kez test etmek çok kolay.

Yine de bunu yapmanın “doğru” bir yolu yoktur. Projeler veya Etkili Deneyler gibi bir araç kullanabilir veya Excel'i kullanabilirsiniz. Bu gerçekten size kalmış, özellikle de yeni başlıyorsanız. Sadece şunları takip ettiğinizden emin olun:

• Hipotez
• Kontrol ve varyasyonun ekran görüntüleri
• Kazanıp kaybetmediğini
• Analiz yoluyla elde edilen içgörüler

Büyüdükçe, bu arşivi tuttuğunuz için kendinize teşekkür edeceksiniz. Sadece size değil, aynı zamanda yeni işe alınanlara ve danışmanlara/paydaşlara da yardımcı olacaktır.

Profesyonellerin A/B test süreçleri

Artık standart bir A/B testi eğitiminden geçtiğinize göre, Google ve HubSpot gibi şirketlerin profesyonellerinin tam süreçlerine bir göz atalım.

Ücretsiz Okuma Listesi: Yeni Başlayanlar için Dönüşüm Optimizasyonu

Dönüşüm optimizasyonunda hızlandırılmış bir kurs alarak daha fazla web sitesi ziyaretçisini müşteriye dönüştürün. Aşağıdaki ücretsiz, küratörlüğünde yüksek etkili makaleler listemize erişin.

Ücretsiz okuma listesini alın

Doğrudan gelen kutunuza teslim edilen Dönüşüm Optimizasyonu okuma listemizi alın.

Neredeyse orada: Anında erişim sağlamak için lütfen aşağıya e-postanızı girin.

E Güncellemeleri al

Ayrıca size Shopify bülteninden yeni eğitim kılavuzları ve başarı öyküleri hakkında güncellemeler göndereceğiz. SPAM'den nefret ediyoruz ve e-posta adresinizi güvende tutacağımıza söz veriyoruz.

Abone olduğun için teşekkürler. Yakında ücretsiz ipuçları ve kaynaklar almaya başlayacaksınız. Bu arada, 14 günlük ücretsiz Shopify deneme sürümüyle mağazanızı oluşturmaya başlayın.

Başlamak

Krista Seiden, Google

Web ve uygulama A/B testi için adım adım sürecim analizle başlar - bence bu, herhangi bir iyi test programının özüdür. Analiz aşamasında amaç, optimizasyon fırsatlarınızın nerede olduğunu anlamak için analitik verilerinizi, anket veya UX verilerinizi veya sahip olabileceğiniz diğer müşteri içgörü kaynaklarını incelemektir.

Analiz aşamasından itibaren iyi bir fikir boru hattına sahip olduğunuzda, neyin yanlış gidebileceğini ve bu optimizasyon alanlarını potansiyel olarak nasıl düzeltebileceğinizi veya iyileştirebileceğinizi varsaymaya geçebilirsiniz.

Ardından, testlerinizi oluşturma ve çalıştırma zamanı. Bunları makul bir süre boyunca çalıştırdığınızdan emin olun (haftadan haftaya değişiklikleri veya anormallikleri hesaba kattığımdan emin olmak için varsayılan olarak iki haftayı kullanıyorum) ve yeterli veriye sahip olduğunuzda kazananınızı belirlemek için sonuçlarınızı analiz edin.

Bu aşamada kaybedenleri de analiz etmek için biraz zaman ayırmak da önemlidir - bu varyasyonlardan ne öğrenebilirsiniz?

Son olarak, bu aşamaya ancak sağlam bir optimizasyon programı için zemin hazırlamak için zaman harcadıktan sonra ulaşabilirsiniz, kişiselleştirmeye bakma zamanı. Bu mutlaka süslü bir araç seti gerektirmez, bunun yerine kullanıcılarınız hakkında sahip olduğunuz verilerden gelebilir.

Pazarlama kişiselleştirmesi, doğru içeriği doğru yerlere hedeflemek kadar kolay veya bireysel kullanıcı eylemlerine dayalı hedefleme kadar karmaşık olabilir. Yine de kişiselleştirme kısmına hemen atlamayın. İlk önce temel bilgileri almak için yeterli zaman ayırdığınızdan emin olun.

Alex Birkett, HubSpot

Yüksek düzeyde, bu süreci takip etmeye çalışıyorum:

• Veri toplayın ve analitik uygulamalarının doğru olduğundan emin olun.
• Verileri analiz edin ve içgörüler bulun.
• İçgörüleri hipotezlere dönüştürün.
• Etki ve kolaylığa göre öncelik verin ve kaynakların (özellikle teknik kaynaklar) tahsisini en üst düzeye çıkarın.
• Bir test yapın (bilgim ve yeteneğim dahilinde en iyi istatistik uygulamalarını takip ederek).
• Sonuçları analiz edin ve sonuçlara göre uygulayın veya uygulamayın.
• Bulgulara göre yineleyin ve tekrarlayın.

Daha basit bir ifadeyle: araştırın, test edin, analiz edin, tekrarlayın.

Bu süreç, bağlama göre sapabilir veya değişebilir (İş açısından kritik bir ürün özelliğini test ediyor muyum? Bir blog yazısı CTA'sı? Risk profili ve yenilik ile risk azaltma arasındaki denge nedir?), her boyut için oldukça uygulanabilir. veya şirket türü.

Mesele şu ki, bu süreç çeviktir, ancak aynı zamanda daha iyi test fikirleri bulabilmek ve çevrimiçi mağazanıza trafik çekebilmeniz için bunlara daha iyi öncelik verebilmek için hem niteliksel müşteri geri bildirimi hem de niceliksel analitik olmak üzere yeterli veri toplar.

Ton Wesseling, Çevrimiçi Diyalog

Bir müşteri yolculuğunu optimize etmek istediğimizde her zaman yanıtladığımız ilk soru şudur: Bu ürün veya hizmet, Online Dialogue'da oluşturduğumuz ROAR modeline nerede uyuyor? Hala çok sayıda araştırma yapabileceğimiz, ancak A/B testi çevrimiçi deneyleriyle (ayda 1.000 dönüşümün altında) bulgularımızı doğrulayamadığımız risk aşamasında mısınız, yoksa optimizasyon aşamasında mısınız? Hatta yukarıda?

• Risk aşaması: Bir iş modeli pivotundan tamamen yeni bir tasarım ve değer teklifine kadar her şeye dönüştürülecek çok sayıda araştırma.
• Optimizasyon aşaması: değer önerisini ve iş modelini optimize edecek büyük deneyler.
• Optimizasyon aşaması: daha büyük tasarım değişiklikleri için bilgi oluşturacak kullanıcı davranışı hipotezlerini doğrulamak için küçük deneyler.
• Bir otomasyon: hala deneme gücünüz (ziyaretçiler) kaldı, yani kullanıcı yolculuğunuzu doğrulamak için tam test potansiyelinize gerek yok. Geriye kalan, yararlanmak, şimdi daha hızlı büyümek için kullanılmalıdır (uzun vadeli öğrenmelere odaklanmadan). Bu, haydutlar çalıştırılarak/algoritmalar kullanılarak otomatikleştirilebilir.
• Yeniden düşünün: Yeni bir şeye dönüşmedikçe, çok fazla araştırma eklemeyi bırakın.

Bu nedenle, web veya uygulama A/B testi, ROAR'ın optimizasyon aşamasında ve ötesinde (tekrar düşünene kadar) yalnızca büyük bir şeydir.

Deneyleri çalıştırma yaklaşımımız FACT & ACT modelidir:

Yaptığımız araştırma 5V Modelimize dayanmaktadır:

Tüm bu bilgileri, masaüstü veya mobil A/B testi yoluyla toplanan verilere dayalı olarak önceliklendirilecek alt hipotezlere yol açacak araştırma destekli bir ana hipotez oluşturmak için topluyoruz. Hipotezin doğru olma şansı ne kadar yüksek olursa, o kadar yüksek sıralanır.

Hipotezimizin doğru mu yanlış mı olduğunu öğrendiğimizde, öğrendiklerimizi birleştirmeye başlayabilir ve müşteri yolculuğunun daha büyük kısımlarını yeniden tasarlayarak/yeniden düzenleyerek daha büyük adımlar atabiliriz. Ancak, bir noktada, tüm kazanan uygulamalar yerel bir maksimuma yol açacaktır. O zaman potansiyel bir küresel maksimuma ulaşabilmek için daha büyük bir adım atmanız gerekir.

Ve elbette, ana öğrenmeler şirket genelinde yayılacak ve bu da doğrulanmış birinci taraf içgörülerinize dayalı olarak her türlü daha kapsamlı optimizasyon ve yeniliğe yol açacaktır.

Uluslararası bir kitleye pazarlama yapıyor musunuz? Sözde yerelleştirme ile bu süreci nasıl kolaylaştıracağınızı öğrenin.

Julia Starostenko, Shopify

Bir denemenin amacı, mevcut bir web sayfasında değişiklik yapmanın işletme üzerinde olumlu bir etkisi olacağını doğrulamaktır.

Başlamadan önce, bir deneme çalıştırmanın gerçekten gerekli olup olmadığını belirlemek önemlidir. Şu senaryoyu düşünün: Son derece düşük tıklama oranına sahip bir düğme var. Bu düğmenin performansını düşürmek neredeyse imkansız olurdu. Bu nedenle, düğmede önerilen bir değişikliğin etkinliğinin doğrulanması (yani bir denemenin çalıştırılması) gerekli değildir.

Benzer şekilde, düğmede önerilen değişiklik küçükse, muhtemelen bir deneyi kurmak, yürütmek ve yıkmak için zaman harcamaya değmez. Bu durumda, değişiklikler herkese dağıtılmalı ve düğmenin performansı izlenebilir.

Bir deneme çalıştırmanın gerçekten faydalı olacağı belirlenirse, sonraki adım iyileştirilmesi gereken iş metriklerini tanımlamaktır (örneğin, bir düğmenin dönüşüm oranını artırma). Ardından, uygun veri toplamanın yerinde olduğundan emin oluruz.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, CXL Enstitüsü

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

• Sitenizdeki sorunları belirlemek için ResearchXL gibi bir çerçeve kullanarak dönüşüm araştırması yapın.
• Yüksek öncelikli bir sorun seçin (kullanıcıların büyük bir bölümünü etkileyen ve ciddi bir sorundur) ve bu soruna mümkün olduğu kadar çok çözüm için beyin fırtınası yapın. Dönüşüm araştırması içgörülerinizle fikir oluşturma sürecinizi bilgilendirin. Testi hangi cihazda çalıştırmak istediğinizi belirleyin (mobil A/B testini masaüstünden ayrı olarak çalıştırmanız gerekir).
• Kaç varyasyonu test edebileceğinizi belirleyin (trafik/işlem seviyenize göre) ve ardından kontrole karşı test etmek için bir çözüm için en iyi bir ila iki fikrinizi seçin.
• Kesin tedavileri tel çerçeveye alın (kopyayı yazın, tasarım değişikliklerini yapın, vb.) Değişikliklerin kapsamına bağlı olarak, yeni öğeler tasarlamak için bir tasarımcı da dahil etmeniz gerekebilir.
• Ön uç geliştiricinizin, test aracınızdaki tedavileri uygulamasını sağlayın. Gerekli entegrasyonları (Google Analytics) kurun, uygun hedefler belirleyin.
• Her tarayıcı/cihaz kombinasyonuyla çalıştığından emin olmak için testte KG gerçekleştirin (bozuk testler açık ara en büyük A/B testi katilidir).
• Testi başlatın!
• Test yapıldıktan sonra, test sonrası analizi yapın.
• Sonuca bağlı olarak ya kazananı uygulayın, tedavileri tekrarlayın ya da gidip başka bir şeyi test edin.

Ücretsiz Web Semineri:

Pazarlama 101

Satışları artırmak için mücadele mi ediyorsunuz? Bu ücretsiz eğitim kursunda ilk günden ilk satışa nasıl geçeceğinizi öğrenin.

Şimdi üye Ol

İşletmeniz için A/B testini optimize edin

Süreç sende, güç sende! O halde dışarı çıkın, en iyi A/B test yazılımını edinin ve mağazanızı test etmeye başlayın. Siz farkına bile varmadan, bu içgörüler Bankanızda daha fazla para biriktirecek.

Optimizasyon hakkında bilgi edinmeye devam etmek istiyorsanız, Udacity'nin Google'ın A/B testi gibi ücretsiz bir kursa katılmayı düşünün. Optimizasyon becerilerinizi geliştirmek için web ve mobil uygulama A/B testi hakkında daha fazla bilgi edinebilirsiniz.