Ghidul complet pentru testarea A/B: Sfaturi de experți de la Google, HubSpot și altele

Publicat: 2020-04-10

Probabil că nu este prima dată când citiți despre testarea A/B. S-ar putea chiar să testați deja A/B subiectul e-mailului sau postările pe rețelele sociale.

În ciuda faptului că s-au spus multe despre testarea A/B în domeniul marketingului, mulți oameni încă greșesc. Rezultatul? Oameni care iau decizii comerciale majore pe baza rezultatelor inexacte dintr-un test necorespunzător.

Testarea A/B este adesea prea simplificată, mai ales în conținutul scris pentru proprietarii de magazine. Mai jos veți găsi tot ce trebuie să știți pentru a începe cu diferite tipuri de testare A/B pentru comerțul electronic, explicate cât mai clar posibil.

Cuprins

  • Ce este testarea A/B?
  • Cum funcționează testarea A/B
  • Ce este testarea A/B/n?
  • Cât timp ar trebui să ruleze testele A/B?
  • De ce ar trebui să faci un test A/B?
  • Ce ar trebui să testezi A/B?
  • Prioritizarea ideilor de teste A/B
  • Un curs intensiv în statisticile de testare AB
  • Cum să configurați un test A/B
  • Cum se analizează rezultatele testului A/B
  • Cum să arhivezi testele A/B anterioare
  • Procesele de testare A/B ale profesioniștilor
  • Optimizați testarea A/B pentru afacerea dvs

Ce este testarea A/B?

Testarea A/B, denumită uneori testare divizată, este procesul de comparare a două versiuni ale aceleiași pagini web, e-mail sau alt material digital pentru a determina care dintre ele are mai bune performanțe.

Acest proces vă permite să răspundeți la întrebări importante de afaceri, vă ajută să generați mai multe venituri din traficul pe care îl aveți deja și pune bazele unei strategii de marketing bazate pe date.

Aflați mai multe: Cum să efectuați o analiză SWOT pentru afacerea dvs

Cum funcționează testarea A/B

Când utilizați testarea A/B în contextul marketingului, arătați 50% dintre vizitatori versiunea A a activului dvs. (să numim aceasta „control”) și 50% dintre vizitatori versiunea B (să numim aceasta „varianta”).

Câștigă versiunea care are ca rezultat cea mai mare rată de conversie. De exemplu, să presupunem că varianta (versiunea B) a produs cea mai mare rată de conversie. Apoi îl declarați câștigător și împingeți 100% dintre vizitatori către variantă.

Apoi, varianta devine noul control și trebuie să proiectați o nouă variantă.

Merită menționat că rata de conversie a testului A/B este o măsură imperfectă a succesului. De ce? Puteți crește instantaneu rata de conversie făcând totul din magazinul dvs. gratuit. Desigur, aceasta este o decizie de afaceri teribilă.

De aceea ar trebui să urmăriți valoarea unei conversii până la sunetul unei case de marcat care sună.

Listă de lectură gratuită: optimizarea conversiilor pentru începători

Transformă mai mulți vizitatori ai site-ului web în clienți, obținând un curs intensiv de optimizare a conversiilor. Accesați mai jos lista noastră gratuită și organizată de articole de mare impact.

Ce este testarea A/B/n?

Cu testarea A/B/n, puteți testa mai mult de o variantă față de control. Deci, în loc să arătați 50% dintre vizitatori controlul și 50% dintre vizitatori varianta, ați putea arăta 25% dintre vizitatori controlul, 25% prima variantă, 25% a doua variantă și 25% a treia variantă.

Notă: Aceasta este diferită de testarea multivariată, care implică și mai multe variante. Când rulați teste multivariate, nu testați doar mai multe variante, testați și mai multe elemente, cum ar fi testarea A/B UX sau testarea divizată SEO. Scopul este de a afla care combinație are cele mai bune rezultate.

Test multivariat
Sursa imagine: Google .

Veți avea nevoie de mult trafic pentru a rula teste multivariate, așa că le puteți ignora pentru moment.

Cât timp ar trebui să ruleze testele A/B?

Rulați testul A/B pentru cel puțin unul, în mod ideal două, cicluri de afaceri complete. Nu vă opriți testul doar pentru că ați atins semnificația. De asemenea, va trebui să respectați dimensiunea eșantionului dvs. predeterminată. În cele din urmă, nu uitați să rulați toate testele în trepte de o săptămână întreagă.

De ce două cicluri de afaceri complete? Pentru început:

  1. Puteți răspunde cumpărătorilor „Trebuie să mă gândesc la asta”.
  2. Puteți lua în considerare toate sursele de trafic diferite (Facebook, buletin informativ prin e-mail, căutare organică etc.)
  3. Puteți ține seama de anomalii. De exemplu, buletinul informativ de vineri.

Dacă ați folosit orice fel de instrument de testare A/B sau a paginii de destinație, probabil că sunteți familiarizat cu pictograma verde „Semnificativ statistic”.

Pentru mulți, din păcate, acesta este semnul universal pentru „testul este gătit, spuneți-l”. După cum veți afla mai multe despre mai jos, doar pentru că a fost atinsă semnificația statistică a testului A/B nu înseamnă că ar trebui să opriți testul.

Și dimensiunea eșantionului dvs. predeterminată? Nu este atât de intimidant pe cât pare. Deschideți un calculator pentru dimensiunea eșantionului, ca acesta de la Evan Miller.

Calculator pentru dimensiunea eșantionului

Acest calcul spune că, dacă rata de conversie actuală este de 5% și doriți să puteți detecta un efect de 15%, aveți nevoie de un eșantion de 13.533 per variație. Deci, în total, sunt necesari peste 25.000 de vizitatori dacă este un test A/B standard.

Urmăriți ce se întâmplă dacă doriți să detectați un efect mai mic:

Calculator pentru dimensiunea eșantionului

Tot ceea ce s-a schimbat este efectul minim detectabil (MDE). A scăzut de la 15% la 8%. În acest caz, aveți nevoie de un eșantion de 47.127 pe variație. Deci, în total, sunt necesari aproape 100.000 de vizitatori dacă este un test A/B standard.

Indiferent dacă testați A/B UX sau testați divizat SEO, dimensiunea eșantionului dvs. ar trebui calculată în avans, înainte de începerea testului. Testul dvs. nu se poate opri, chiar dacă atinge semnificație, până când este atinsă dimensiunea predeterminată a eșantionului. Dacă se întâmplă, testul nu este valid.

Acesta este motivul pentru care nu puteți urma fără scop cele mai bune practici, cum ar fi „opriți după 100 de conversii”.

De asemenea, este important să rulați teste pentru incremente de o săptămână întreagă. Traficul dvs. se poate modifica în funcție de ziua săptămânii și de ora din zi, așa că veți dori să vă asigurați că includeți fiecare zi a săptămânii.

De ce ar trebui să faci un test A/B?

Să presupunem că cheltuiți 100 USD pe reclame Facebook pentru a trimite 10 persoane pe site-ul dvs. Valoarea medie a comenzii este de 25 USD. Opt dintre acești vizitatori pleacă fără să cumpere nimic, iar ceilalți doi cheltuiesc 25 de dolari fiecare. Rezultatul? Ai pierdut 50 de dolari.

Acum să presupunem că cheltuiți 100 USD pe reclame Facebook pentru a trimite 10 persoane pe site-ul dvs. Valoarea medie a comenzii este încă de 25 USD. De data aceasta, însă, doar cinci dintre acești vizitatori pleacă fără să cumpere nimic, iar ceilalți cinci cheltuiesc 25 USD fiecare. Rezultatul? Ai făcut 25 de dolari.

Acesta este unul dintre cele mai simple exemple de testare A/B, desigur. Dar prin creșterea ratei de conversie pe site, ați făcut același trafic mai valoros.

Imaginile și copierea testării A/B vă ajută, de asemenea, să descoperiți informații, indiferent dacă testul este câștigător sau pierdut. Această valoare este foarte transferabilă. De exemplu, o perspectivă de copywriting dintr-un test A/B de descriere a produsului ar putea ajuta la informarea propunerii dvs. de valoare, a unui videoclip de produs sau a altor descrieri de produs.

De asemenea, nu puteți ignora valoarea inerentă a concentrării pe îmbunătățirea continuă a eficienței magazinului dvs.

Ar trebui să faci teste A/B?

Nu neaparat. Dacă rulați un site cu trafic redus sau o aplicație web sau mobilă, testarea A/B nu este probabil cel mai bun efort de optimizare pentru dvs. Probabil că veți observa o rentabilitate mai mare a investiției (ROI) în urma testării utilizatorilor sau a vorbirii cu clienții dvs., de exemplu.

În ciuda credinței populare, optimizarea ratei de conversie nu începe și nu se termină cu testarea.

Luați în considerare numerele din calculatorul pentru dimensiunea eșantionului de mai sus. 47.127 de vizitatori pe variație pentru a detecta un efect de 8% dacă rata de conversie de bază este de 5%. Să presupunem că doriți să testați o pagină de produs. Primește aproape 100.000 de vizitatori în două până la patru săptămâni?

De ce două până la patru săptămâni? Amintiți-vă, dorim să rulăm teste pentru cel puțin două cicluri de afaceri complete. De obicei, asta merge la două până la patru săptămâni. Acum poate te gândești: „Nici o problemă, Shanelle, voi rula testul mai mult de două până la patru săptămâni pentru a ajunge la dimensiunea necesară a eșantionului.” Nici asta nu va funcționa.

Vedeți, cu cât un test rulează mai mult, cu atât este mai susceptibil la amenințările de valabilitate externă și la poluarea mostrelor. De exemplu, vizitatorii își pot șterge cookie-urile și ajung să fie reintrați în testul A/B ca vizitator nou. Sau cineva ar putea trece de la telefonul mobil la desktop și să vadă o variantă alternativă.

În esență, să-ți lași testul să ruleze prea mult timp este la fel de rău ca să nu-l lași să ruleze suficient de mult.

Testarea merită investiția pentru magazinele care pot îndeplini dimensiunea necesară a eșantionului în două până la patru săptămâni. Magazinele care nu pot ar trebui să ia în considerare alte forme de optimizare până când traficul lor crește.

Julia Starostenko, cercetător de date la Shopify, este de acord, explicând:

Cap de expert

Julia Starostenko, Shopify

„Experimentarea este distractivă! Dar este important să vă asigurați că rezultatele sunt corecte.

„Întreabați-vă: este audiența dumneavoastră suficient de mare? Ați colectat suficiente date? Pentru a obține o semnificație statistică adevărată (într-un interval de timp rezonabil), dimensiunea publicului trebuie să fie suficient de mare.”

Ce ar trebui să testezi A/B?

Nu pot să-ți spun ce ar trebui să testezi A/B. Știu, știu. Cu siguranță ți-ar face viața mai ușoară dacă aș putea să-ți ofer o listă cu 99 de lucruri de testat chiar acum. Nu lipsesc agenții de marketing dispuși să facă asta în schimbul clicurilor.

Adevărul este că singurele teste care merită rulate sunt testele bazate pe propriile tale date. Nu am acces la datele dvs., la clienții dvs. etc. și nici nimeni nu are acces la acele liste uriașe de idei de teste A/B. Niciunul dintre noi nu vă poate spune în mod semnificativ ce să testați.

Singurele teste care merită executate sunt testele bazate pe propriile date.

În schimb, vă încurajez să răspundeți singur la această întrebare prin analize calitative și cantitative. Câteva exemple populare de testare A/B sunt:

  • Analiza tehnica. Magazinul dvs. se încarcă corect și rapid în fiecare browser? Pe fiecare dispozitiv? S-ar putea să aveți un nou iPhone 11 strălucitor, dar cineva pe undeva încă zboară un Motorola Razr din 2005. Dacă site-ul dvs. nu funcționează corect și rapid, cu siguranță nu se convertește la fel de bine cum ar putea.
  • Anchete la fața locului. Acestea apar pe măsură ce vizitatorii magazinului dvs. răsfoiesc. De exemplu, un sondaj la fața locului ar putea întreba vizitatorii care au fost pe aceeași pagină de ceva timp dacă există ceva care îi împiedică să facă o achiziție astăzi. Dacă da, ce este? Puteți utiliza aceste date calitative pentru a vă îmbunătăți rata de copiere și conversie.
  • Interviuri cu clienții. Nimic nu poate înlocui discuția la telefon și discuția cu clienții tăi. De ce ți-au ales magazinul față de magazinele concurente? Ce problemă încercau să rezolve când au ajuns pe site-ul tău? Există un milion de întrebări pe care le-ai putea adresa pentru a ajunge la inima cine sunt clienții tăi și de ce cumpără cu adevărat de la tine.
  • Sondajele clienților. Sondajele clienților sunt sondaje complete care se adresează persoanelor care au făcut deja o achiziție (spre deosebire de vizitatori). Când proiectați un sondaj, doriți să vă concentrați pe: definirea clienților dvs., definirea problemelor acestora, definirea ezitărilor pe care le aveau înainte de cumpărare și identificarea cuvintelor și expresiilor pe care le folosesc pentru a vă descrie magazinul.
  • Analiza analitică. Instrumentele dvs. de analiză vă urmăresc și raportează corect datele? Ar putea suna prostesc, dar ați fi surprins de câte instrumente de analiză sunt configurate incorect. Analiza analitică se referă la a afla cum se comportă vizitatorii dvs. De exemplu, vă puteți concentra asupra pâlniei. Unde sunt cele mai mari scurgeri ale tale de conversie? Cu alte cuvinte, unde sunt cei mai mulți oameni care părăsesc pâlnia dvs.? Acesta este un loc bun pentru a începe testarea.
  • Testarea utilizatorului. Aici vă uitați la oameni reali într-un experiment plătit și controlat care încearcă să îndeplinească sarcini pe site-ul dvs. De exemplu, le puteți cere să găsească un joc video în intervalul 40-60 USD și să-l adauge în coșul lor. În timp ce îndeplinesc aceste sarcini, își povestesc gândurile și acțiunile cu voce tare.
  • Reluări de sesiune. Reluările sesiunii sunt similare cu testarea utilizatorului, dar acum aveți de-a face cu oameni reali cu bani reali și cu intenție reală de a cumpăra. Veți urmări cum vizitatorii dvs. reali navighează pe site-ul dvs. Ce au probleme în a găsi? Unde sunt frustrați? Unde par confuzi?

Există și alte tipuri de cercetare, dar începeți prin a alege cea mai bună metodologie de testare A/B pentru dvs. Dacă parcurgeți unele dintre ele, veți avea o listă uriașă de idei bazate pe date care merită testate. Vă garantez că lista dumneavoastră vă va aduce mai multă valoare decât orice articol „99 de lucruri de testat chiar acum”.

Prioritizarea ideilor de teste A/B

O listă uriașă de idei de teste A/B este incitantă, dar nu tocmai utilă pentru a decide ce să testeze. De unde începi? Aici intervine prioritizarea.

Există câteva cadre comune de prioritizare pe care le puteți folosi:

  • GHEAŢĂ. ICE înseamnă impact, încredere și ușurință. Fiecare dintre acești factori primește un clasament de la 1 la 10. De exemplu, dacă ați putea rula cu ușurință testul de unul singur, fără ajutorul unui dezvoltator sau designer, ați putea acorda ușurință un opt. Vă folosiți raționamentul aici și, dacă aveți mai multe persoane care rulează teste, clasamentele pot deveni prea subiective. Ajută să existe un set de linii directoare pentru a menține obiectivul tuturor.
  • PLĂCINTĂ. PIE înseamnă potențial, importanță și ușurință. Din nou, fiecare factor primește un clasament de la 1 la 10. De exemplu, dacă testul va atinge 90% din traficul dvs., ați putea acorda importanță un opt. PIE este la fel de subiectivă ca ICE, așa că liniile directoare pot fi utile și pentru acest cadru.
  • PXL. PXL este cadrul de prioritizare de la CXL. Este puțin diferit și mai personalizabil, forțând decizii mai obiective. În loc de trei factori, veți găsi întrebări da/nu și o întrebare ușoară de implementare. De exemplu, cadrul ar putea întreba: „Este testul conceput pentru a crește motivația?” Dacă da, primește un 1. Dacă nu, primește un 0. Puteți afla mai multe despre acest cadru și descărca foaia de calcul aici.

Acum aveți o idee de unde să începeți, dar vă poate ajuta și să vă clasificați ideile. De exemplu, în timpul unor cercetări de conversie pe care le-am făcut recent, am folosit trei categorii: implementare, investigare și testare.

  • Implementează. Doar fă-o. Este stricat sau evident.
  • Investiga. Necesită gândire suplimentară pentru a defini problema sau pentru a limita o soluție.
  • Test. Ideea este solidă și bazată pe date. Testează-l!

Între această clasificare și prioritizare, ești gata.

Un curs intensiv de statistici de testare A/B

Înainte de a efectua un test, este important să cercetați statistici. Știu, statisticile nu sunt, de obicei, preferatele fanilor, dar gândește-te la acesta ca la cursul obligatoriu pe care îl urmezi cu răbdare pentru a absolvi.

Statisticile reprezintă o parte importantă a testării A/B. Din fericire, instrumentele de testare A/B și software-ul de testare divizată au făcut munca unui optimizator mai ușoară, dar o înțelegere de bază a ceea ce se întâmplă în culise este crucială pentru analizarea rezultatelor testelor mai târziu.

Alex Birkett, manager de marketing pentru creștere la HubSpot, explică:

Cap de expert

Alex Birkett, HubSpot

„Statistica nu este un număr magic de conversii sau un binar „Succes!” sau chestia „Eșec”. Este un proces folosit pentru a lua decizii în condiții de incertitudine și pentru a reduce riscul încercând să reducă neclaritatea asupra rezultatului unei anumite decizii.

„Având în vedere asta, cred că este cel mai necesar să cunoaștem elementele de bază: ce este o medie, varianță, eșantionare, abatere standard, regresie la medie și ce constituie un eșantion „reprezentator”. În plus, atunci când începeți cu testarea A/B, vă ajută să configurați niște balustrade specifice pentru a atenua cât mai multe erori umane posibil.”

Ce inseamna?

Media este media. Scopul tău este să găsești un mijloc care să fie reprezentativ pentru întreg.

De exemplu, să presupunem că încercați să găsiți prețul mediu al jocurilor video. Nu vei adăuga prețul fiecărui joc video din lume și îl vei împărți la numărul tuturor jocurilor video din lume. În schimb, veți izola un mic eșantion care este reprezentativ pentru toate jocurile video din lume.

Ați putea ajunge să găsiți prețul mediu pentru câteva sute de jocuri video. Dacă ați selectat un eșantion reprezentativ, prețul mediu al celor două sute de jocuri video ar trebui să fie reprezentativ pentru toate jocurile video din lume.

Ce este eșantionarea?

Cu cât dimensiunea eșantionului este mai mare, cu atât variabilitatea va fi mai mică, ceea ce înseamnă că este mai probabil ca media să fie exactă.

Deci, dacă ați mări eșantionul de la două sute de jocuri video la două mii de jocuri video, ați avea o variație mai mică și o medie mai precisă.

Ce este varianța?

Varianta este variabilitatea medie. În esență, cu cât variabilitatea este mai mare, cu atât media va fi mai puțin precisă în prezicerea unui punct de date individual.

Deci, cât de aproape este media de prețul real al fiecărui joc video individual?

Ce este semnificația statistică?

Presupunând că nu există nicio diferență între A și B, cât de des veți vedea efectul din întâmplare?

Cu cât este mai mic nivelul de semnificație statistică, cu atât este mai mare șansa ca varianta dvs. câștigătoare să nu fie deloc câștigătoare.

Pur și simplu, un nivel scăzut de semnificație înseamnă că există o șansă mare ca „câștigătorul” tău să nu fie un câștigător real (acest lucru este cunoscut ca un fals pozitiv).

Rețineți că majoritatea instrumentelor de testare A/B și a software-ului open source de testare A/B apelează la semnificație statistică fără a aștepta ca o dimensiune predeterminată a eșantionului sau un moment de timp să fie atins. Acesta este motivul pentru care s-ar putea să observați că testul trece înainte și înapoi între semnificativ statistic și nesemnificativ statistic.

Peep Laja, fondatorul CXL Institute, vrea ca mai mulți oameni să înțeleagă cu adevărat semnificația statistică a testului A/B și de ce este important:

Cap de expert

Peep Laja, Institutul CXL

„Semnificația statistică nu echivalează cu validitatea – nu este o regulă de oprire. Când atingeți o semnificație statistică de 95% sau mai mare, înseamnă foarte puțin înainte ca alte două condiții mai importante să fie îndeplinite:

„1. Există suficientă dimensiune a eșantionului, pe care o descoperi folosind calculatoare de dimensiunea eșantionului. Adică destui oameni au făcut parte din experiment, astfel încât să putem concluziona orice.

„2. Testul s-a desfășurat suficient de lung pentru ca eșantionul să fie reprezentativ (și nu prea lung pentru a evita poluarea probei). În cele mai multe cazuri, veți dori să vă efectuați testele două, trei sau patru săptămâni, în funcție de cât de repede puteți obține proba necesară.”

Ce este regresia la medie?

Este posibil să observați fluctuații extreme la începutul testului A/B.

Regresia la medie este fenomenul care spune că dacă ceva este extrem la prima măsurătoare, probabil că va fi mai aproape de medie la a doua măsurătoare.

Dacă singurul motiv pentru care apelați un test este pentru că a atins semnificația statistică, este posibil să vedeți un fals pozitiv. Variația dvs. câștigătoare va regresa probabil la medie în timp.

Ce este puterea statistică?

Presupunând că există o diferență între A și B, cât de des veți vedea efectul?

Cu cât nivelul de putere este mai scăzut, cu atât este mai mare șansa ca un câștigător să rămână nerecunoscut. Cu cât nivelul de putere este mai mare, cu atât este mai mică șansa ca un câștigător să rămână nerecunoscut. Într-adevăr, tot ce trebuie să știți este că puterea statistică de 80% este standard pentru majoritatea instrumentelor de testare A/B și/sau orice serviciu de testare divizată.

Ton Wesseling, fondatorul Online Dialogue, își dorește ca mai mulți oameni să știe despre puterea statistică:

Cap de expert

Ton Wesseling, Dialog online

„Mulți oameni își fac griji pentru fals pozitive. Ne îngrijorăm mult mai mult cu privire la falsele negative. De ce să desfășurați experimente în care șansele de a găsi dovezi că schimbarea dvs. pozitivă are un impact sunt cu adevărat scăzute?”

Care sunt amenințările de valabilitate externă?

Există factori externi care amenință validitatea testelor dumneavoastră. De exemplu:

  • Vânzări de Black Friday Cyber ​​Monday (BFCM).
  • O mențiune de presă pozitivă sau negativă
  • O lansare majoră de campanie plătită
  • Ziua săptămânii
  • Schimbarea anotimpurilor

Unul dintre cele mai comune exemple de testare A/B în care amenințările externe de valabilitate vă afectează rezultatele este în timpul evenimentelor sezoniere. Să zicem că ar trebui să faci un test în luna decembrie. Sărbătorile majore de cumpărături ar însemna o creștere a traficului pentru magazinul dvs. în cursul acelei luni. S-ar putea să descoperi în ianuarie că câștigătorul tău din decembrie nu mai are performanțe bune.

De ce?

Din cauza unei amenințări de valabilitate externă: vacanțele.

Datele pe care v-ați bazat decizia de testare au fost o anomalie. Când lucrurile se stabilesc în ianuarie, s-ar putea să fii surprins să-ți găsești câștigătorul pierzând.

Nu puteți elimina amenințările de valabilitate externă, dar le puteți atenua executând teste timp de săptămâni întregi (de exemplu, nu începeți un test în ziua de luni și nu îl încheiați vineri), inclusiv diferite tipuri de trafic (de exemplu, nu t testați exclusiv traficul plătit și apoi difuzați rezultatele către fiecare sursă de trafic) și ținând cont de potențialele amenințări.

Dacă se întâmplă să efectuați un test în timpul unui sezon aglomerat de cumpărături, cum ar fi BFCM, sau printr-o amenințare externă majoră de valabilitate, vă recomandăm să citiți Ghidul nostru complet pentru testarea A/B.

Cum să configurați un test A/B

Să parcurgem un mic tutorial de testare A/B. Înainte de a testa ceva , trebuie să aveți o ipoteză solidă. (Bine, tocmai am terminat cursul de matematică și acum am trecut la știință.)

Nu-ți face griji, nu este complicat. Practic, trebuie să testați o ipoteză, nu o idee. O ipoteză este măsurabilă, aspiră să rezolve o anumită problemă de conversie și se concentrează pe perspective în loc de victorii.

Trebuie să testați A/B o ipoteză, nu o idee.

Ori de câte ori scriu o ipoteză, folosesc o formulă împrumutată din Kitul de ipoteze al lui Craig Sullivan:

  • Pentru că vedeți[inserați date/feedback din cercetare]
  • Vă așteptați ca [modificarea pe care o testați] să provoace [impactul pe care îl anticipați] și
  • Veți măsura acest lucru folosind [data metric]

Ușor, nu? Tot ce trebuie să faci este să completezi spațiile libere și ideea ta de test s-a transformat într-o ipoteză.

Alegerea unui instrument de testare A/B

Acum puteți începe să alegeți un instrument de testare A/B sau un serviciu de testare divizată. De cele mai multe ori, vă veți gândi mai întâi la Google Optimize, Optimizely și VWO.

Toate sunt opțiuni bune, sigure.

  • Google Optimize. Gratuit, cu excepția unor limitări multivariate, care nu ar trebui să vă afecteze cu adevărat dacă ați început. Funcționează bine atunci când efectuați testarea Google Analytics A/B, ceea ce este un plus.
  • Optimizează. Ușor de pus în funcțiune teste minore, chiar și fără abilități tehnice. Stats Engine facilitează analiza rezultatelor testelor. De obicei, Optimizely este cea mai scumpă opțiune dintre cele trei.
  • VWO. VWO are SmartStats pentru a ușura analiza. În plus, are un editor WYSIWYG grozav pentru începători. Fiecare plan VWO vine cu hărți termice, sondaje la fața locului, analize de formulare etc.

Avem, de asemenea, câteva instrumente de testare A/B în Shopify App Store pe care le puteți găsi utile.

După ce ați selectat un instrument de testare A/B sau un software de testare separată, completați formularul de înscriere și urmați instrucțiunile furnizate. Procesul variază de la unealtă la alta. De obicei, totuși, vi se va cere să instalați un fragment pe site și să setați obiective.

Cum se analizează rezultatele testului A/B

Îți amintești când am spus că scrierea unei ipoteze schimbă atenția de la victorii la perspective? Krista Seiden, avocat Google și manager de produs la Google, explică ce înseamnă asta:

Cap de expert

Krista Seiden, Google

„Cel mai neglijat aspect al testării A/B este învățarea de la perdanții tăi. De fapt, în programele de optimizare pe care le-am rulat, îmi fac un obicei din a publica un „raport de eșec” în care îi chem pe unii dintre cei mai mari perdanți ai trimestru și ce am învățat de la ei.

„Unul dintre favoriții mei din toate timpurile a fost dintr-o campanie care a durat luni de zile. Am putut să ne furișăm în testarea paginii de destinație chiar înainte de a fi setat să lanseze, și este un lucru bun că am făcut, pentru că a eșuat lamentabil. Dacă am fi lansat pagina așa cum a fost, am fi avut o lovitură semnificativă la final. Nu numai că am economisit afacerii o mulțime de bani, dar am reușit să analizăm și să facem niște presupuneri (pe care le-am testat ulterior) cu privire la motivul pentru care noua pagină a avut rezultate atât de slabe, iar asta ne-a făcut să fim mai buni în marketing și să avem mai mult succes. în campaniile viitoare.”

Dacă îți construiești corect ipoteza, chiar și un învins este un câștigător, pentru că vei obține informații pe care le poți folosi pentru testele viitoare și în alte domenii ale afacerii tale. Așadar, atunci când analizați rezultatele testului, trebuie să vă concentrați pe perspective, nu pe dacă testul a câștigat sau a pierdut. Întotdeauna există ceva de învățat, întotdeauna ceva de analizat. Nu-i da afară pe învinși!

Dacă îți construiești corect ipoteza, chiar și un învins este un câștigător.

Cel mai important lucru de remarcat aici este nevoia de segmentare. Un test ar putea fi un învins în general, dar sunt șanse să se descurce bine cu cel puțin un segment. Ce vreau să spun prin segment?

  • Vizitatori noi
  • Vizitatorii care revin
  • vizitatori iOS
  • vizitatori Android
  • Vizitatorii Chrome
  • Vizitatorii safari
  • Vizitatorii de pe desktop
  • Vizitatorii tabletei
  • Vizitatori de căutare organică
  • Vizitatori plătiți
  • Vizitatorii rețelelor sociale
  • Cumpărători autentificați

Ai înțeles ideea, nu?

Când te uiți la rezultatele în instrumentul tău de testare, te uiți la întreaga cutie de bomboane. Ceea ce trebuie să faceți este să separați Smarties-urile după culoare, astfel încât să le puteți mânca pe cele roșii ultimele. Adică, astfel încât să puteți descoperi perspective mai profunde, segmentate.

Şansele sunt că ipoteza a fost dovedită corectă în anumite segmente. Asta iti spune si ceva.

Analiza este mult mai mult decât dacă testul a fost un câștigător sau un învins. Segmentează-ți datele pentru a găsi informații ascunse sub suprafață.

Instrumentele de testare A/B nu vor face analiza în locul dvs., așa că aceasta este o abilitate importantă de dezvoltat în timp.

Carte electronică gratuită: Analiza comerțului electronic pentru începători

Aflați care sunt valorile cheie pentru stabilirea și dezvoltarea afacerii dvs. online. Acest ghid gratuit este primul pas perfect pentru a afla despre analiza comerțului electronic.

Cum să arhivezi testele A/B anterioare

Să presupunem că ai făcut primul test mâine. Doi ani de mâine, îți vei aminti detaliile acelui test? Probabil nu.

De aceea este importantă arhivarea rezultatelor testării A/B. Fără o arhivă bine întreținută, toate acele informații pe care le obțineți se vor pierde. În plus, nu glumesc, este foarte ușor să testezi același lucru de două ori dacă nu arhivezi.

Totuși, nu există o modalitate „corectă” de a face acest lucru. Puteți folosi un instrument precum Proiecte sau Experimente eficiente sau puteți folosi Excel. Depinde cu adevărat de tine, mai ales când abia ai început. Doar asigurați-vă că țineți evidența:

  • Ipoteza
  • Capturi de ecran ale controlului și ale variației
  • Indiferent dacă a câștigat sau a pierdut
  • Informații obținute prin analiză

Pe măsură ce creșteți, vă veți mulțumi pentru păstrarea acestei arhive. Nu numai că vă va ajuta, ci și noii angajați și consilieri/părți interesate.

Procesele de testare A/B ale profesioniștilor

Acum că ați trecut printr-un tutorial standard de testare A/B, să aruncăm o privire la procesele exacte ale profesioniștilor de la companii precum Google și HubSpot.

Listă de lectură gratuită: optimizarea conversiilor pentru începători

Transformă mai mulți vizitatori ai site-ului web în clienți, obținând un curs intensiv de optimizare a conversiilor. Accesați mai jos lista noastră gratuită și organizată de articole de mare impact.

Krista Seiden, Google

Procesul meu pas cu pas pentru testarea A/B pentru web și aplicație începe cu o analiză - în opinia mea, acesta este nucleul oricărui program de testare bun. În etapa de analiză, scopul este de a examina datele dvs. de analiză, sondajul sau datele UX sau orice alte surse de informații despre clienți pe care le puteți avea pentru a înțelege unde sunt oportunitățile dvs. de optimizare.

Odată ce aveți o serie bună de idei din etapa de analiză, puteți trece la ipoteza ce ar putea merge prost și cum ați putea remedia sau îmbunătăți aceste domenii de optimizare.

Apoi, este timpul să construiți și să rulați testele. Asigurați-vă că le rulați pentru o perioadă rezonabilă de timp (în mod implicit la două săptămâni pentru a mă asigura că țin cont de modificările sau anomaliile de la o săptămână la alta), iar când aveți suficiente date, analizați rezultatele pentru a vă determina câștigătorul.

De asemenea, este important să luați ceva timp în această etapă pentru a analiza și perdanții - ce puteți învăța din aceste variații?

În cele din urmă, și s-ar putea să ajungi la această etapă numai după ce ai petrecut timp să pună bazele unui program de optimizare solid, este timpul să te uiți la personalizare. Acest lucru nu necesită neapărat un set de instrumente elegant, ci mai degrabă poate rezulta din datele pe care le aveți despre utilizatorii dvs.

Personalizarea marketingului poate fi la fel de ușoară ca direcționarea conținutului potrivit către locațiile potrivite sau la fel de complexă ca direcționarea pe baza acțiunilor individuale ale utilizatorului. Totuși, nu săriți dintr-o dată pe partea de personalizare. Asigurați-vă că petreceți suficient timp pentru a obține mai întâi elementele de bază corecte.

Alex Birkett, HubSpot

La un nivel înalt, încerc să urmez acest proces:

  • Colectați date și asigurați-vă că implementările de analiză sunt corecte.
  • Analizați datele și găsiți informații.
  • Transformă intuițiile în ipoteze.
  • Prioritizează pe baza impactului și ușurinței și maximizează alocarea resurselor (în special a resurselor tehnice).
  • Rulați un test (urmând cele mai bune practici statistice, după cunoștințele și abilitățile mele).
  • Analizați rezultatele și implementați sau nu în funcție de rezultate.
  • Repetați pe baza constatărilor și repetați.

Mai simplu spus: cercetează, testează, analizează, repetă.

În timp ce acest proces se poate abate sau se poate schimba în funcție de context (testez o funcție de produs esențială pentru afaceri? O postare de blog CTA? Care este profilul de risc și echilibrul dintre inovație și reducerea riscului?), este destul de aplicabil pentru orice dimensiune sau tip de companie.

Ideea este că acest proces este agil, dar colectează și suficiente date, atât feedback calitativ al clienților, cât și analize cantitative, pentru a putea veni cu idei de testare mai bune și pentru a le prioritiza mai bine, astfel încât să puteți genera trafic către magazinul dvs. online.

Ton Wesseling, Dialog online

Prima întrebare la care răspundem întotdeauna atunci când dorim să optimizăm o călătorie a clientului este: Unde se încadrează acest produs sau serviciu pe modelul ROAR pe care l-am creat la Online Dialogue? Sunteți încă în faza de risc în care am putea face o mulțime de cercetări, dar nu putem valida concluziile noastre prin experimente online de testare A/B (sub 1.000 de conversii pe lună) sau sunteți în faza de optimizare? Sau chiar mai sus?

  • Faza de risc: o mulțime de cercetări , care se vor transpune în orice, de la un pivot al modelului de afaceri la un design complet nou și o propunere de valoare.
  • Faza de optimizare: experimente mari care vor optimiza propunerea de valoare și modelul de afaceri.
  • Faza de optimizare: experimente mici pentru a valida ipotezele de comportament ale utilizatorilor, care vor acumula cunoștințe pentru modificări mai mari de proiectare.
  • O utomatizare: mai aveți putere de experimentare (vizitatori), ceea ce înseamnă că nu este necesar întregul potențial de testare pentru a vă valida călătoria utilizatorului. Ce a mai rămas ar trebui folosit pentru a exploata, pentru a crește mai repede acum (fără a se concentra pe învățările pe termen lung). Acest lucru ar putea fi automatizat prin rularea bandiților/folosind algoritmi.
  • Gândește-te: încetezi să adaugi multe cercetări , cu excepția cazului în care este un pivot către ceva nou.

ROOAR

Așadar, testarea A/B pentru web sau aplicație este doar un lucru important în faza de optimizare a ROAR și nu numai (până la re-gândire).

Abordarea noastră pentru derularea experimentelor este modelul FACT și ACT:

FACT & ACTE

Cercetarea pe care o facem se bazează pe modelul nostru de 5V:

Model 5V

Adunăm toate aceste informații pentru a veni cu o ipoteză principală susținută de cercetare, care va duce la sub-ipoteze care vor fi prioritizate pe baza datelor colectate fie prin testarea A/B pe desktop, fie pe mobil. Cu cât este mai mare șansa ca ipoteza să fie adevărată, cu atât va fi clasată mai sus.

Odată ce aflăm dacă ipoteza noastră este adevărată sau falsă, putem începe să combinăm învățăturile și să facem pași mai mari prin reproiectarea/realinierea unor părți mai mari ale călătoriei clientului. Cu toate acestea, la un moment dat, toate implementările câștigătoare vor duce la un maxim local. Atunci trebuie să faci un pas mai mare pentru a putea atinge un potențial maxim global.

Și, desigur, principalele învățăminte vor fi răspândite în întreaga companie, ceea ce duce la tot felul de optimizare și inovare mai amplă, bazate pe informațiile tale primare validate.

Faceți marketing către un public internațional? Aflați cum să faceți acest proces ușor cu pseudo-localizare.

Julia Starostenko, Shopify

Scopul unui experiment este de a valida faptul că efectuarea de modificări la o pagină web existentă va avea un impact pozitiv asupra afacerii.

Înainte de a începe, este important să determinați dacă derularea unui experiment este cu adevărat necesară. Luați în considerare următorul scenariu: există un buton cu o rată de clic extrem de scăzută. Ar fi aproape imposibil să reduceți performanța acestui buton. Prin urmare, nu este necesară validarea eficacității unei modificări propuse la buton (adică rularea unui experiment).

În mod similar, dacă modificarea propusă a butonului este mică, probabil că nu merită să petreceți timpul pentru a configura, a executa și a demola un experiment. În acest caz, modificările ar trebui să fie implementate tuturor, iar performanța butonului poate fi monitorizată.

Dacă se stabilește că derularea unui experiment ar fi de fapt benefică, următorul pas este definirea valorilor de afaceri care ar trebui îmbunătățite (de exemplu, creșterea ratei de conversie a unui buton). Then we ensure that proper data collection is in place.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, Institutul CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • Efectuați cercetări de conversie folosind un cadru precum ResearchXL pentru a identifica problemele de pe site-ul dvs.
  • Alegeți o problemă cu prioritate ridicată (una care afectează o mare parte a utilizatorilor și este o problemă gravă) și gândiți-vă la cât mai multe soluții pentru această problemă. Informați-vă procesul de ideare cu informațiile dvs. de cercetare de conversie. Stabiliți pe ce dispozitiv doriți să rulați testul (trebuie să rulați testarea A/B mobilă separat de desktop).
  • Determinați câte variante puteți testa (pe baza nivelului de trafic/tranzacție), apoi alegeți cele mai bune idei de una sau două pentru o soluție de testat împotriva controlului.
  • Wireframe tratamentele exacte (scrieți copia, efectuați modificări de design etc.) În funcție de amploarea modificărilor, este posibil să fie necesar să includeți și un designer pentru a proiecta elemente noi.
  • Cereți dezvoltatorului dvs. front-end să implementeze tratamentele în instrumentul dvs. de testare. Configurați integrările necesare (Google Analytics), setați obiective adecvate.
  • Efectuați QA pe test (testele întrerupte sunt de departe cel mai mare ucigaș de testare A/B) pentru a vă asigura că funcționează cu fiecare combo browser/dispozitiv.
  • Lansați testul!
  • După terminarea testului, efectuați o analiză post-test.
  • În funcție de rezultat, fie implementați câștigătorul, repetați tratamentele, fie mergeți și testați altceva.
Pictogramă șablon

Webinar gratuit:

Marketing 101

Te chinui să crești vânzările? Aflați cum să treceți de la prima zi la prima vânzare în acest curs de formare gratuit.

Înregistrează-te acum

Optimizați testarea A/B pentru afacerea dvs

Ai procesul, ai puterea! Deci, ieșiți acolo, obțineți cel mai bun software de testare A/B și începeți să vă testați magazinul. Înainte să-ți dai seama, aceste informații vor aduce mai mulți bani în Bank of You.

Dacă doriți să continuați să învățați despre optimizare, luați în considerare un curs gratuit, cum ar fi testarea A/B a Udacity de către Google. Puteți afla mai multe despre testarea A/B a aplicațiilor web și mobile pentru a vă îmbunătăți setul de abilități de optimizare.