Cerințe pentru rularea programelor de experimentare serioase

Derularea de programe de experimentare este o artă și o știință. O spun tot timpul. Programele ar trebui să aibă un anumit nivel de rigoare – adică sisteme, procese și proceduri. Nu este ceva de luat cu ușurință. A crede că oricine poate începe un program mâine cu pregătire și planificare minimă este o greșeală. Din păcate, însă, asta se întâmplă tot timpul. Conduce la o mulțime de bani, timp și efort irosit – fără a fi surprinzător. Asta mă duce la subiectul pregătirii.

Dacă vrei să fii serios în ceea ce privește experimentarea și să crești cât de competitiv ești pe piață, ar fi bine să o faci bine. Ar trebui să presupunem că concurenții tăi o fac bine. Deci, dacă acest lucru rezonează cu tine, continuă să citești și îți garantez că vei ridica o pepiță de aur sau două pe care să le folosești imediat.

Precursorul inevitabil al construirii unui program de experimentare care te va face sau te va distruge: calcule pre-test

Calcule pre-test. Ai auzit vreodată de ei? Le-ai facut? Sună familiar MDE sau efectul minim detectabil? Ce zici de estimările de durată sau de dimensiunile eșantionului? Sper că știți despre ce vorbesc, deși aș paria bani pe care marea majoritate dintre voi nu știți – pur și simplu din cauza propriei mele experiențe personale cu clienții.

Înainte de a face ceva legat de experimentare, vă rugăm să vedeți dacă aveți suficient volum de date pentru a face acest lucru. Vedeți dacă puteți testa deloc prin calculele pre-testare. Prin volumul de date, mă refer la vizitatori și conversii. Vizitatorii pot fi orice folosiți de obicei (de exemplu, sesiuni, utilizatori, MAU-uri etc.). Conversiile provin din valoarea principală pe care o veți folosi în teste. Stiu asta:

1. Nu orice afacere are suficient volum de date pentru a face experimentare la orice capacitate.
2. Dacă o puteți face, știți că nu alegeți doar viteza dorită din aer. Se bazează pe calcule.

Vinovatul #1 pentru ignorarea unuia sau ambelor dintre aceste puncte: oamenii de vânzări. Dacă intenționați să cumpărați orice fel de instrument, asigurați-vă că acesta face parte din conversație. Bariera minimă de intrare pentru a avea un program de experimentare: volum suficient de date pentru a rula un test în decurs de opt săptămâni sau mai puține într-o bandă.

Am tratat acest subiect în detaliu acum câteva luni pentru Experiment Nation. Știți că, dacă nu înțelegeți acest subiect și o faceți din prima zi, vă va bântui și cu siguranță va provoca rezultate nedorite de un fel în cele din urmă. O altă notă foarte importantă: știți dacă instrumentul dvs. de testare (sau cel pe care intenționați să îl utilizați) este construit pe baza testării cu orizont fix sau a testării secvențiale. Acest lucru afectează calculele și modul în care rulați programul.

Pasul 1 (post-precursor): măsurare și calitatea datelor

Dacă ați depășit obstacolul calculelor pre-testare și ați confirmat că aveți suficient volum de date pentru a testa, următorul obstacol pentru a merge mai departe este măsurarea și calitatea datelor. Trebuie să știi la ce țintiți în această lucrare; în caz contrar, te vei clatina ca un pește pe malul râului. Prea multe echipe nu știu la ce lucrează – cum ar fi trimiterile de formulare, tranzacții, venituri, LTV etc.

Înțelegeți care sunt valorile dvs. primare, secundare și terțiare pentru experimentare și afacerea în ansamblu. Înțelegeți-l cu o claritate deplină. Nu permiteți confuzie sau incertitudine persistentă. Asigurați-vă că toată lumea este pe aceeași pagină.

Apoi, odată ce ai atât de mult, asigură-te că colectezi acele date în locurile potrivite și că poți avea încredere în ele.

Dacă măsurarea și/sau calitatea datelor sunt dezastre, opriți-vă. Oprește totul și dedică toate eforturile pentru a le face corect. Gândiți-vă la experimentare ca la o piramidă. Aceste două lucruri sunt straturile de bază ale piramidei. Dacă se crăpă în orice moment, totul se va prăbuși deasupra. Iţi promit.

Voi spune că știu că acestea pot fi grele. A le corecta poate lua timp suplimentar. Poate chiar mai mult de o lună sau două. Merită totuși să le faci corect. Am văzut probleme apărute la șase luni sau mai mult după lansarea unui program – doar pentru ca totul să se oprească în cele din urmă. Nimeni nu este fericit în acel moment.

O notă despre ce ar trebui să fie o valoare principală...

Acesta este un subiect dezbinător în rândul practicienilor uneori. Am o poziție foarte fermă în această privință, în special când vine vorba de echipe de marketing și site-uri web (nu neapărat echipe de produse și produse).

Valorile principale ar trebui să fie întotdeauna valori ale canalului în jos. Comenzi. Trimiterile de formulare. MQL-uri. Venituri. LTV. SQL-uri. Înțelegi ideea. Unii oameni spun că ar trebui să fie întotdeauna acțiunea cea mai apropiată de schimbarea pe care o faci sau de valorile de implicare. Gresit. Nu. Nu. Incorect. BS. Cine îți spune asta ar trebui să fie cel care trebuie să justifice programul în șase luni sau un an la CMO sau CEO-ul companiei. Vor fi pe locul fierbinte. NU aveți un program plin de teste axate pe clicuri pe butoane, clicuri, afișări de pagină, medie. durata sesiunii, rata de ieșire, rata de respingere, vizionările video și așa mai departe și așa mai departe. Asta nu va justifica miile sau sutele de mii de dolari cheltuiți pentru a face această lucrare. Toată lumea vrea să-și cunoască rentabilitatea investiției și modul în care munca a afectat rezultatul final. Clicurile pe butoane nu vor face asta.

Nu spun că nu măsurați valorile de implicare sau valorile de canal superior, dar ar trebui să fie valori secundare sau terțiare. Nu cele primare. Ele adaugă context poveștii unui test. Nu sunt testele de care se bazează atunci când vine momentul să luați o decizie. Rețineți, nici nu spun că nu există niciodată excepții. Evaluați în continuare testele de la caz la caz.

Un sfat: celor care dezbat acest subiect între voi, le spun întotdeauna echipelor să discute opțiunile și să decidă singure. Doar asigurați-vă că ajungeți la o concluzie colectivă că toată lumea respectă să meargă înainte.

Pasul 2: Cercetarea și idearea utilizatorilor

În acest moment, ar trebui să (1) să știți că aveți suficient volum de date pentru a testa și (2) să știți ce măsurați și că colectați date adecvate în care puteți avea încredere. Deci ce urmeaza? Urmează ce să testeze. Care sunt ideile tale de testare? Cum le vei genera?

Ghici ce fac majoritatea echipelor? Se îndepărtează de sentimente instincte și de multe „gândim”, „simțim” și „credem”. Este mult prea subiectiv și este un mod groaznic de a rula un program. Această abordare nu este deloc susținută de date. Este ceea ce practicanții numesc „testarea spaghetelor” AKA aruncând lucruri în perete și sperând să se lipească. Conversațiile bazate pe date nu implică prea mult acest tip de limbaj, iar datele de care sunt necesare provin din cercetarea utilizatorilor. Sunt întrebat ce înseamnă „cercetare” tot timpul.

Ei bine, există mai multe metodologii care colectează date, inclusiv, dar fără a se limita la, analize, sondaje, sondaje, testarea utilizatorilor, testarea mesajelor, hărțile termice, înregistrările de sesiuni, sortarea cardurilor, testarea arborilor, maparea călătoriei clienților, personaje și multe altele. Există, de asemenea, mai multe instrumente care ne ajută să le completăm pe fiecare dintre acestea. Întotdeauna spun să începi cu unul sau doi și să mergi spre altele de acolo. Cu siguranță este mai bine decât nimic. Din punct de vedere tehnic, nu prea mai număr analizele pentru că fiecare companie are date de analiză în zilele noastre. Dacă nu aveți asta, probabil că aveți pește mai mare de prăjit. Dacă o ai, totuși, străduiește-te pentru una sau două chiar și mai departe (și nu spune „oh, atunci suntem buni”).

Există o metodologie numită evaluare euristică. Atunci cineva evaluează vizual o experiență și dezvoltă perspective bazate pe experiența și expertiza sa. Există un timp și un loc pentru asta, dar nu este susținut de „date concrete” de cele mai multe ori. Este destul de subiectiv și va fi diferit într-o oarecare măsură în funcție de cine îl finalizează. Să știți că programul dvs. nu ar trebui să se bazeze pe aceste tipuri de informații.

Nu voi aborda cum să fac cercetări în detaliu aici, dar puteți consulta unul dintre seminariile mele web VWO aici, unde vorbesc mai multe despre modelul ResearchXL de la CXL.

Pasul 3: prioritizarea

Odată ce aveți o listă de idei de testare, nu le puteți face pe toate deodată. Aveți nevoie de o modalitate strategică, logică de a crea un plan de acțiune. Aici intervin cadrele de prioritizare. Multe există. Îmi place unul în special: cadrul PXL de la CXL. Alte obișnuite includ PIE, ICE sau PILL. PXL-ul este cel mai obiectiv din punctul meu de vedere. Este personalizabil și mai robust (în sensul bun).

Alte modele sunt ok și mai bune decât nimic. Dacă ai ceva și funcționează pentru tine, grozav. Aveți doar unul și asigurați-vă că toată lumea îl folosește! Te scutește de a te confrunta cu haos suplimentar.

Pasul 4: Foaia de parcurs

Foile de parcurs vă arată vizual ce rulează la un moment dat. Combină prioritizarea și calculele pre-testare și boom. Ai o foaie de parcurs. Acestea sunt cel mai bine realizate în diagramele Gantt. Adăugați toate pistele și testele dvs. cu durate estimate, dispozitive și alte metadate utile. Veți evita suprapunerea nedorită și efectele de interacțiune nedorite. Îi ajută pe toată lumea să planifice mult mai eficient și mai eficient. Acest lucru te va salva de mai mult haos.

Pasul 5 și mai departe: Afaceri ca de obicei

Acum că tot ceea ce am acoperit s-a terminat, totul este ca de obicei. Ai la îndemână un test pe care îl vei rula. Îl trimiteți prin fluxul de lucru obișnuit al experimentului: machetă > proiectare > dezvoltare > QA > lansare > monitorizare > încheiere > analiză > partajare și arhivare > repetare.

Subiecte înrudite: Managementul programului și guvernanța

În afara testelor individuale, există și alte subiecte de luat în considerare în legătură cu un întreg „program”. Acestea includ managementul programului și guvernanța. Iată cum mă gândesc la ele într-un mod foarte fierbinte...

Managementul programului: Cum veți organiza și urmăriți toate aceste activități? Aflați ce instrumente veți folosi pentru sarcini, gestionarea datelor și comunicare. (Am primit acea defalcare de la Ben Labay, CEO Speero.)

Guvernare: Ce roluri și responsabilități are fiecare? O modalitate utilă de a determina acest lucru este să (1) alegeți un model de guvernanță și (2) completați o diagramă RASCI aliniată cu modelul de guvernanță. Modele comune de guvernare de investigat și luat în considerare: individual, centralizat, descentralizat, centru de excelență, consiliu de testare și hibrizi.

Dacă nu le vei rezolva pe ambele cu orice altceva, va fi haos suplimentar și vei plăti pentru asta la fiecare pas. Pune-le în cuie. Este nevoie de timp suplimentar, dar merită. Dacă vă spargeți drumul prin lucruri pentru o perioadă, consecințele vă vor ajunge din urmă în cele din urmă. Iţi promit. (Aparent, am făcut destul de multe promisiuni aici.)

Concluzie

Ar trebui să vă simțiți puțin (sau mult) mai încrezător în ceea ce puteți face pentru a începe experimentarea sau în ceea ce puteți face pentru a vă ridica la nivel programul care rulează deja. Nu simți că este prea greu sau prea ușor. De obicei este undeva la mijloc. Cea mai mare recomandare a mea aplicabilă la tot ce am menționat: Să ai un fundaș. Aveți pe cineva care să conducă toată această muncă. Nu trebuie să fie rolul lor cu normă întreagă, dar cineva ar trebui să-l dețină. De obicei, atunci am văzut cel mai mare succes.

Pentru a încheia, sper că aveți un program de experimentare plin de rigoare, rezultate și puțină distracție presărată. La sfârșitul zilei, este o muncă distractivă și interesantă care poate face o diferență enormă pentru o afacere.

Dacă doriți să aflați mai multe despre modul în care experimentarea stimulează inovația și creșterea și merită tot hype-ul, urmăriți cel mai recent webinar al meu cu VWO.