13 Greșeli de testare A/B prin e-mail care vă limitează succesul

„Trebuie să testați, altfel faceți doar o presupunere educată”, a spus Stuart Clark de la Red C la Litmus Live London 2017. Testarea A/B prin e-mail a fost un subiect recurent la toate cele trei evenimente Litmus Live de anul trecut, precum și acesta. an. Nu este o surpriză, deoarece este una dintre cele mai puternice oportunități pentru agenții de marketing prin e-mail de a-și repeta și de a-și îmbunătăți campaniile.

Testarea A/B vă poate ajuta să descoperiți schimbări de mare impact în rândurile de subiect, designul e-mailului, paginile de destinație și multe altele. Cât de mari pot fi câștigurile?

„Mărcile de comerț electronic pe care A/B le testează
e-mailurile lor generează cu 20% mai multe venituri
in medie."

—Alex Kelly (MailChimp)
la Litmus Live 2017

Trimiteți acest citat pe Twitter →

Pentru a vă testa A/B e-mailurile, tot ce trebuie să faceți este să prezentați două variante la două grupuri diferite de abonați și apoi să ascultați. Valorile vă vor spune preferința lor, pe care apoi le puteți acționa fie pe termen scurt, trimițând varianta câștigătoare către mai multă audiență, fie pe termen lung, aplicând această preferință la campaniile viitoare.

Sună simplu – și într-o anumită măsură, datorită furnizorilor de servicii de e-mail și furnizorilor de software de testare care au implementat funcționalități, testarea A/B e-mail este mult mai ușor de executat decât în ​​trecut. Cu toate acestea, este, de asemenea, destul de simplu să-ți încurci testarea A/B prin e-mail și fie să ajungi la o concluzie greșită, fie să-ți subminezi complet rezultatele.

Pentru a evita această soartă, iată 13 sfaturi care vă vor asigura că profitați la maximum de testarea A/B prin e-mail:

1. Testează-ți e-mailurile automate și tranzacționale, nu doar e-mailurile difuzate și segmentate.

Aproape 39% dintre mărci nu își testează niciodată sau rar A/B e-mailurile difuzate și segmentate, conform sondajului Litmus din 2018 privind starea e-mailului.

Aceasta este o oportunitate ratată, dar au rămas și mai mulți bani pe masă când te uiți la e-mailurile automate și tranzacționale. Mai mult de 65% dintre mărci nu își testează niciodată sau rar A/B e-mailurile automate, iar 76% nu își testează niciodată sau rar A/B e-mailurile tranzacționale.

Este păcat, deoarece, în timp ce testarea A/B a difuzării și a e-mailurilor segmentate vă oferă un avantaj competitiv, testarea A/B a e-mailurilor automate și tranzacționale vă oferă un avantaj uriaș. Programele de e-mail de succes au cu 58% mai multe șanse decât programele mai puțin de succes să testeze A/B e-mailurile declanșate cel puțin o dată pe an. Și programele de succes au cu 53% mai multe șanse să-și testeze A/B e-mailurile tranzacționale cel puțin o dată pe an.

Ambele acțiuni sunt în top 10 din 20 de lucruri pe care le fac programele de marketing prin e-mail de succes.

În timp ce e-mailurile declanșate sunt adesea lăudate ca programele set it and forget it, amintiți-vă că nimic din marketingul prin e-mail nu este „Setați și uitați-l”. Aceste e-mailuri reprezintă cea mai mare parte a veniturilor din marketing prin e-mail la peste 13% dintre mărci, potrivit sondajului Litmus din 2018 privind starea e-mailului. Și acest procent va crește doar în anii următori.

2. Concentrează-ți eforturile de testare A/B a e-mailurilor pe elementele campaniei care au cel mai mare șans să mute acul asupra performanței.

Uneori, micile ajustări ale elementelor minore pot muta acul pentru dvs., dar este, în general, înțelept să vă concentrați testarea asupra elementelor cheie ale e-mailului, cum ar fi liniile de subiect, îndemnurile și imaginile.

Potrivit sondajului nostru asupra a 3.000 de agenți de marketing, aici se concentrează majoritatea mărcilor în prezent eforturile de testare A/B a e-mailului. Ar trebui și tu.

Pe lângă aceste elemente, e-mailurile automate au și alte elemente care merită testate. În cartea mea, Reguli de marketing prin e-mail , vă recomand să testați:

• Logica de declanșare diferită pentru e-mailurile automate
• Cât de repede să trimiteți mesajul după ce este declanșat
• Dacă să trimiteți o serie de e-mailuri automate
• Întârzierea dintre e-mailurile automate dintr-o serie
• În ce condiții este omis un e-mail automat dintr-o serie
• În ce condiții se încheie o serie automată de e-mailuri

3. Înțelegeți dacă testarea dvs. vă va apropia de un maxim local sau de un maxim global.

Testați ajustări progresive sau modificări radicale ale e-mailului dvs.? Este important să înțelegeți care este, deoarece, așa cum a subliniat managerul de produs Indeed, Janie Clarke, la Litmus Live San Francisco, micile ajustări vă pot ajuta să ajungeți la vârful maximului local, dar nu vă vor ajuta să descoperiți un nou maxim global. Pentru a găsi asta, va trebui să încercați o abordare complet diferită.

De exemplu, testarea culorii unui buton sau testarea unui link text față de un buton vă va ajuta doar să vă apropiați de optimizarea designului respectiv de e-mail sau de atingerea unui maxim local. Cu toate acestea, testarea unui design bogat în copiere față de un design bogat în imagini sau a unui e-mail interactiv față de un e-mail doar text, de exemplu, vă poate ajuta să găsiți cea mai bună modalitate de a vă comunica mesajul sau să descoperiți un maxim global.

4. Limitați-vă testele A/B la un singur lucru la un moment dat.

Cu excepția cazului în care faceți teste multivariate, veți dori să vă limitați testele A/B la o singură modificare per test. De exemplu, puteți testa...

• Un buton verde versus un buton albastru
• Copie de e-mail cu dovada socială inclusă față de nicio dovadă socială
• O imagine de erou a stilului de viață versus imaginea de erou a produsului
• O reducere procentuală față de o reducere în dolari

Având mai mult de o diferență între versiunile A și B, este dificil să se determine clar ce element a condus la diferența de performanță.

5. Aveți o ipoteză clară.

Nu faceți modificări aleatorii doar pentru a vedea ce ar putea funcționa. Aflați ce încercați să realizați și aveți o rațiune solidă pentru ce ceea ce testați vă va ajuta să atingeți obiectivul dorit.

De exemplu, dacă încercați să creșteți conversiile, puteți crea o versiune a copiei de e-mail în care îndemnul se află deasupra pliului pentru a-l face mai vizibil și o altă versiune în care conținutul precede CTA și încearcă să genereze un conținut puternic. interes pentru CTA. De asemenea, dacă doriți să vedeți dacă adresarea numelui noului dvs. abonat în linia de subiect al e-mailului de bun venit a stimulat conversiile, ați testa un rând de subiect cu personalizare și altul fără.

Site-uri precum Behave.org vă pot oferi o mulțime de idei de teste pe care să le încercați pe baza a ceea ce au făcut alte mărci.

6. Alegeți o valoare a victoriei de testare care este aliniată cu obiectivul campaniei dvs.

Nu putem sublinia suficient acest lucru: asigurați-vă că testați suficient de departe în pâlnie, ceea ce în majoritatea cazurilor înseamnă să testați cât mai departe în pâlnie. Majoritatea campaniilor de e-mail încearcă să genereze fie conversii de e-mail, fie conversii de vânzări, așa că testele A/B de e-mail ar trebui să se concentreze și pe mutarea acelor valori.

Acolo unde unii marketeri greșesc este că ei cred că subiectele pot afecta doar deschiderile, conținutul de e-mail poate afecta doar clicurile, iar conținutul paginii de destinație poate afecta doar conversiile. Neadevarat! Diferitele etape ale unei interacțiuni prin e-mail nu funcționează izolat. Toate lucrează împreună, pentru că abonații le experimentează pe toate împreună.

Când îmbrățișați asta, vă dați seama că scopul unei linii de subiect nu este de a genera deschideri. Este pentru a genera deschideri care sunt susceptibile de a converti. Și, în mod similar, scopul conținutului de e-mail nu este de a genera clicuri. Este pentru a genera clicuri care au șanse să facă conversii.

Nu sunteți convins? Este ușor să confirmați singur. Efectuați doar câteva teste A/B pentru linia de subiect și uitați-vă la modul în care diferitele linii de subiect afectează activitatea până la canalul de interacțiune prin e-mail.

De asemenea, cui îi pasă dacă linia de subiect A generează mai multe deschideri decât linia de subiect B dacă aceasta din urmă generează mai multe conversii? Și cui îi pasă dacă conținutul de e-mail A generează mai multe clicuri decât conținutul de e-mail B dacă acesta din urmă produce mai multe conversii? Vă garantăm că șeful dvs. va prefera mai multe conversii.

2018 Starea e-mailului Analytics Cum se compară capacitățile tale de analiză a e-mailurilor față de colegii tăi? Vedeți ce valori de e-mail măsoară mărcile (și ce instrumente folosesc pentru a face acest lucru) cu primul nostru raport privind starea e-mailului. Obțineți copia dvs. →

7. Utilizați segmente de audiență de testare ale abonaților similari.

Așa cum controlați modificările pe care le faceți versiunilor A și B ale e-mailului dvs., trebuie să controlați și cine primește fiecare versiune. Doriți ca cele două grupuri de testare să fie compuse din aceleași tipuri de abonați, fie că este vorba de abonați noi, abonați care sunt clienți sau abonați dintr-o anumită zonă geografică, de exemplu.

8. Utilizați segmente de audiență de testare ale abonaților activi.

În mod similar, veți dori să vă asigurați că ambele grupuri de destinatari de testare conțin abonați activi care interacționează în mod regulat cu e-mailurile dvs. În caz contrar, dacă versiunea A se adresează unui grup de abonați care sunt mult mai activi decât grupul care a primit versiunea B, atunci versiunea A are mai multe șanse să „câștigă” din motive care nu au nicio legătură cu ceea ce este în versiunea A.

Singura avertizare este dacă testați e-mailurile de reangajare, caz în care doriți să vizați abonații inactivi, desigur.

9. Asigurați-vă că grupurile dvs. de testare sunt suficient de mari pentru ca rezultatele dvs. să fie semnificative din punct de vedere statistic.

Dacă audiența dvs. de testare este prea mică, atunci rezultatele testului dvs. s-ar putea datora doar aleatoriei. Asigurați-vă că rezultatele dvs. sunt semnificative din punct de vedere statistic, având o audiență de testare suficient de mare.

Kissmetrics, AB Testguide și Optimizely au toate calculatoare online pentru a vă ajuta.

10. Folosiți grupuri de holdout, atunci când este cazul.

Pentru orice e-mail pe care îl testați, luați în considerare efectul ca abonații dvs. să nu primească deloc acel e-mail. A avea un grup de abonați care nu primesc un e-mail este modul în care puteți măsura acest efect.

Grupurile de rezervă sunt deosebit de valoroase atunci când vine vorba de testarea e-mailurilor automate. De exemplu, dacă testați performanța unui nou e-mail de abandonare a coșului de cumpărături, doriți să vă asigurați că o parte dintre cei care abandonează coșul de cumpărături nu primesc deloc un e-mail de abandonare a coșului de cumpărături. Acest lucru vă permite să măsurați dacă e-mailul de abandonare a coșului de cumpărături îi enervează pe abonați sau le perturbă comportamentul natural de cumpărături.

Cu toate acestea, puteți utiliza un grup de așteptare pentru orice e-mail pe care îl trimiteți pentru a vă asigura că e-mailul are de fapt un efect pozitiv asupra abonaților dvs. Compania de software de întreprindere Atlassian a creat un sistem care necesită testarea fiecărui e-mail, inclusiv a grupurilor de holdout obligatorii, a declarat Jeff Sinclair, manager de produs senior al platformei de implicare Atlassian, participanților la Litmus Live San Francisco.

11. Creați un plan de testare astfel încât să testați în mod regulat și să înregistrați rezultatele testelor.

Testarea A/B ad-hoc este ineficientă, deoarece este sporadic și nefocalizat. Pentru a profita la maximum de testele dvs. A/B, aveți nevoie de un plan. Elaborați un program de testare care înregistrează:

• Teoriile pe care încercați să le confirmați
• Ce e-mailuri folosiți pentru a testa fiecare teorie
• Rezultatele fiecărui test și modul în care acestea influențează planurile viitoare de testare

Încercați să includeți un test A/B în cel puțin jumătate din e-mailurile dvs. de difuzare și promoționale segmentate, deoarece cercetările noastre indică faptul că mărcile obțin un avantaj competitiv mic atunci când testează mai rar decât atât. În mod similar, mărcile raportează o creștere semnificativă a succesului atunci când își testează A/B e-mailurile declanșate și tranzacționale cel puțin o dată la 6 luni.

De asemenea, veți dori să aveți un plan de testare pentru că va trebui să...

12. Confirmați rezultatele testelor.

Orice singur test A/B nu este niciodată concludent pentru totdeauna. Pe termen scurt, orice lift pe care îl vedeți poate fi rezultatul efectului de noutate. Abonații sunt atrași de noul, care poate aduce orice schimbare pe care o faceți față de control.

Cu toate acestea, efectul de noutate dispare destul de repede. Deci, dacă rulați același test de două sau trei ori într-o perioadă de timp, veți șterge orice efect de noutate și veți putea vedea impactul real al schimbării.

Pe termen lung, comportamentele și atitudinile consumatorilor se schimbă. Compoziția listei dvs. de e-mail se poate modifica, de asemenea, în timp, în funcție de practicile de achiziție de abonați, modificările aduse ofertelor dvs. de produse sau servicii, extinderea sau retragerea din anumite zone geografice și alți factori.

Cu cât succesul unui test este mai definitiv, cu atât veți putea aștepta mai mult pentru a-l confirma din nou. Dar, în cele din urmă, veți dori să reconfirmați periodic fiecare test cel puțin o dată sau de două ori - motiv pentru care un plan de testare A/B este critic.

13. Partajați rezultatele testelor A/B prin e-mail cu alți proprietari de canale din compania dvs.

Jonathan Pay de la Holistic Email Marketing le-a spus participanților Litmus Live London să fie siguri că vor împărtăși informațiile lor de testare A/B prin e-mail cu echipele lor web, social media și publicitare. Acesta este un sfat grozav, deoarece învățările de marketing prin e-mail pot alimenta succesul pe alte canale.

Coordonarea slabă între canale și departamente a fost identificată ca fiind cea mai mare provocare cu care se confruntă agenții de marketing prin e-mail în 2018, potrivit unui sondaj Litmus efectuat de peste 600 de agenți de marketing. Partajarea rezultatelor testelor A/B este doar o altă modalitate prin care mărcile pot promova o abordare omnicanal a marketingului și experienței clienților.

Pentru a profita la maximum de eforturile de testare A/B a e-mailului...

Urmați aceste 13 recomandări:

1. Testați-vă e-mailurile automate și tranzacționale, nu doar e-mailurile difuzate și segmentate.
2. Concentrează-ți eforturile de testare A/B pentru e-mail-uri pe elementele campaniei care sunt cel mai probabil să mute acul asupra performanței.
3. Înțelegeți dacă testarea dvs. vă va apropia de un maxim local sau de un maxim global.
4. Limitați-vă testele A/B la un singur lucru la un moment dat.
5. Aveți o ipoteză clară.
6. Alegeți o valoare a victoriei de testare care este aliniată cu obiectivul campaniei dvs.
7. Utilizați segmente de audiență de testare ale abonaților similari.
8. Utilizați segmente de audiență de testare ale abonaților activi.
9. Asigurați-vă că grupurile dvs. de testare sunt suficient de mari pentru ca rezultatele dvs. să fie semnificative din punct de vedere statistic.
10. Folosiți grupuri de reținere, atunci când este cazul.
11. Creați un plan de testare astfel încât să testați în mod regulat și să înregistrați rezultatele testelor.
12. Confirmați rezultatele testelor.
13. Partajați rezultatele testelor dvs. A/B prin e-mail cu alți proprietari de canale din compania dvs.