Come prepararsi per il successo dei test A/B

Una cosa che amo della posta elettronica sono i dati. Poiché è così prontamente disponibile, è facile eseguire test divisi e vedere le prestazioni della posta elettronica in tempo reale. Mi troverai spesso a studiare fogli di calcolo e aggiornare costantemente i dati come se stessi guardando una gara ravvicinata.

Ma niente di tutto questo importa se il test A/B non è impostato correttamente.

Senza una solida base, i risultati del tuo test A/B sono inaffidabili e possono portarti nella direzione sbagliata. E questo può costarti in coinvolgimento, conversioni e, in definitiva, in abbonati e clienti. Quindi, prima di pensare al tuo prossimo test, assicurati di essere pronto per il successo per ottenere le informazioni necessarie per guidare la tua strategia di marketing.

E chi è meglio parlare di test A/B del nostro esperto di test residente e senior growth manager, John Kim? John esegue la maggior parte dei test di conversione sul nostro sito Web e mi ha insegnato molto ad affinare le mie capacità. E ora imparerai anche da lui.

Quali sono le cose fondamentali che devi fare per eseguire un test A/B di successo?

Indipendentemente da dove stai testando (ad es. e-mail, sito Web, in-app o annuncio a pagamento), le basi rimangono le stesse. Se li fai bene, sarai sulla buona strada per ottenere risultati di cui ti puoi fidare e su cui agire.

Sapere cosa stai testando

Prima di eseguire il tuo test A/B, è fondamentale capire esattamente cosa hai intenzione di testare. In Litmus, abbiamo una serie di criteri che documentiamo per ogni test A/B per assicurarci di massimizzare le nostre possibilità di successo e apprendimento.

Ipotesi

Forse l'elemento più vitale del tuo test A/B, una buona ipotesi, è una risposta a un problema che stai cercando di risolvere.

La tua ipotesi dovrebbe essere chiara, focalizzata e fatta con alcune prove sottostanti o limitate. In parole povere, è un'ipotesi plausibile su come risolvere un problema aziendale complesso. È importante che la tua ipotesi sia chiaramente definita perché il tuo esperimento sarà progettato per verificarla.

Inizia a scrivere la tua ipotesi! Nel nostro caso, sono spesso scritti utilizzando un'istruzione if-then .

Esempio: se cambiamo il colore del nostro pulsante standard in arancione anziché in verde, vedremo un aumento dei click-through.

Obiettivo

Il prossimo elemento che ci piace documentare prima di eseguire qualsiasi esperimento è l'obiettivo dell'esperimento. In definitiva, cosa stai cercando di realizzare per la tua attività?

Sii chiaro su cosa significa il successo per te.

Esempio: il nostro obiettivo è aumentare i click-through sul pulsante per, a sua volta, aumentare le conversioni nella pagina successiva, con conseguente aumento delle iscrizioni di prova o delle attivazioni complessive.

Metrica

Prima di eseguire l'esperimento, è importante sapere cosa monitorerai per le tue metriche principali. Data la tua ipotesi e il tuo obiettivo, sii chiaro su quali una o due metriche utilizzerai per determinare il successo quando si tratta dei tuoi obiettivi precedentemente dichiarati.

Questo passaggio è importante perché vorrai assicurarti di:

1. Scopri quali metriche sono importanti per te
2. Avere la capacità di monitorare e attribuire quell'attività a un dato utente e coorte (il tuo pubblico di test e controllo preso dal tuo pubblico complessivo).
3. Comprendi le tue metriche secondarie. Oltre alle metriche primarie, è importante monitorare il modo in cui gli utenti interagiscono con il resto della tua esperienza.

Guardrail

I diversi modi in cui un dato test può influenzare la tua attività possono essere una sorpresa.

Quello che facciamo in questo passaggio è documentare tutte le metriche e i canali che il prossimo test A/B potrebbe avere un impatto positivo o negativo.

È importante eseguire questo esercizio in modo da poter:

1. Riduci al minimo le sorprese per ogni dato test
2. Pesare (nel miglior modo possibile) i potenziali benefici rispetto ai rischi/guard-rail.

Il nostro team si impegna in modo significativo nella preparazione dei test. Entriamo in ogni test con aspettative realistiche, soglie di successo e fallimento e siamo preparati per una moltitudine di risultati.

Accedi a metriche e-mail non così tipiche in Litmus Analytics Le metriche e-mail standard come tasso di apertura, percentuale di clic, tasso di annullamento dell'iscrizione e altro possono solo dirti molto. Comprendi come il tuo pubblico interagisce con le tue e-mail con dettagli come client di posta elettronica, velocità di lettura e altro. Ottieni più dati e-mail →

Prova divisa e traccia

Il test A/B o split test è una funzionalità ampiamente disponibile e offerta con la maggior parte dei provider di servizi di posta elettronica (ESP) e piattaforme di Marketing Automation. Se vuoi eseguire test sul tuo sito di marketing o sulla tua app, anche strumenti come VWO o Optimizely offrono soluzioni.

Quando si tratta di selezionare il tuo pubblico, determina il numero di persone di cui hai bisogno dal tuo pubblico per essere nel tuo test generale per stabilire la significatività statistica o la probabilità che la differenza nei tassi di conversione tra il gruppo A e il gruppo B non sia dovuta a casualità . Ti consigliamo di ritagliare una parte del tuo pubblico complessivo per dividere 50/50 in questi gruppi se hai un pubblico abbastanza grande. Qui a Litmus, ci siamo imbattuti in vari strumenti nel corso degli anni per aiutare. Uno dei nostri preferiti è il calcolatore di test A/B di Neil Patel.

Una volta determinato il numero di persone che devono essere presenti nel tuo pubblico di prova, metà di esso non dovrebbe avere alcuna modifica applicata alla loro esperienza. Questo gruppo sarà il tuo gruppo di controllo. Nel miglior modo possibile, la loro esperienza dovrebbe assomigliare molto a quella che consideri essere la tua linea di base o esperienza tipica. L'altra metà del tuo pubblico sarà la tua coorte variante. Per gli utenti di questo gruppo, applicare il trattamento di prova.

I test A/B vengono solitamente analizzati a livello di coorte. Significato: valutiamo se la coorte che ha ricevuto l'esperienza di trattamento si è convertita in modo significativamente diverso rispetto alla coorte di controllo.

È fondamentale che inserire un membro del pubblico in una determinata coorte sia casuale e che ognuno riceva un solo trattamento. Se dovessimo considerare la composizione di ciascuna delle coorti (test e controllo), vogliamo assicurarci di non introdurre alcun pregiudizio verso un particolare demografico, firmografico o qualsiasi altra caratteristica dell'utente per una singola coorte. Randomizzare le tue coorti e avere meno varianti garantisce che le tue coorti rappresentino una selezione casuale del tuo pubblico.

Avvolgendo

I test A/B non devono essere difficili, ma se non li imposti correttamente, le informazioni che ne ricaverai non significheranno molto. Comprendere i fondamenti che abbiamo esplorato qui ti consentirà di avere successo, in modo da poter applicare le tue conoscenze all'intera strategia di marketing. Ricorda, fai un passo indietro per riflettere su ogni elemento e sarai sulla buona strada. Resta sintonizzato per il nostro blog sui test A/B del tuo email marketing, dove approfondiremo il test del nostro canale preferito.

Più dati. Più approfondimenti. Ottieni più dati e-mail, più approfondimenti, quando vai oltre le metriche e-mail standard. Accedi alla velocità di lettura, alla velocità di inoltro e altro ancora con la potenza di Litmus Email Analytics, integrata direttamente in Litmus Plus. Prova Litmus Plus gratuitamente →