La guida completa ai test A/B: consigli degli esperti di Google, HubSpot e altro

Pubblicato: 2020-04-10

Questa probabilmente non è la prima volta che leggi di test A/B. Potresti anche già testare A/B le righe dell'oggetto della tua email o i tuoi post sui social media.

Nonostante si sia parlato molto dei test A/B nel campo del marketing, molte persone continuano a sbagliare. Il risultato? Persone che prendono decisioni aziendali importanti sulla base di risultati imprecisi di un test improprio.

Il test A/B spesso è troppo semplificato, specialmente nei contenuti scritti per i proprietari di negozi. Di seguito troverai tutto ciò che devi sapere per iniziare con diversi tipi di test A/B per l'e-commerce, spiegato nel modo più chiaro possibile.

Sommario

  • Che cos'è il test A/B?
  • Come funziona il test A/B
  • Che cos'è il test A/B/n?
  • Quanto tempo devono durare i test A/B?
  • Perché dovresti fare un test A/B?
  • Cosa dovresti fare il test A/B?
  • Dare priorità alle idee per i test A/B
  • Un corso accelerato di statistiche sui test AB
  • Come impostare un test A/B
  • Come analizzare i risultati del test A/B
  • Come archiviare i test A/B passati
  • Processi di test A/B dei professionisti
  • Ottimizza i test A/B per la tua azienda

Che cos'è il test A/B?

Il test A/B, a volte indicato come test diviso, è il processo di confronto di due versioni della stessa pagina Web, e-mail o altra risorsa digitale per determinare quale ha prestazioni migliori.

Questo processo ti consente di rispondere a importanti domande aziendali, ti aiuta a generare più entrate dal traffico che hai già e pone le basi per una strategia di marketing basata sui dati.

Ulteriori informazioni: come condurre un'analisi SWOT per la tua azienda

Come funziona il test A/B

Quando utilizzi il test A/B nel contesto del marketing, mostri al 50% dei visitatori la versione A della tua risorsa (chiamiamola "controllo") e al 50% dei visitatori la versione B (chiamiamola "variante").

Vince la versione che genera il tasso di conversione più alto. Ad esempio, supponiamo che la variante (versione B) abbia prodotto il tasso di conversione più elevato. Quindi lo dichiareresti vincitore e spingeresti il ​​100% dei visitatori alla variante.

Quindi, la variante diventa il nuovo controllo ed è necessario progettare una nuova variante.

Vale la pena ricordare che un tasso di conversione del test A/B è una misura imperfetta del successo. Come mai? Puoi aumentare istantaneamente il tuo tasso di conversione rendendo tutto gratuito nel tuo negozio. Naturalmente, questa è una decisione commerciale terribile.

Ecco perché dovresti tenere traccia del valore di una conversione fino al suono di un registratore di cassa che squilla.

Elenco di lettura gratuito: ottimizzazione delle conversioni per principianti

Trasforma più visitatori del sito in clienti seguendo un corso accelerato sull'ottimizzazione delle conversioni. Accedi al nostro elenco gratuito e curato di articoli ad alto impatto di seguito.

Che cos'è il test A/B/n?

Con il test A/B/n, puoi testare più di una variante rispetto al controllo. Quindi, invece di mostrare il controllo al 50% dei visitatori e la variante al 50% dei visitatori, potresti mostrare il controllo al 25% dei visitatori, al 25% la prima variante, al 25% la seconda variante e al 25% la terza variante.

Nota: questo è diverso dal test multivariato, che coinvolge anche più varianti. Quando esegui test multivariati, non stai solo testando più varianti, stai testando anche più elementi, come test A/B test UX o SEO split test. L'obiettivo è capire quale combinazione funziona meglio.

Test multivariato
Fonte immagine: Google .

Avrai bisogno di molto traffico per eseguire test multivariati, quindi per ora puoi ignorarli.

Quanto tempo devono durare i test A/B?

Esegui il tuo test A/B per almeno uno, idealmente due, cicli economici completi. Non interrompere il test solo perché hai raggiunto la significatività. Dovrai anche soddisfare la dimensione del campione predeterminata. Infine, non dimenticare di eseguire tutti i test con incrementi di una settimana intera.

Perché due cicli economici completi? Per i principianti:

  1. Puoi tenere conto degli acquirenti "Ho bisogno di pensarci".
  2. Puoi tenere conto di tutte le diverse sorgenti di traffico (Facebook, newsletter via e-mail, ricerca organica, ecc.)
  3. Puoi rendere conto delle anomalie. Ad esempio, la newsletter e-mail del venerdì.

Se hai utilizzato qualsiasi tipo di strumento di test A/B o pagina di destinazione, probabilmente hai familiarità con la piccola icona verde "Statisticamente significativa".

Per molti, sfortunatamente, questo è il segno universale per "il test è cotto, chiamalo". Come imparerai di più di seguito, solo perché è stata raggiunta la significatività statistica del test A/B non significa che dovresti interrompere il test.

E la dimensione del campione predeterminata? Non è così intimidatorio come sembra. Apri un calcolatore della dimensione del campione, come questo di Evan Miller.

Calcolatrice delle dimensioni del campione

Questo calcolo indica che se il tuo attuale tasso di conversione è del 5% e vuoi essere in grado di rilevare un effetto del 15%, hai bisogno di un campione di 13.533 per variazione. Quindi, in totale, sono necessari oltre 25.000 visitatori se si tratta di un test A/B standard.

Guarda cosa succede se vuoi rilevare un effetto minore:

Calcolatrice delle dimensioni del campione

Tutto ciò che è cambiato è l'effetto minimo rilevabile (MDE). È diminuito dal 15% all'8%. In questo caso, è necessario un campione di 47.127 per variazione. Quindi, in totale, sono necessari quasi 100.000 visitatori se si tratta di un test A/B standard.

Che tu stia testando A/B test UX o SEO split test, la dimensione del tuo campione dovrebbe essere calcolata in anticipo, prima dell'inizio del test. Il tuo test non può fermarsi, anche se raggiunge la significatività, finché non viene raggiunta la dimensione del campione predeterminata. Se lo fa, il test non è valido.

Questo è il motivo per cui non puoi seguire senza scopo le best practice, come "smettila dopo 100 conversioni".

È anche importante eseguire test per incrementi di una settimana intera. Il tuo traffico può cambiare in base al giorno della settimana e all'ora del giorno, quindi assicurati di includere tutti i giorni della settimana.

Perché dovresti fare un test A/B?

Diciamo che spendi $ 100 in annunci di Facebook per inviare 10 persone al tuo sito. Il valore medio dell'ordine è di $ 25. Otto di questi visitatori se ne vanno senza acquistare nulla e gli altri due spendono $ 25 ciascuno. Il risultato? Hai perso $ 50.

Ora supponiamo che tu spenda $ 100 in annunci di Facebook per inviare 10 persone al tuo sito. Il valore medio dell'ordine è ancora $ 25. Questa volta, però, solo cinque di quei visitatori se ne vanno senza acquistare nulla e gli altri cinque spendono $ 25 ciascuno. Il risultato? Hai guadagnato $ 25.

Questo è uno degli esempi di test A/B più semplici, ovviamente. Ma aumentando il tasso di conversione in loco, hai reso più prezioso lo stesso traffico .

Le immagini e la copia del test A/B ti aiutano anche a scoprire informazioni dettagliate, indipendentemente dal fatto che il test vinca o perda. Questo valore è molto trasferibile. Ad esempio, un'analisi del copywriting da un test A/B della descrizione di un prodotto potrebbe aiutare a informare la tua proposta di valore, un video di prodotto o altre descrizioni di prodotti.

Inoltre, non puoi ignorare il valore intrinseco di concentrarti sul miglioramento continuo dell'efficacia del tuo negozio.

Dovresti fare un test A/B?

Non necessariamente. Se gestisci un sito a basso traffico o un'app Web o mobile, il test A/B probabilmente non è il miglior sforzo di ottimizzazione per te. Ad esempio, vedrai un ritorno sull'investimento (ROI) più elevato conducendo test sugli utenti o parlando con i tuoi clienti.

Nonostante la credenza popolare, l'ottimizzazione del tasso di conversione non inizia e non finisce con i test.

Considera i numeri del calcolatore della dimensione del campione sopra. 47.127 visitatori per variante per rilevare un effetto dell'8% se il tasso di conversione di base è del 5%. Supponiamo che tu voglia testare la pagina di un prodotto. Riceve quasi 100.000 visitatori in due o quattro settimane?

Perché due o quattro settimane? Ricorda, vogliamo eseguire test per almeno due cicli aziendali completi. Di solito, questo funziona da due a quattro settimane. Ora forse stai pensando: "Nessun problema, Shanelle, eseguirò il test per più di due o quattro settimane per raggiungere la dimensione del campione richiesta". Neanche quello funzionerà.

Vedete, più a lungo è in esecuzione un test, più è suscettibile alle minacce di validità esterna e all'inquinamento del campione. Ad esempio, i visitatori potrebbero eliminare i propri cookie e finire nuovamente nel test A/B come nuovo visitatore. Oppure qualcuno potrebbe passare dal proprio telefono cellulare al desktop e vedere una variazione alternativa.

In sostanza, lasciare che il test venga eseguito troppo a lungo è dannoso quanto non farlo funzionare abbastanza a lungo.

I test valgono l'investimento per i negozi che possono soddisfare la dimensione del campione richiesta in due o quattro settimane. I negozi che non possono prendere in considerazione altre forme di ottimizzazione fino a quando il loro traffico non aumenta.

Julia Starostenko, data scientist di Shopify, è d'accordo, spiegando:

Colpo alla testa esperto

Julia Starostenko, Shopify

“Sperimentare è divertente! Ma è importante assicurarsi che i risultati siano accurati.

“Chiediti: il tuo pubblico è abbastanza vasto? Hai raccolto abbastanza dati? Per ottenere una vera significatività statistica (entro un periodo di tempo ragionevole), la dimensione dell'audience deve essere sufficientemente ampia".

Cosa dovresti fare il test A/B?

Non posso dirti cosa dovresti fare il test A/B. Lo so, lo so. Ti semplificherebbe sicuramente la vita se potessi darti un elenco di 99 cose da testare in questo momento. Non mancano i marketer disposti a farlo in cambio dei clic.

La verità è che gli unici test che vale la pena eseguire sono i test basati sui tuoi dati. Non ho accesso ai tuoi dati, ai tuoi clienti, ecc., e nemmeno a nessuno che cura quegli enormi elenchi di idee per i test A/B. Nessuno di noi può dirti in modo significativo cosa testare.

Gli unici test che vale la pena eseguire sono i test basati sui tuoi dati.

Invece, ti incoraggio a rispondere a questa domanda da solo attraverso un'analisi qualitativa e quantitativa. Alcuni esempi di test A/B popolari sono:

  • Analisi tecnica. Il tuo negozio si carica correttamente e velocemente su tutti i browser? Su ogni dispositivo? Potresti avere un nuovo iPhone 11 brillante, ma qualcuno da qualche parte sta ancora facendo oscillare un Motorola Razr del 2005. Se il tuo sito non funziona correttamente e rapidamente, sicuramente non converte bene.
  • Indagini in loco. Questi vengono visualizzati mentre i visitatori del tuo negozio navigano in giro. Ad esempio, un sondaggio in loco potrebbe chiedere ai visitatori che sono sulla stessa pagina da un po' di tempo se c'è qualcosa che li trattiene dall'effettuare un acquisto oggi. Se è così, che cosa è? Puoi utilizzare questi dati qualitativi per migliorare la tua copia e il tasso di conversione.
  • Interviste ai clienti. Niente può sostituire parlare al telefono e parlare con i tuoi clienti. Perché hanno scelto il tuo negozio rispetto ai negozi concorrenti? Quale problema stavano cercando di risolvere quando sono arrivati ​​sul tuo sito? Ci sono un milione di domande che potresti porre per arrivare al cuore di chi sono i tuoi clienti e perché acquistano davvero da te.
  • Indagini sui clienti. I sondaggi sui clienti sono sondaggi completi rivolti a persone che hanno già effettuato un acquisto (al contrario dei visitatori). Quando progetti un sondaggio, vuoi concentrarti su: definire i tuoi clienti, definire i loro problemi, definire le esitazioni che avevano prima dell'acquisto e identificare le parole e le frasi che usano per descrivere il tuo negozio.
  • Analisi analitica. I tuoi strumenti di analisi tracciano e segnalano correttamente i tuoi dati? Potrebbe sembrare sciocco, ma saresti sorpreso da quanti strumenti di analisi sono configurati in modo errato. L'analisi analitica consiste nel capire come si comportano i tuoi visitatori. Ad esempio, potresti concentrarti sulla canalizzazione. Dove sono le tue maggiori perdite di canalizzazione di conversione? In altre parole, dove la maggior parte delle persone abbandona la tua canalizzazione? È un buon punto di partenza per i test.
  • Test utente. Qui è dove guardi persone reali in un esperimento controllato e a pagamento mentre cercano di eseguire attività sul tuo sito. Ad esempio, potresti chiedere loro di trovare un videogioco compreso tra $ 40 e $ 60 e aggiungerlo al carrello. Mentre svolgono questi compiti, raccontano i loro pensieri e le loro azioni ad alta voce.
  • Replay della sessione. I replay delle sessioni sono simili ai test degli utenti, ma ora hai a che fare con persone reali con soldi veri e reali intenzioni di acquisto. Osserverai come i tuoi visitatori effettivi navigano nel tuo sito. Cosa hanno difficoltà a trovare? Dove si frustrano? Dove sembrano confusi?

Esistono anche altri tipi di ricerca, ma inizia scegliendo la migliore metodologia di test A/B per te. Se ne esamini alcuni, avrai un'enorme lista di idee informate sui dati che vale la pena testare. Garantisco che la tua lista ti porterà più valore di qualsiasi articolo "99 cose da testare in questo momento".

Dare priorità alle idee per i test A/B

Un vasto elenco di idee per i test A/B è eccitante, ma non esattamente utile per decidere cosa testare. Da dove inizi? È qui che entra in gioco la definizione delle priorità.

Esistono alcuni framework comuni di definizione delle priorità che puoi utilizzare:

  • GHIACCIO. ICE è sinonimo di impatto, sicurezza e facilità. Ciascuno di questi fattori riceve una classifica da 1 a 10. Ad esempio, se potessi eseguire facilmente il test da solo senza l'aiuto di uno sviluppatore o designer, potresti dare un otto. Stai usando il tuo giudizio qui e se hai più di una persona che esegue i test, le classifiche potrebbero diventare troppo soggettive. Aiuta avere una serie di linee guida per mantenere tutti obiettivi.
  • TORTA. PIE sta per potenziale, importanza e facilità. Ancora una volta, ogni fattore riceve una classifica da 1 a 10. Ad esempio, se il test raggiungerà il 90% del tuo traffico, potresti dare importanza a un otto. PIE è soggettivo come ICE, quindi le linee guida possono essere utili anche per questo framework.
  • PXL. PXL è il framework di definizione delle priorità di CXL. È un po' diverso e più personalizzabile, costringendo a decisioni più obiettive. Invece di tre fattori, troverai domande sì/no e una domanda di facile implementazione. Ad esempio, il quadro potrebbe chiedere: "Il test è progettato per aumentare la motivazione?" Se sì, ottiene un 1. Se no, ottiene uno 0. Puoi saperne di più su questo framework e scaricare il foglio di calcolo qui.

Ora hai un'idea di dove iniziare, ma può anche aiutare a classificare le tue idee. Ad esempio, durante alcune ricerche di conversione che ho fatto di recente, ho utilizzato tre categorie: implementare, indagare e testare.

  • Strumento. Fallo e basta. È rotto o ovvio.
  • Indagare. Richiede una riflessione extra per definire il problema o restringere la ricerca di una soluzione.
  • Test. L'idea è valida e i dati sono informati. Provalo!

Tra questa categorizzazione e la definizione delle priorità, sei a posto.

Un corso accelerato di statistiche sui test A/B

Prima di eseguire un test, è importante approfondire le statistiche. Lo so, le statistiche di solito non sono le preferite dai fan, ma pensa a questo come al corso richiesto che devi seguire a malincuore per laurearti.

Le statistiche sono una parte importante dei test A/B. Fortunatamente, gli strumenti di test A/B e il software di test diviso hanno semplificato il lavoro di un ottimizzatore, ma una comprensione di base di ciò che sta accadendo dietro le quinte è fondamentale per analizzare i risultati dei test in un secondo momento.

Alex Birkett, Growth Marketing Manager di HubSpot, spiega:

Colpo alla testa esperto

Alex Birkett, HubSpot

“Le statistiche non sono un numero magico di conversioni o un binario 'Success!' o 'Fallimento'. È un processo utilizzato per prendere decisioni in condizioni di incertezza e per ridurre il rischio cercando di ridurre la confusione su quale sarà l'esito di una determinata decisione.

“Con questo in mente, penso che sia assolutamente necessario conoscere le basi: cos'è una media, varianza, campionamento, deviazione standard, regressione alla media e cosa costituisce un campione 'rappresentativo'. Inoltre, quando si inizia con i test A/B, è utile impostare alcuni guardrail specifici per mitigare il maggior numero possibile di errori umani".

Cosa significa?

La media è la media. Il tuo obiettivo è trovare un mezzo che sia rappresentativo del tutto.

Ad esempio, supponiamo che tu stia cercando di trovare il prezzo medio dei videogiochi. Non aggiungerai il prezzo di tutti i videogiochi del mondo e lo dividerai per il numero di tutti i videogiochi del mondo. Invece, isolerai un piccolo campione che è rappresentativo di tutti i videogiochi del mondo.

Potresti finire per trovare il prezzo medio di un paio di centinaia di videogiochi. Se hai selezionato un campione rappresentativo, il prezzo medio di quei duecento videogiochi dovrebbe essere rappresentativo di tutti i videogiochi del mondo.

Che cos'è il campionamento?

Maggiore è la dimensione del campione, minore sarà la variabilità, il che significa che è più probabile che la media sia accurata.

Quindi, se aumentassi il tuo campione da duecento videogiochi a duemila videogiochi, avresti meno varianza e una media più precisa.

Cos'è la varianza?

La varianza è la variabilità media. In sostanza, maggiore è la variabilità, meno accurata sarà la media nella previsione di un singolo punto dati.

Quindi, quanto è vicina la media al prezzo effettivo di ogni singolo videogioco?

Che cos'è la significatività statistica?

Supponendo che non ci sia differenza tra A e B, quante volte vedrai l'effetto per caso?

Più basso è il livello di significatività statistica, maggiore è la possibilità che la tua variante vincente non sia affatto vincente.

In poche parole, un livello di significatività basso significa che c'è una grande possibilità che il tuo "vincitore" non sia un vero vincitore (questo è noto come un falso positivo).

Tieni presente che la maggior parte degli strumenti di test A/B e dei software di test A/B open source chiamano significatività statistica senza attendere il raggiungimento di una dimensione del campione o di un momento predeterminato. Ecco perché potresti notare che il tuo test oscilla avanti e indietro tra statisticamente significativo e statisticamente insignificante.

Peep Laja, fondatore del CXL Institute, vuole che più persone capiscano davvero la significatività statistica del test A/B e perché è importante:

Colpo alla testa esperto

Peep Laja, Istituto CXL

“Il significato statistico non è uguale alla validità, non è una regola di arresto. Quando raggiungi una significatività statistica del 95% o superiore, significa molto poco prima che siano state soddisfatte altre due condizioni più importanti:

“1. C'è abbastanza dimensione del campione, che scopri usando i calcolatori della dimensione del campione. Ciò significa che un numero sufficiente di persone ha preso parte all'esperimento in modo che possiamo concludere qualsiasi cosa.

“2. Il test è stato eseguito abbastanza a lungo in modo che il campione sia rappresentativo (e non troppo lungo per evitare l'inquinamento del campione). Nella maggior parte dei casi ti consigliamo di eseguire i test due, tre o quattro settimane, a seconda della velocità con cui puoi ottenere il campione necessario".

Che cos'è la regressione alla media?

Potresti notare fluttuazioni estreme all'inizio del tuo test A/B.

La regressione alla media è il fenomeno che dice che se qualcosa è estremo alla sua prima misurazione, sarà probabilmente più vicino alla media alla sua seconda misurazione.

Se l'unico motivo per cui stai chiamando un test è perché ha raggiunto la significatività statistica, potresti vedere un falso positivo. La tua variazione vincente probabilmente regredirà alla media nel tempo.

Che cos'è il potere statistico?

Supponendo che ci sia una differenza tra A e B, con quale frequenza vedrai l'effetto?

Più basso è il livello di potenza, maggiore è la possibilità che un vincitore non venga riconosciuto. Maggiore è il livello di potenza, minori sono le possibilità che un vincitore non venga riconosciuto. In realtà, tutto ciò che devi sapere è che l'80% della potenza statistica è standard per la maggior parte degli strumenti di test A/B e/o qualsiasi servizio di test diviso.

Ton Wesseling, fondatore di Online Dialogue, desidera che più persone sappiano del potere statistico:

Colpo alla testa esperto

Ton Wesseling, Dialogo in linea

“Molte persone si preoccupano dei falsi positivi. Ci preoccupiamo molto di più dei falsi negativi. Perché eseguire esperimenti in cui le possibilità di trovare la prova che il tuo cambiamento positivo ha un impatto sono davvero basse?

Cosa sono le minacce alla validità esterna?

Ci sono fattori esterni che minacciano la validità dei test. Per esempio:

  • Saldi del Black Friday Cyber ​​Monday (BFCM).
  • Una menzione della stampa positiva o negativa
  • Un importante lancio di una campagna a pagamento
  • Il giorno della settimana
  • Le stagioni che cambiano

Uno degli esempi di test A/B più comuni in cui le minacce alla validità esterna influiscono sui risultati è durante gli eventi stagionali. Supponiamo che dovessi eseguire un test a dicembre. Le grandi festività dello shopping significherebbero un aumento del traffico per il tuo negozio durante quel mese. A gennaio potresti scoprire che il tuo vincitore di dicembre non sta più andando bene.

Come mai?

A causa di una minaccia di validità esterna: le vacanze.

I dati su cui hai basato la tua decisione sul test erano un'anomalia. Quando le cose si sistemeranno a gennaio, potresti essere sorpreso di scoprire che il tuo vincitore perde.

Non puoi eliminare le minacce alla validità esterna, ma puoi mitigarle eseguendo test per settimane intere (ad esempio, non iniziare un test di lunedì e terminarlo di venerdì), inclusi diversi tipi di traffico (ad esempio, non t testare esclusivamente il traffico a pagamento e quindi distribuire i risultati a tutte le sorgenti di traffico), tenendo conto delle potenziali minacce.

Se ti capita di eseguire un test durante un'intensa stagione di acquisti, come BFCM, o attraverso una grave minaccia di validità esterna, potresti voler leggere la nostra Guida completa ai test A/B.

Come impostare un test A/B

Esaminiamo un piccolo tutorial sui test A/B. Prima di testare qualsiasi cosa , devi avere una solida ipotesi. (Ottimo, abbiamo appena finito la lezione di matematica e ora passiamo alle scienze.)

Non preoccuparti, non è complicato. Fondamentalmente, devi testare un'ipotesi, non un'idea. Un'ipotesi è misurabile, aspira a risolvere un problema di conversione specifico e si concentra sulle intuizioni anziché sulle vincite.

Devi testare A/B un'ipotesi, non un'idea.

Ogni volta che scrivo un'ipotesi, utilizzo una formula presa in prestito dal kit di ipotesi di Craig Sullivan:

  • Perché vedi [inserire dati/feedback dalla ricerca]
  • Ti aspetti che [modifica che stai testando] causerà [impatto che prevedi] e
  • Lo misurerai usando [data metric]

Facile, vero? Tutto quello che devi fare è riempire gli spazi vuoti e la tua idea di test si è trasformata in un'ipotesi.

Scelta di uno strumento di test A/B

Ora puoi iniziare a scegliere uno strumento di test A/B o un servizio di test diviso. Il più delle volte, penserai prima a Google Optimize, Optimizely e VWO.

Sono tutte opzioni buone e sicure.

  • Google Ottimizza. Gratuito, salvo alcune limitazioni multivariate, che non dovrebbero avere un vero impatto su di te se hai appena iniziato. Funziona bene quando si esegue il test A/B di Google Analytics, il che è un vantaggio.
  • In modo ottimale. Facile da mettere in funzione i test minori, anche senza competenze tecniche. Stats Engine semplifica l'analisi dei risultati dei test. In genere, Optimizely è l'opzione più costosa delle tre.
  • VWO. VWO ha SmartStats per semplificare l'analisi. Inoltre, ha un ottimo editor WYSIWYG per principianti. Ogni piano VWO include mappe di calore, sondaggi in loco, analisi dei moduli, ecc.

Abbiamo anche alcuni strumenti di test A/B nell'App Store di Shopify che potresti trovare utili.

Dopo aver selezionato uno strumento di test A/B o un software di split test, compila il modulo di iscrizione e segui le istruzioni fornite. Il processo varia da strumento a strumento. In genere, però, ti verrà chiesto di installare uno snippet sul tuo sito e di stabilire degli obiettivi.

Come analizzare i risultati del test A/B

Ricordi quando ho detto che scrivere un'ipotesi sposta l'attenzione dalle vittorie alle intuizioni? Krista Seiden, Analytics Advocate e Product Manager di Google, spiega cosa significa:

Colpo alla testa esperto

Krista Seiden, Google

"L'aspetto più trascurato dei test A/B è imparare dai tuoi perdenti. Infatti, nei programmi di ottimizzazione che ho eseguito, ho l'abitudine di pubblicare un 'rapporto sui fallimenti' in cui chiamo alcuni dei più grandi perdenti del trimestre e quello che abbiamo imparato da loro.

“Uno dei miei preferiti di tutti i tempi proveniva da una campagna che richiedeva mesi di preparazione. Siamo stati in grado di intrufolarci nel test della pagina di destinazione appena prima che fosse impostato per essere pubblicato, ed è una buona cosa che abbiamo fatto, perché ha fallito miseramente. Se avessimo effettivamente lanciato la pagina così com'era, avremmo preso un colpo significativo per la linea di fondo. Non solo abbiamo finito per risparmiare un sacco di soldi all'azienda, ma siamo stati in grado di approfondire e fare alcune ipotesi (che in seguito abbiamo testato) sul motivo per cui la nuova pagina aveva ottenuto risultati così scarsi, e questo ci ha reso migliori marketer e più successo nelle campagne future”.

Se elabori correttamente la tua ipotesi, anche un perdente è un vincitore, perché otterrai informazioni che puoi utilizzare per test futuri e in altre aree della tua attività. Quindi, quando analizzi i risultati del test, devi concentrarti sugli approfondimenti, non se il test ha vinto o perso. C'è sempre qualcosa da imparare, sempre qualcosa da analizzare. Non respingere i perdenti!

Se elabori correttamente la tua ipotesi, anche un perdente è un vincitore.

La cosa più importante da notare qui è la necessità di segmentazione. Un test potrebbe essere un perdente nel complesso, ma è probabile che abbia funzionato bene con almeno un segmento. Cosa intendo per segmento?

  • Nuovi visitatori
  • Visitatori di ritorno
  • Visitatori iOS
  • Visitatori Android
  • Visitatori di Chrome
  • Visitatori di Safari
  • Visitatori desktop
  • Visitatori di tablet
  • Visitatori di ricerca organici
  • Visitatori a pagamento
  • Visitatori dei social media
  • Acquirenti registrati

Hai avuto l'idea, vero?

Quando guardi i risultati nel tuo strumento di test, stai guardando l'intera scatola di caramelle. Quello che devi fare è separare gli Smarties per colore in modo da poter mangiare quelli rossi per ultimi. Voglio dire, così puoi scoprire intuizioni più profonde e segmentate.

È probabile che l'ipotesi sia stata dimostrata giusta in alcuni segmenti. Anche questo ti dice qualcosa.

L'analisi è molto di più del fatto che il test sia stato un vincitore o un perdente. Segmenta i tuoi dati per trovare informazioni nascoste sotto la superficie.

Gli strumenti di test A/B non eseguiranno l'analisi per te, quindi questa è un'abilità importante da sviluppare nel tempo.

Ebook gratuito: analisi dell'e-commerce per principianti

Scopri quali metriche sono la chiave per stabilire e far crescere il tuo business online. Questa guida gratuita è il primo passo perfetto per conoscere l'analisi dell'e-commerce.

Come archiviare i test A/B passati

Diciamo che esegui il tuo primo test domani. Tra due anni da domani, ricorderete i dettagli di quel test? Non è probabile.

Ecco perché l'archiviazione dei risultati dei test A/B è importante. Senza un archivio ben mantenuto, tutte le informazioni che stai ottenendo andranno perse. Inoltre, non ti prendo in giro, è molto facile testare la stessa cosa due volte se non stai archiviando.

Tuttavia, non esiste un modo "giusto" per farlo. Potresti usare uno strumento come Progetti o Esperimenti efficaci, oppure potresti usare Excel. Dipende davvero da te, specialmente quando hai appena iniziato. Assicurati solo di tenere traccia di:

  • Le ipotesi
  • Screenshot del controllo e della variazione
  • Che abbia vinto o perso
  • Approfondimenti ottenuti attraverso l'analisi

Man mano che cresci, ti ringrazierai per aver conservato questo archivio. Non solo aiuterà te, ma anche i nuovi assunti e i consulenti/stakeholder.

Processi di test A/B dei professionisti

Ora che hai seguito un tutorial di test A/B standard, diamo un'occhiata ai processi esatti dei professionisti di aziende come Google e HubSpot.

Elenco di lettura gratuito: ottimizzazione delle conversioni per principianti

Trasforma più visitatori del sito in clienti seguendo un corso accelerato sull'ottimizzazione delle conversioni. Accedi al nostro elenco gratuito e curato di articoli ad alto impatto di seguito.

Krista Seiden, Google

Il mio processo passo passo per il test A/B del web e delle app inizia con l'analisi: secondo me, questo è il fulcro di qualsiasi buon programma di test. Nella fase di analisi, l'obiettivo è esaminare i dati analitici, i dati di sondaggi o UX o qualsiasi altra fonte di informazioni sui clienti che potresti avere per capire dove sono le tue opportunità di ottimizzazione.

Una volta che hai una buona pipeline di idee dalla fase di analisi, puoi passare a ipotizzare cosa potrebbe andare storto e come potresti potenzialmente correggere o migliorare queste aree di ottimizzazione.

Successivamente, è il momento di creare ed eseguire i test. Assicurati di eseguirli per un periodo di tempo ragionevole (di default sono due settimane per assicurarmi di tenere conto delle modifiche o delle anomalie settimana dopo settimana) e quando disponi di dati sufficienti, analizza i risultati per determinare il vincitore.

È anche importante prendersi del tempo in questa fase per analizzare anche i perdenti: cosa puoi imparare da queste variazioni?

Infine, e potresti raggiungere questa fase solo dopo aver trascorso del tempo a gettare le basi per un solido programma di ottimizzazione, è tempo di esaminare la personalizzazione. Ciò non richiede necessariamente un set di strumenti di fantasia, ma piuttosto può derivare dai dati che hai sui tuoi utenti.

La personalizzazione del marketing può essere facile come indirizzare il contenuto giusto nelle posizioni giuste o complessa quanto il targeting basato sulle azioni dei singoli utenti. Tuttavia, non saltare tutto in una volta sul bit di personalizzazione. Assicurati di dedicare prima abbastanza tempo per ottenere le basi giuste.

Alex Birkett, HubSpot

Ad alto livello, provo a seguire questo processo:

  • Raccogli i dati e assicurati che le implementazioni di analisi siano accurate.
  • Analizza i dati e trova approfondimenti.
  • Trasforma le intuizioni in ipotesi.
  • Assegnare priorità in base all'impatto e alla facilità e massimizzare l'allocazione delle risorse (soprattutto tecniche).
  • Esegui un test (seguendo le migliori pratiche statistiche al meglio delle mie conoscenze e capacità).
  • Analizzare i risultati e implementare o meno in base ai risultati.
  • Iterare in base ai risultati e ripetere.

In parole povere: ricercare, testare, analizzare, ripetere.

Sebbene questo processo possa deviare o cambiare in base al contesto (Sto testando una funzionalità di un prodotto business-critical? Un CTA per un post sul blog? Qual è il profilo di rischio e l'equilibrio tra innovazione e mitigazione del rischio?), è abbastanza applicabile a qualsiasi dimensione o tipo di azienda.

Il punto è che questo processo è agile, ma raccoglie anche dati sufficienti, sia il feedback qualitativo dei clienti che l'analisi quantitativa, per essere in grado di elaborare idee di test migliori e dare loro una migliore priorità in modo da poter indirizzare il traffico verso il tuo negozio online.

Ton Wesseling, Dialogo in linea

La prima domanda a cui rispondiamo sempre quando vogliamo ottimizzare il percorso del cliente è: dove si inserisce questo prodotto o servizio nel modello ROAR che abbiamo creato in Online Dialogue? Sei ancora nella fase di rischio in cui potremmo fare molte ricerche ma non possiamo convalidare i nostri risultati attraverso esperimenti online di test A/B (sotto le 1.000 conversioni al mese) o sei nella fase di ottimizzazione? O anche sopra?

  • Fase di rischio: molta ricerca , che si tradurrà in qualsiasi cosa, da un modello di business pivot a un design e una proposta di valore completamente nuovi.
  • Fase di ottimizzazione: grandi esperimenti che ottimizzeranno la proposta di valore e il modello di business.
  • Fase di ottimizzazione: piccoli esperimenti per convalidare ipotesi di comportamento degli utenti, che accumuleranno conoscenze per modifiche progettuali più ampie.
  • Automazione: hai ancora potere di sperimentazione (visitatori) rimasto, il che significa che il tuo pieno potenziale di test non è necessario per convalidare il tuo percorso utente. Ciò che resta dovrebbe essere utilizzato per sfruttare, per crescere più velocemente ora (senza concentrarsi sull'apprendimento a lungo termine). Questo potrebbe essere automatizzato eseguendo banditi/utilizzando algoritmi.
  • Ripensare : smetti di aggiungere molte ricerche, a meno che non sia un perno verso qualcosa di nuovo.

RUGGITO

Quindi il test A/B del web o dell'app è solo una cosa importante nella fase di ottimizzazione di ROAR e oltre (fino a quando non ci ripensa).

Il nostro approccio all'esecuzione degli esperimenti è il modello FACT & ACT:

FATTO E ATTO

La ricerca che facciamo si basa sul nostro modello 5V:

Modello 5V

Raccogliamo tutte queste informazioni per elaborare un'ipotesi principale supportata dalla ricerca, che porterà a sottoipotesi a cui verrà data la priorità in base ai dati raccolti tramite test A/B desktop o mobili. Maggiore è la possibilità che l'ipotesi sia vera, maggiore sarà la classifica.

Una volta appreso se la nostra ipotesi è vera o falsa, possiamo iniziare a combinare gli apprendimenti e fare passi più grandi ridisegnando/riallineando parti più ampie del percorso del cliente. Tuttavia, a un certo punto, tutte le implementazioni vincenti porteranno a un massimo locale. Quindi devi fare un passo più grande per poter raggiungere un potenziale massimo globale.

E, naturalmente, le principali conoscenze saranno diffuse in tutta l'azienda, il che porterà a tutti i tipi di ottimizzazione e innovazione più ampie basate sulle tue intuizioni proprietarie convalidate.

Fai marketing per un pubblico internazionale? Scopri come semplificare questo processo con la pseudo-localizzazione.

Julia Starostenko, Shopify

Lo scopo di un esperimento è convalidare che apportare modifiche a una pagina Web esistente avrà un impatto positivo sull'azienda.

Prima di iniziare, è importante determinare se l'esecuzione di un esperimento è veramente necessaria. Considera il seguente scenario: c'è un pulsante con una percentuale di clic estremamente bassa. Sarebbe quasi impossibile ridurre le prestazioni di questo pulsante. Non è quindi necessario convalidare l'efficacia di una modifica proposta al pulsante (ad es. eseguire un esperimento).

Allo stesso modo, se la modifica proposta al pulsante è piccola, probabilmente non vale la pena spendere tempo per impostare, eseguire e demolire un esperimento. In questo caso, le modifiche dovrebbero essere distribuite a tutti e le prestazioni del pulsante possono essere monitorate.

Se viene stabilito che eseguire un esperimento sarebbe effettivamente vantaggioso, il passaggio successivo consiste nel definire le metriche aziendali che dovrebbero essere migliorate (ad esempio, aumentare il tasso di conversione di un pulsante). Quindi ci assicuriamo che sia in atto una corretta raccolta dei dati.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, Istituto CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • Conduci ricerche di conversione utilizzando un framework come ResearchXL per identificare i problemi sul tuo sito.
  • Scegli un problema ad alta priorità (quello che interessa una gran parte degli utenti ed è un problema grave) e cerca di trovare quante più soluzioni possibili a questo problema. Informa il tuo processo di ideazione con le informazioni sulla ricerca di conversione. Determina su quale dispositivo desideri eseguire il test (è necessario eseguire il test A/B mobile separatamente dal desktop).
  • Determina quante varianti puoi testare (in base al tuo livello di traffico/transazione), quindi scegli le tue migliori idee da una a due per una soluzione da testare contro il controllo.
  • Wireframe i trattamenti esatti (scrivere la copia, apportare le modifiche al design, ecc.) A seconda dell'ambito delle modifiche potrebbe essere necessario includere anche un designer per progettare nuovi elementi.
  • Chiedi al tuo sviluppatore front-end di implementare i trattamenti nel tuo strumento di test. Imposta le integrazioni necessarie (Google Analytics), imposta obiettivi appropriati.
  • Conduci il controllo qualità sul test (i test non funzionanti sono di gran lunga il più grande killer di test A/B) per assicurarti che funzioni con ogni combinazione di browser/dispositivo.
  • Lancia il test!
  • Una volta terminato il test, condurre un'analisi post-test.
  • A seconda del risultato, implementare il vincitore, ripetere i trattamenti o testare qualcos'altro.
Icona del modello

Webinar gratuito:

Marketing 101

Lottando per aumentare le vendite? Scopri come passare dal primo giorno alla prima vendita in questo corso di formazione gratuito.

Iscriviti ora

Ottimizza i test A/B per la tua azienda

Hai il processo, hai il potere! Quindi, esci, ottieni il miglior software di test A/B e inizia a testare il tuo negozio. Prima che tu te ne accorga, quelle intuizioni si sommeranno a più soldi nella Banca di te.

Se vuoi continuare a imparare l'ottimizzazione, prendi in considerazione un corso gratuito, come il test A/B di Udacity di Google. Puoi saperne di più sui test A/B delle app web e mobili per aumentare le tue competenze di ottimizzazione.