Jak przygotować się na sukces testów A/B?

Jedną z rzeczy, które uwielbiam w poczcie e-mail, są dane. Ponieważ jest tak łatwo dostępny, można łatwo przeprowadzać testy podzielone i sprawdzać wydajność poczty e-mail w czasie rzeczywistym. Często zastaniesz mnie ślęczącego nad arkuszami kalkulacyjnymi i ciągle odświeżających dane, jakbym obserwował bliski wyścig.

Ale nic z tego nie ma znaczenia, jeśli testy A/B nie są poprawnie skonfigurowane.

Bez solidnych podstaw wyniki testu A/B są niewiarygodne i mogą prowadzić w złym kierunku. A to może kosztować Cię zaangażowanie, konwersje, a ostatecznie subskrybentów i klientów. Dlatego zanim pomyślisz o kolejnym teście, upewnij się, że jesteś przygotowany na sukces, aby uzyskać informacje potrzebne do prowadzenia strategii marketingowej.

A kto lepiej mógłby porozmawiać o testach A/B niż nasz stały ekspert ds. testów i starszy menedżer ds. rozwoju, John Kim? John prowadzi większość testów konwersji na naszej stronie internetowej i sporo mnie nauczył, jak doskonalić własne umiejętności. A teraz ty też będziesz się od niego uczyć.

Jakie są kluczowe rzeczy, które musisz zrobić, aby przeprowadzić pomyślny test A/B?

Bez względu na to, gdzie testujesz (np. poczta e-mail, witryna internetowa, aplikacja w aplikacji czy reklama płatna), podstawy pozostają takie same. Popraw je, a znajdziesz się na dobrej drodze do wyników, którym możesz zaufać i podjąć odpowiednie działania.

Wiedz, co testujesz

Przed wykonaniem testu A/B bardzo ważne jest, aby dokładnie zrozumieć, co zamierzasz przetestować. W Litmus mamy szereg kryteriów, które dokumentujemy dla każdego testu A/B, aby upewnić się, że maksymalizujemy nasze szanse na sukces i naukę.

Hipoteza

Być może najważniejszym elementem twojego testu A/B — dobra hipoteza — jest odpowiedź na problem, który próbujesz rozwiązać.

Twoja hipoteza powinna być jasna, skoncentrowana i oparta na pewnych podstawowych lub ograniczonych dowodach. Mówiąc prościej, jest to wykształcone przypuszczenie, w jaki sposób możesz rozwiązać złożony problem biznesowy. Ważne jest, aby Twoja hipoteza była jasno zdefiniowana, ponieważ eksperyment zostanie zaprojektowany w celu jej przetestowania.

Zacznij pisać swoją hipotezę! W naszym przypadku są one często pisane przy użyciu instrukcji if-then .

Przykład: jeśli zmienimy nasz standardowy kolor przycisku na pomarańczowy zamiast na zielony, zauważymy wzrost klikalności.

Bramka

Kolejnym elementem, który lubimy dokumentować przed przeprowadzeniem jakiegokolwiek eksperymentu, jest cel eksperymentu. Ostatecznie, co chcesz osiągnąć dla swojej firmy?

Jasno wyjaśnij, co oznacza dla Ciebie sukces.

Przykład: naszym celem jest zwiększenie klikalności przycisku, aby z kolei zwiększyć liczbę konwersji na następnej stronie, co skutkuje wyższymi rejestracjami na okres próbny lub ogólną liczbą aktywacji.

Metryka

Przed rozpoczęciem eksperymentu ważne jest, aby wiedzieć, co będziesz monitorować pod kątem podstawowych danych. Biorąc pod uwagę swoją hipotezę i cel, jasno określ, którego jednego lub dwóch wskaźników użyjesz do określenia sukcesu, jeśli chodzi o wcześniej określone cele.

Ten krok jest ważny, ponieważ będziesz chciał się upewnić, że:

1. Dowiedz się, które dane są dla Ciebie ważne
2. Mieć możliwość monitorowania i przypisywania tej aktywności z powrotem do danego użytkownika i kohorty (odbiorców testowych i kontrolnych pobranych z ogólnej grupy odbiorców).
3. Poznaj swoje drugorzędne dane. Oprócz podstawowych danych ważne jest, aby monitorować interakcje użytkowników z resztą Twoich doświadczeń.

Poręcze

Różne sposoby, w jakie dany test może wpłynąć na Twoją firmę, mogą być zaskoczeniem.

To, co robimy na tym etapie, to dokumentowanie wszystkich wskaźników i kanałów, na które nadchodzący test A/B może mieć pozytywny lub negatywny wpływ.

Ważne jest, aby wykonać to ćwiczenie, abyśmy mogli:

1. Zminimalizuj niespodzianki dla dowolnego testu
2. Rozważ (najlepiej jak to możliwe) potencjalne korzyści z ryzykiem/barierami ochronnymi.

Nasz zespół wkłada wiele wysiłku w przygotowanie do testów. Do każdego testu przystępujemy z realistycznymi oczekiwaniami, progami sukcesu i porażki i jesteśmy przygotowani na wiele wyników.

Uzyskaj dostęp do nietypowych danych dotyczących poczty e-mail w programie Litmus Analytics Standardowe wskaźniki e-maili, takie jak współczynnik otwarć, współczynnik klikalności, współczynnik rezygnacji z subskrypcji i inne, mogą tylko tyle powiedzieć. Dowiedz się, w jaki sposób Twoi odbiorcy wchodzą w interakcję z Twoimi e-mailami, korzystając ze szczegółowych informacji, takich jak klient poczty e-mail, współczynnik odczytu i inne. Uzyskaj więcej danych e-mail →

Podziel test i śledź

Testy A/B lub testy podzielone to powszechnie dostępna funkcja, oferowana przez większość dostawców usług poczty elektronicznej (ESP) i platformy Marketing Automation. Jeśli chcesz przeprowadzić testy w swojej witrynie marketingowej lub swojej aplikacji, narzędzia takie jak VWO lub Optimizely również oferują rozwiązania.

Jeśli chodzi o wybór odbiorców, określ liczbę osób, których potrzebujesz, aby wziąć udział w ogólnym teście, aby ustalić istotność statystyczną lub prawdopodobieństwo, że różnica we współczynnikach konwersji między grupą A i grupą B nie wynika z przypadku losowego . Jeśli masz wystarczająco dużą publiczność, będziesz chciał wydzielić część swojej ogólnej publiczności, aby podzielić 50/50 na te grupy. W Litmus na przestrzeni lat natrafiliśmy na różne narzędzia, które mogą nam pomóc. Jednym z naszych ulubionych jest kalkulator testów A/B Neila Patela.

Po ustaleniu, ile osób musi znajdować się w grupie odbiorców testowych, połowa z nich nie powinna mieć żadnych zmian w ich doświadczeniu. Ta grupa będzie twoją grupą kontrolną. Najlepiej, jak to możliwe, ich doświadczenie powinno bardzo przypominać to, co uważasz za swoje podstawowe lub typowe doświadczenie. Druga połowa odbiorców będzie twoją kohortą wariantów. Dla użytkowników z tej grupy zastosuj zabieg testowy.

Testy A/B są zwykle analizowane na poziomie kohorty. Znaczenie — oceniamy, czy kohorta, która otrzymała doświadczenie leczenia, zmieniła się znacząco inaczej niż kohorta kontrolna.

Ważne jest, aby umieszczenie widza w danej kohorcie było losowe i aby każdy otrzymał tylko jeden zabieg. Jeśli weźmiemy pod uwagę skład każdej z kohort (test i kontrola), chcemy mieć pewność, że nie wprowadzamy żadnych uprzedzeń w kierunku określonej cechy demograficznej, firmograficznej lub jakiejkolwiek innej cechy użytkownika dla pojedynczej kohorty. Losowanie kohort i posiadanie mniejszej liczby wariantów zapewnia, że ​​kohorty reprezentują losowy wybór odbiorców.

Zawijanie

Testy A/B nie muszą być trudne, ale jeśli nie skonfigurujesz ich poprawnie, spostrzeżenia, które z nich uzyskasz, nie będą wiele znaczyły. Zrozumienie podstaw, które tutaj omówiliśmy, zapewni Ci sukces, dzięki czemu będziesz mógł zastosować zdobytą wiedzę w całej swojej strategii marketingowej. Pamiętaj, cofnij się o krok, aby przemyśleć każdy element, a będziesz na dobrej drodze. Bądź na bieżąco z naszym blogiem poświęconym testowaniu A/B Twojego e-mail marketingu, w którym zagłębimy się w testowanie naszego ulubionego kanału.

Więcej danych. Więcej informacji. Uzyskaj więcej danych poczty e-mail — więcej informacji — gdy wyjdziesz poza standardowe dane dotyczące poczty e-mail. Uzyskaj dostęp do szybkości odczytu, szybkości przekazywania i nie tylko dzięki mocy Litmus Email Analytics wbudowanej bezpośrednio w Litmus Plus. Wypróbuj Litmus Plus za darmo →