13 błędów w testach A/B w wiadomości e-mail, które ograniczają Twój sukces

„Musisz testować, w przeciwnym razie po prostu zgadujesz” – powiedział Stuart Clark z Red C na Litmus Live London 2017. Testy A/B e-maili były powracającym tematem na wszystkich trzech imprezach Litmus Live w zeszłym roku, a także w tym rok. Nie jest to niespodzianką, ponieważ jest to jedna z najpotężniejszych możliwości dla marketerów e-mailowych do iterowania i ulepszania swoich kampanii.

Testy A/B mogą pomóc w odkryciu istotnych zmian w tematach, projektach wiadomości e-mail, stronach docelowych i nie tylko. Jak duże mogą być zyski?

„Marki e-commerce, które testują A/B
ich e-maile generują 20% więcej przychodów
średnio."

—Alex Kelly (MailChimp)
na Litmus Live 2017

Tweet ten cytat →

Aby przetestować A/B swoje e-maile, wystarczy przedstawić dwie odmiany dwóm różnym grupom subskrybentów, a następnie posłuchać. Metryki wskażą Ci ich preferencje, na podstawie których możesz działać albo w perspektywie krótkoterminowej, wysyłając zwycięską odmianę do większej liczby odbiorców, albo w dłuższej perspektywie, stosując tę ​​preferencję do przyszłych kampanii.

Brzmi to prosto — i do pewnego stopnia jest to możliwe dzięki dostawcom usług pocztowych i dostawcom oprogramowania testującego, którzy wprowadzają funkcje, które sprawiają, że testy A/B poczty e-mail są znacznie łatwiejsze do wykonania niż w przeszłości. Jednak dość łatwo jest zepsuć testy A/B e-maili i albo dojść do złych wniosków, albo całkowicie podważyć wyniki.

Aby tego uniknąć, oto 13 wskazówek, dzięki którym w pełni wykorzystasz testy A/B poczty e-mail:

1. Przetestuj swoje automatyczne i transakcyjne wiadomości e-mail, a nie tylko wiadomości emisyjne i segmentowane.

Prawie 39% marek nigdy lub rzadko A/B testuje swoją emisję i segmentowane wiadomości e-mail, zgodnie z badaniem stanu poczty e-mail przeprowadzonym przez Litmus w 2018 roku.

To stracona okazja, ale na stole pozostaje jeszcze więcej pieniędzy, gdy spojrzysz na automatyczne i transakcyjne wiadomości e-mail. Ponad 65% marek nigdy lub rzadko A/B testuje swoje automatyczne wiadomości e-mail, a 76% nigdy lub rzadko A/B testuje swoje wiadomości transakcyjne.

To wstyd, ponieważ podczas gdy testy A/B transmisji i segmentowanych wiadomości e-mail zapewniają przewagę nad konkurencją, testy A/B wiadomości automatycznych i transakcyjnych dają ogromną przewagę. Skuteczne programy pocztowe są o 58% bardziej skłonne niż programy mniej skuteczne do testowania A/B swoich wywołanych wiadomości e-mail co najmniej raz w roku. A programy, które odniosły sukces, są o 53% bardziej skłonne do testowania A/B swoich transakcyjnych wiadomości e-mail przynajmniej raz w roku.

Obie te akcje znajdują się w pierwszej dziesiątce z 20 rzeczy, które są skuteczne w programach e-mail marketingu.

Chociaż wyzwolone wiadomości e-mail są często chwalone jako ustawione i zapominają o programach, pamiętaj, że nic w e-mail marketingu nie polega na ustawieniu „ustaw i zapomnij”. Te e-maile stanowią większość przychodów z marketingu e-mailowego w ponad 13% marek, zgodnie z badaniem stanu poczty e-mail przeprowadzonym przez Litmus w 2018 roku. A ten procent będzie tylko rósł w nadchodzących latach.

2. Skoncentruj swoje wysiłki w zakresie testów A/B wiadomości e-mail na elementach kampanii, które z największym prawdopodobieństwem przesuną wskazówkę na temat wydajności.

Czasami drobne poprawki drobnych elementów mogą przesunąć igłę za Ciebie, ale ogólnie rozsądnie jest skoncentrować się na testowaniu kluczowych elementów wiadomości e-mail, takich jak wiersze tematu, wezwania do działania i obrazy.

Według naszej ankiety przeprowadzonej wśród 3000 marketerów, większość marek skupia się obecnie na testowaniu A/B poczty e-mail. Ty też powinieneś.

Oprócz tych elementów, Twoje automatyczne wiadomości e-mail zawierają inne elementy, które warto przetestować. W mojej książce Zasady marketingu e-mailowego polecam testowanie:

• Inna logika wyzwalania automatycznych wiadomości e-mail
• Jak szybko wysłać wiadomość po jej uruchomieniu
• Czy wysłać serię automatycznych wiadomości e-mail
• Opóźnienie między automatycznymi wiadomościami e-mail w serii
• W jakich warunkach automatyczny e-mail w serii jest pomijany
• Na jakich warunkach kończy się automatyczna seria e-maili

3. Zrozum, czy twoje testy zbliżą cię do lokalnego maksimum, czy globalnego maksimum.

Czy testujesz kolejne poprawki lub radykalne zmiany w swoim e-mailu? Ważne jest, aby to zrozumieć, ponieważ, jak zauważyła Janie Clarke, menedżer produktu Indeed w Litmus Live San Francisco, drobne poprawki mogą pomóc w osiągnięciu szczytu lokalnego maksimum, ale nie pomogą w odkryciu nowego globalnego maksimum. Aby to znaleźć, musisz wypróbować zupełnie inne podejście.

Na przykład testowanie koloru przycisku lub testowanie linku tekstowego w porównaniu z przyciskiem tylko pomoże ci zbliżyć się do optymalizacji projektu wiadomości e-mail lub osiągnąć lokalne maksimum. Jednak testowanie projektu z dużą ilością kopii w porównaniu z projektem z obrazami lub interaktywnym e-mailem w porównaniu z e-mailem zawierającym tylko tekst może pomóc w znalezieniu najlepszego sposobu przekazania wiadomości — lub odkryciu globalnego maksimum.

4. Ogranicz swoje testy A/B do jednej rzeczy na raz.

Jeśli nie robisz testów na wielu odmianach, będziesz chciał ograniczyć testy A/B do jednej zmiany na test. Na przykład możesz przetestować…

• Zielony przycisk a niebieski przycisk
• Kopia wiadomości e-mail z dołączonym dowodem społecznym a brak dowodu społecznego
• Główny obraz stylu życia a obraz główny produktu
• Rabat procentowy w porównaniu ze zniżką w dolarach

Posiadanie więcej niż jednej różnicy między wersjami A i B utrudnia jednoznaczne określenie, który element doprowadził do różnicy w wydajności.

5. Miej jasną hipotezę.

Nie wprowadzaj przypadkowych zmian tylko po to, aby zobaczyć, co może zadziałać. Wiedz, co chcesz osiągnąć i miej solidne uzasadnienie, dlaczego to, co testujesz, pomoże Ci osiągnąć upragniony cel.

Na przykład, jeśli próbujesz zwiększyć liczbę konwersji, możesz utworzyć jedną wersję kopii e-maila, w której wezwanie do działania znajduje się w części strony widocznej na ekranie, aby było bardziej widoczne, oraz inną wersję, w której treść poprzedza wezwanie do działania i stara się generować silne zainteresowanie CTA. Ponadto, jeśli chcesz sprawdzić, czy adresowanie nowego subskrybenta po imieniu w wierszu tematu wiadomości powitalnej zwiększyło konwersje, przetestowałbyś jeden wiersz tematu z personalizacją, a drugi bez.

Witryny takie jak Behave.org mogą dać Ci wiele pomysłów na testy do wypróbowania w oparciu o to, co zrobiły inne marki.

6. Wybierz testowy wskaźnik zwycięstwa, który jest zgodny z celem Twojej kampanii.

Nie możemy tego wystarczająco podkreślić: upewnij się, że testujesz wystarczająco daleko w dół ścieżki — co w większości przypadków oznacza testowanie jak najdalej. Większość kampanii e-mailowych próbuje generować konwersje e-mailowe lub konwersje sprzedażowe, więc Twoje testy A/B e-maili powinny również koncentrować się na przenoszeniu tych wskaźników.

Niektórzy marketerzy mylą się, myśląc, że wiersze tematu mogą wpływać tylko na otwarcia, treść e-maili może wpływać tylko na kliknięcia, a zawartość strony docelowej może wpływać tylko na konwersje. Nie prawda! Różne etapy interakcji e-mailowej nie działają w odosobnieniu. Wszystkie działają razem, ponieważ subskrybenci doświadczają ich wszystkich razem.

Kiedy to zaakceptujesz, zdajesz sobie sprawę, że celem wiersza tematu nie jest generowanie otwarć. Ma generować otwierających, którzy prawdopodobnie dokonają konwersji. Podobnie, celem treści e-maili nie jest generowanie kliknięć. Ma generować klikaczy, którzy prawdopodobnie dokonają konwersji.

Nieprzekonany? Łatwo to potwierdzić samemu. Wystarczy przeprowadzić kilka testów A/B wierszy tematu i przyjrzeć się, jak różne wiersze tematu wpływają na aktywność na całej ścieżce interakcji e-mailowej.

Kogo obchodzi, że wiersz tematu A generuje więcej otwarć niż wiersz tematu B, jeśli ten drugi generuje więcej konwersji? A kogo obchodzi, że treść e-maila A generuje więcej kliknięć niż treść e-maila B, jeśli ta ostatnia generuje więcej konwersji? Gwarantujemy, że Twój szef będzie preferował więcej konwersji.

2018 Stan analizy poczty e-mail Jak Twoje możliwości analizy poczty e-mail wypadają na tle innych użytkowników? Zobacz, jakie dane e-maili mierzą marki (i jakich narzędzi do tego używają) dzięki naszemu pierwszemu w historii raportowi Stan analizy poczty e-mail. Zdobądź swoją kopię →

7. Użyj testowych segmentów odbiorców podobnych subskrybentów.

Tak jak kontrolujesz zmiany wprowadzane w wersjach A i B wiadomości e-mail, musisz również kontrolować, kto otrzyma każdą wersję. Chcesz, aby dwie grupy testowe składały się z tego samego rodzaju subskrybentów, na przykład nowych subskrybentów, subskrybentów będących klientami lub subskrybentów z określonej lokalizacji.

8. Użyj testowych segmentów odbiorców aktywnych subskrybentów.

Podobnie, będziesz chciał upewnić się, że obie grupy odbiorców testowych zawierają aktywnych subskrybentów, którzy regularnie wchodzą w interakcję z Twoimi e-mailami. W przeciwnym razie, jeśli wersja A trafi do grupy subskrybentów, którzy są znacznie bardziej aktywni niż grupa, która otrzymała wersję B, to wersja A ma większe szanse „wygrać” z powodów, które potencjalnie nie mają nic wspólnego z wersją A.

Jedynym zastrzeżeniem jest to, że testujesz wiadomości e-mail zachęcające do ponownego zaangażowania, w którym to przypadku chcesz oczywiście kierować reklamy do nieaktywnych subskrybentów.

9. Upewnij się, że Twoje grupy testowe są wystarczająco duże, aby Twoje wyniki były istotne statystycznie.

Jeśli twoja publiczność testowa jest zbyt mała, wyniki twojego testu mogą być po prostu spowodowane losowością. Upewnij się, że Twoje wyniki są statystycznie istotne, mając wystarczająco dużą grupę odbiorców testowych.

Kissmetrics, AB Testguide i Optimizely mają kalkulatory online, które mogą Ci pomóc.

10. W razie potrzeby używaj grup zatrzymujących.

W przypadku każdego e-maila, który testujesz, weź pod uwagę efekt, że Twoi subskrybenci w ogóle nie otrzymują tego e-maila. Posiadanie grupy wstrzymanych subskrybentów, którzy nie otrzymują wiadomości e-mail, jest sposobem na zmierzenie tego efektu.

Grupy Holdout są szczególnie cenne, jeśli chodzi o testowanie automatycznych wiadomości e-mail. Na przykład, jeśli testujesz skuteczność nowej wiadomości e-mail o porzuceniu koszyka, chcesz się upewnić, że część osób porzucających koszyk w ogóle nie otrzyma wiadomości e-mail o porzuceniu koszyka. Dzięki temu możesz zmierzyć, czy wiadomość e-mail z porzuceniem koszyka denerwuje subskrybentów, czy też zakłóca ich naturalne zachowania zakupowe.

Możesz jednak użyć grupy wstrzymania dla każdego wysyłanego e-maila, aby upewnić się, że e-mail rzeczywiście ma pozytywny wpływ na Twoich subskrybentów. Firma Atlassian, firma zajmująca się oprogramowaniem dla przedsiębiorstw, stworzyła system, który wymaga testowania każdego e-maila, w tym obowiązkowych grup wstrzymania, powiedział Atlassian Senior Product Manager w Engagement Platform, Jeff Sinclair, powiedział uczestnikom Litmus Live San Francisco.

11. Stwórz plan testów, aby regularnie testować i rejestrować wyniki testów.

Testy A/B ad hoc są nieefektywne, ponieważ są sporadyczne i nieskoncentrowane. Aby jak najlepiej wykorzystać testy A/B, potrzebujesz planu. Opracuj harmonogram testów, który rejestruje:

• Teorie, które próbujesz potwierdzić
• Jakich e-maili używasz do testowania każdej teorii
• Wyniki każdego testu i ich wpływ na przyszłe plany testowe

Staraj się włączyć test A/B do co najmniej połowy transmisji i posegmentować wiadomości promocyjne, ponieważ nasze badania wskazują, że marki uzyskują niewielką przewagę konkurencyjną, gdy testują rzadziej. Podobnie marki odnotowują znaczny wzrost sukcesu, gdy testują A/B swoje wyzwalane i transakcyjne wiadomości e-mail przynajmniej raz na 6 miesięcy.

Będziesz także chciał mieć plan testów, ponieważ będziesz musiał…

12. Potwierdź wyniki testów.

Każdy pojedynczy test A/B nigdy nie jest rozstrzygający na zawsze. W krótkim okresie każdy wzrost, który widzisz, może być wynikiem efektu nowości. Subskrybenci są przyciągani do nowego, co może dać każdą zmianę, którą wprowadzisz w porównaniu z kontrolą, wzrost.

Jednak efekt nowości dość szybko zanika. Więc jeśli przeprowadzisz ten sam test dwa lub trzy razy przez pewien czas, wykręcisz każdy efekt nowości i będziesz w stanie zobaczyć prawdziwy wpływ zmiany.

W dłuższej perspektywie zachowania i postawy konsumentów zmieniają się. Skład Twojej listy e-mailowej może również zmieniać się w czasie w zależności od praktyk pozyskiwania subskrybentów, zmian w ofercie produktów lub usług, rozszerzania lub wycofywania się z określonych obszarów geograficznych oraz innych czynników.

Im bardziej definitywny sukces testu, tym dłużej prawdopodobnie będziesz mógł czekać na jego ponowne potwierdzenie. Ale ostatecznie będziesz chciał okresowo potwierdzać każdy test co najmniej raz lub dwa razy — co znowu jest powodem, dla którego plan testów A/B ma kluczowe znaczenie.

13. Podziel się wynikami testów A/B e-maili z innymi właścicielami kanałów w Twojej firmie.

Jonathan Pay z Holistic Email Marketing powiedział uczestnikom Litmus Live London, aby podzielili się swoimi spostrzeżeniami z testów A/B e-maili ze swoimi zespołami internetowymi, społecznościowymi i reklamowymi. To świetna rada, ponieważ e-mail marketingowe nauki mogą napędzać sukces w innych kanałach.

Słaba koordynacja między kanałami i działami została zidentyfikowana jako największe wyzwanie stojące przed marketerami e-mail w 2018 roku, według sondażu Litmus przeprowadzonego wśród ponad 600 marketerów. Udostępnianie wyników testów A/B to tylko kolejny sposób, w jaki marki mogą wspierać wielokanałowe podejście do marketingu i obsługi klienta.

Aby jak najlepiej wykorzystać testy A/B poczty e-mail…

Postępuj zgodnie z tymi 13 zaleceniami:

1. Przetestuj swoje automatyczne i transakcyjne wiadomości e-mail, a nie tylko wiadomości emisyjne i segmentowane.
2. Skoncentruj swoje wysiłki w zakresie testów A/B poczty e-mail na elementach kampanii, które najprawdopodobniej przesuną wskazówkę na temat wydajności.
3. Zrozum, czy twoje testy zbliżą cię do lokalnego maksimum, czy globalnego maksimum.
4. Ogranicz swoje testy A/B do jednej rzeczy na raz.
5. Miej jasną hipotezę.
6. Wybierz testowy wskaźnik zwycięstwa, który jest zgodny z celem Twojej kampanii.
7. Użyj testowych segmentów odbiorców podobnych subskrybentów.
8. Użyj testowych segmentów odbiorców aktywnych subskrybentów.
9. Upewnij się, że Twoje grupy testowe są wystarczająco duże, aby Twoje wyniki były istotne statystycznie.
10. W razie potrzeby użyj grup wstrzymania.
11. Utwórz plan testów, aby regularnie testować i rejestrować wyniki testów.
12. Potwierdź wyniki testów.
13. Podziel się wynikami testów A/B e-maili z innymi właścicielami kanałów w Twojej firmie.