Kompletny przewodnik po testach A/B: porady ekspertów od Google, HubSpot i nie tylko

Opublikowany: 2020-04-10

To prawdopodobnie nie pierwszy raz, kiedy czytasz o testach A/B. Możesz nawet przetestować A/B tematy wiadomości e-mail lub posty w mediach społecznościowych.

Pomimo tego, że o testach A/B w marketingu mówiło się wiele, wiele osób wciąż się myli. Wynik? Osoby podejmujące ważne decyzje biznesowe na podstawie niedokładnych wyników z niewłaściwego testu.

Testy A/B często są zbyt uproszczone, zwłaszcza w przypadku treści pisanych dla właścicieli sklepów. Poniżej znajdziesz wszystko, co musisz wiedzieć, aby rozpocząć różne rodzaje testów A/B dla e-commerce, wyjaśnione tak jasno, jak to możliwe.

Spis treści

  • Co to są testy A/B?
  • Jak działają testy A/B
  • Co to jest testowanie A/B/n?
  • Jak długo powinny trwać testy A/B?
  • Dlaczego warto przeprowadzić test A/B?
  • Co powinieneś przetestować A/B?
  • Priorytetyzacja pomysłów na testy A/B
  • Szybki kurs statystyki testów AB
  • Jak skonfigurować test A/B
  • Jak analizować wyniki testu A/B
  • Jak archiwizować wcześniejsze testy A/B
  • Procesy testowania A/B profesjonalistów
  • Zoptymalizuj testy A/B dla swojej firmy

Co to są testy A/B?

Testy A/B, czasami nazywane testami dzielonymi, to proces porównywania dwóch wersji tej samej strony internetowej, wiadomości e-mail lub innego zasobu cyfrowego w celu ustalenia, która z nich działa lepiej.

Ten proces pozwala odpowiedzieć na ważne pytania biznesowe, pomaga generować większe przychody z już posiadanego ruchu i stanowi podstawę strategii marketingowej opartej na danych.

Dowiedz się więcej: Jak przeprowadzić analizę SWOT dla swojej firmy

Jak działają testy A/B

Używając testów A/B w kontekście marketingu, pokazujesz 50% odwiedzających wersję A Twojego zasobu (nazwijmy to „kontrolą”) i 50% odwiedzających wersję B (nazwijmy to „wariantem”).

Wygrywa wersja, która zapewnia najwyższy współczynnik konwersji. Załóżmy na przykład, że wariant (wersja B) uzyskał najwyższy współczynnik konwersji. Następnie ogłosisz go zwycięzcą i zepchniesz 100% odwiedzających do wariantu.

Wtedy wariant staje się nową kontrolką i musisz zaprojektować nowy wariant.

Warto wspomnieć, że współczynnik konwersji testu A/B jest niedoskonałą miarą sukcesu. Czemu? Możesz natychmiast zwiększyć współczynnik konwersji, udostępniając wszystko w swoim sklepie za darmo. Oczywiście to straszna decyzja biznesowa.

Dlatego warto śledzić wartość konwersji aż do dźwięku dzwoniącej kasy.

Bezpłatna lista lektur: Optymalizacja konwersji dla początkujących

Zamień więcej odwiedzających witrynę w klientów dzięki szybkiemu kursowi optymalizacji konwersji. Uzyskaj dostęp do naszej bezpłatnej, wyselekcjonowanej listy artykułów o dużym znaczeniu poniżej.

Co to są testy A/B/n?

Dzięki testom A/B/n możesz przetestować więcej niż jeden wariant w odniesieniu do kontroli. Tak więc zamiast pokazywać 50% odwiedzających kontrolę i 50% odwiedzających wariant, możesz wyświetlić 25% odwiedzających kontrolę, 25% pierwszy wariant, 25% drugi wariant i 25% trzeci wariant.

Uwaga: różni się to od testowania na wielu odmianach, które również obejmuje wiele wariantów. Podczas przeprowadzania testów wielowymiarowych nie tylko testujesz wiele wariantów, ale także wiele elementów, takich jak testy A/B UX lub testy rozdzielone SEO. Celem jest ustalenie, która kombinacja działa najlepiej.

Test wielowymiarowy
Źródło obrazu: Google .

Aby uruchomić testy na wielu odmianach, będziesz potrzebować dużego ruchu, więc możesz je na razie zignorować.

Jak długo powinny trwać testy A/B?

Przeprowadź test A/B przez co najmniej jeden, najlepiej dwa pełne cykle biznesowe. Nie przerywaj testu tylko dlatego, że osiągnąłeś znaczenie. Musisz także spełnić z góry określoną wielkość próbki. Na koniec nie zapomnij uruchamiać wszystkich testów w przyrostach co tydzień.

Dlaczego dwa pełne cykle biznesowe? Dla początkujących:

  1. Możesz rozliczyć się z kupujących „muszę o tym pomyśleć”.
  2. Możesz uwzględnić wszystkie różne źródła ruchu (Facebook, biuletyn e-mailowy, bezpłatne wyniki wyszukiwania itp.)
  3. Możesz wyjaśnić anomalie. Na przykład Twój biuletyn e-mail z piątku.

Jeśli korzystałeś z dowolnego narzędzia do testowania A/B lub strony docelowej, prawdopodobnie znasz małą zieloną ikonę „Statystycznie istotne”.

Niestety dla wielu jest to uniwersalny znak „test jest ugotowany, nazwij to”. Jak dowiesz się więcej poniżej, fakt, że osiągnięto istotność statystyczną testu A/B, nie oznacza, że ​​należy przerwać test.

A twoja z góry ustalona wielkość próbki? Nie jest tak onieśmielający, jak się wydaje. Otwórz kalkulator wielkości próbki, taki jak ten od Evana Millera.

Kalkulator wielkości próbki

Ta kalkulacja mówi, że jeśli Twój obecny współczynnik konwersji wynosi 5% i chcesz być w stanie wykryć efekt 15%, potrzebujesz próbki 13 533 na odmianę. Tak więc w sumie potrzeba ponad 25 000 odwiedzających, jeśli jest to standardowy test A/B.

Zobacz, co się stanie, jeśli chcesz wykryć mniejszy efekt:

Kalkulator wielkości próbki

Jedyne, co się zmieniło, to minimalny wykrywalny efekt (MDE). Zmniejszono go z 15% do 8%. W takim przypadku potrzebna jest próbka 47 127 na odmianę. Tak więc w sumie potrzeba prawie 100 000 odwiedzających, jeśli jest to standardowy test A/B.

Niezależnie od tego, czy przeprowadzasz testy A/B UX, czy testy podziału SEO, wielkość próbki powinna zostać obliczona z góry, przed rozpoczęciem testu. Twój test nie może się zatrzymać, nawet jeśli osiągnie istotność, dopóki nie zostanie osiągnięta z góry określona wielkość próbki. Jeśli tak, test jest nieważny.

Dlatego nie możesz bezcelowo stosować najlepszych praktyk, takich jak „zatrzymaj się po 100 konwersjach”.

Ważne jest również uruchamianie testów dla przyrostów o cały tydzień. Ruch może się zmieniać w zależności od dnia tygodnia i pory dnia, dlatego warto uwzględnić każdy dzień tygodnia.

Dlaczego warto przeprowadzić test A/B?

Załóżmy, że wydajesz 100 USD na reklamy na Facebooku, aby skierować 10 osób do Twojej witryny. Twoja średnia wartość zamówienia to 25 USD. Ośmiu z tych odwiedzających odchodzi bez kupowania czegokolwiek, a pozostali dwaj wydają po 25 dolarów każdy. Wynik? Straciłeś 50 dolarów.

Załóżmy teraz, że wydajesz 100 USD na reklamy na Facebooku, aby skierować 10 osób do Twojej witryny. Twoja średnia wartość zamówienia nadal wynosi 25 USD. Tym razem jednak tylko pięciu z tych odwiedzających odchodzi bez kupowania czegokolwiek, a pozostała piątka wydaje po 25 USD. Wynik? Zarobiłeś 25 dolarów.

Jest to oczywiście jeden z prostszych przykładów testów A/B. Ale zwiększając współczynnik konwersji w witrynie, ten sam ruch stał się bardziej wartościowy.

Obrazy i kopie testowe A/B pomagają również w odkrywaniu spostrzeżeń, niezależnie od tego, czy Twój test wygrywa, czy przegrywa. Ta wartość jest bardzo zbywalna. Na przykład spostrzeżenia dotyczące copywritingu z testu A/B opisu produktu mogą pomóc w sformułowaniu propozycji wartości, wideo produktu lub innych opisów produktów.

Nie możesz też zignorować nieodłącznej wartości skupienia się na ciągłym podnoszeniu efektywności swojego sklepu.

Czy powinieneś przeprowadzać testy A/B?

Niekoniecznie. Jeśli prowadzisz witrynę o małym ruchu, aplikację internetową lub mobilną, testy A/B prawdopodobnie nie są dla Ciebie najlepszym sposobem optymalizacji. Prawdopodobnie zauważysz wyższy zwrot z inwestycji (ROI) na przykład dzięki przeprowadzaniu testów użytkowników lub rozmawianiu z klientami.

Wbrew powszechnemu przekonaniu optymalizacja współczynnika konwersji nie zaczyna się i nie kończy na testach.

Rozważ liczby z powyższego kalkulatora wielkości próbki. 47 127 użytkowników na odmianę, aby wykryć efekt 8%, jeśli podstawowy współczynnik konwersji wynosi 5%. Załóżmy, że chcesz przetestować stronę produktu. Czy w ciągu dwóch do czterech tygodni odwiedza go prawie 100 000 osób?

Dlaczego od dwóch do czterech tygodni? Pamiętaj, że chcemy przeprowadzać testy przez co najmniej dwa pełne cykle biznesowe. Zwykle trwa to od dwóch do czterech tygodni. Teraz może myślisz: „Nie ma problemu, Shanelle, przeprowadzę test na dłużej niż dwa do czterech tygodni, aby osiągnąć wymaganą wielkość próbki”. To też nie zadziała.

Widzisz, im dłużej trwa test, tym bardziej jest podatny na zewnętrzne zagrożenia ważności i zanieczyszczenie próbki. Na przykład odwiedzający mogą usunąć swoje pliki cookie i zostać ponownie wpisanym do testu A/B jako nowy użytkownik. Albo ktoś może przełączyć się z telefonu komórkowego na komputer i zobaczyć alternatywną odmianę.

Zasadniczo, pozwolenie na prowadzenie testu zbyt długo jest tak samo złe, jak nie pozwalanie mu działać wystarczająco długo.

Testowanie jest warte inwestycji w sklepach, które mogą spełnić wymaganą wielkość próbki w ciągu dwóch do czterech tygodni. Sklepy, które nie mogą, powinny rozważyć inne formy optymalizacji, dopóki ich ruch nie wzrośnie.

Julia Starostenko, analityk danych w Shopify, zgadza się, wyjaśniając:

Ekspert w głowę

Julia Starostenko, Shopify

„Eksperymentowanie jest fajne! Ale ważne jest, aby upewnić się, że wyniki są dokładne.

„Zadaj sobie pytanie: czy twoja publiczność jest wystarczająco duża? Czy zebrałeś wystarczającą ilość danych? Aby osiągnąć prawdziwą istotność statystyczną (w rozsądnych ramach czasowych), liczba odbiorców musi być wystarczająco duża”.

Co powinieneś przetestować A/B?

Nie mogę ci powiedzieć, co powinieneś przetestować A/B. Wiem wiem. Z pewnością ułatwiłoby ci życie, gdybym mógł dać ci teraz listę 99 rzeczy do przetestowania. Nie brakuje marketerów, którzy chcą to zrobić w zamian za kliknięcia.

Prawda jest taka, że ​​jedyne testy, które warto przeprowadzić, to testy oparte na Twoich własnych danych. Nie mam dostępu do twoich danych, twoich klientów itp., podobnie jak nikt, kto jest kuratorem tych ogromnych list pomysłów na testy A/B. Nikt z nas nie jest w stanie powiedzieć, co należy przetestować.

Jedyne testy, które warto przeprowadzić, to testy oparte na własnych danych.

Zamiast tego zachęcam do samodzielnej odpowiedzi na to pytanie poprzez analizę jakościową i ilościową. Niektóre popularne przykłady testów A/B to:

  • Analiza techniczna. Czy Twój sklep ładuje się poprawnie i szybko w każdej przeglądarce? Na każdym urządzeniu? Być może masz nowego, błyszczącego iPhone’a 11, ale ktoś gdzieś wciąż kołysze Motorolę Razr z 2005 roku. Jeśli Twoja strona nie działa poprawnie i szybko, na pewno nie konwertuje tak dobrze, jak mogłaby.
  • Ankiety na miejscu. Pojawiają się one, gdy odwiedzający przeglądają Twój sklep. Na przykład ankieta w witrynie może zapytać odwiedzających, którzy przez jakiś czas byli na tej samej stronie, czy coś powstrzymuje ich przed dokonaniem dzisiejszego zakupu. Jeśli tak, co to jest? Możesz wykorzystać te dane jakościowe, aby poprawić swoją kopię i współczynnik konwersji.
  • Wywiady z klientami. Nic nie zastąpi rozmowy telefonicznej i rozmowy z klientami. Dlaczego wybrali Twój sklep, a nie sklepy konkurencyjne? Jaki problem próbowali rozwiązać po dotarciu do Twojej witryny? Istnieje milion pytań, które możesz zadać, aby dotrzeć do sedna tego, kim są Twoi klienci i dlaczego tak naprawdę kupują od Ciebie.
  • Ankiety klientów. Ankiety konsumenckie to pełne ankiety skierowane do osób, które już dokonały zakupu (w przeciwieństwie do odwiedzających). Projektując ankietę, chcesz skupić się na: zdefiniowaniu swoich klientów, zdefiniowaniu ich problemów, zdefiniowaniu wahań przed zakupem oraz zidentyfikowaniu słów i fraz, których używają do opisania Twojego sklepu.
  • Analiza analityczna. Czy Twoje narzędzia analityczne prawidłowo śledzą i raportują Twoje dane? Może to zabrzmieć głupio, ale zdziwiłbyś się, ile narzędzi analitycznych jest nieprawidłowo skonfigurowanych. Analiza analityczna polega na ustaleniu, jak zachowują się Twoi użytkownicy. Możesz na przykład skupić się na ścieżce. Gdzie są Twoje największe wycieki lejka konwersji? Innymi słowy, gdzie większość ludzi opuszcza Twój lejek? To dobre miejsce na rozpoczęcie testów.
  • Testowanie użytkowników. To tutaj obserwujesz prawdziwych ludzi w płatnym, kontrolowanym eksperymencie, próbującym wykonywać zadania w Twojej witrynie. Na przykład możesz poprosić ich o znalezienie gry wideo w przedziale od 40 do 60 USD i dodanie jej do koszyka. Podczas wykonywania tych zadań głośno opowiadają o swoich myślach i działaniach.
  • Powtórki sesji. Powtórki sesji są podobne do testów użytkowników, ale teraz masz do czynienia z prawdziwymi ludźmi z prawdziwymi pieniędzmi i prawdziwym zamiarem zakupu. Zobaczysz, jak Twoi użytkownicy poruszają się po Twojej witrynie. Co mają problem ze znalezieniem? Gdzie się denerwują? Gdzie wydają się zdezorientowani?

Istnieją również dodatkowe rodzaje badań, ale zacznij od wyboru najlepszej metodologii testów A/B. Jeśli przejrzysz niektóre z nich, otrzymasz ogromną listę pomysłów opartych na danych, które warto przetestować. Gwarantuję, że Twoja lista przyniesie Ci więcej wartości niż jakikolwiek artykuł „99 rzeczy do przetestowania teraz”.

Priorytetyzacja pomysłów na testy A/B

Ogromna lista pomysłów na testy A/B jest ekscytująca, ale nie do końca pomocna w podejmowaniu decyzji, co przetestować. Od czego zaczynasz? Tu właśnie pojawia się priorytetyzacja.

Istnieje kilka popularnych ram ustalania priorytetów, których możesz użyć:

  • LÓD. ICE oznacza wpływ, pewność siebie i łatwość. Każdy z tych czynników otrzymuje ranking od 1 do 10. Na przykład, jeśli mógłbyś z łatwością przeprowadzić test samodzielnie bez pomocy programisty lub projektanta, możesz dać sobie ósemkę. Używasz tutaj swojego osądu, a jeśli masz więcej niż jedną osobę prowadzącą testy, rankingi mogą stać się zbyt subiektywne. Pomocne jest posiadanie zestawu wytycznych, aby wszyscy byli obiektywni.
  • CIASTO. PIE oznacza potencjał, znaczenie i łatwość. Ponownie każdy czynnik otrzymuje ranking 1-10. Na przykład, jeśli test osiągnie 90% ruchu, możesz nadać ważności osiem. PIE jest tak samo subiektywny jak ICE, więc wytyczne mogą być pomocne również w przypadku tych ram.
  • PXL. PXL to struktura priorytetów z CXL. Jest trochę inny i bardziej konfigurowalny, wymuszając bardziej obiektywne decyzje. Zamiast trzech czynników znajdziesz pytania tak/nie i pytanie o łatwość implementacji. Na przykład struktura może zapytać: „Czy test ma na celu zwiększenie motywacji?” Jeśli tak, otrzymuje 1. Jeśli nie, otrzymuje 0. Możesz dowiedzieć się więcej o tym frameworku i pobrać arkusz kalkulacyjny tutaj.

Teraz masz pomysł, od czego zacząć, ale może to również pomóc w kategoryzacji pomysłów. Na przykład podczas niektórych badań konwersji, które ostatnio przeprowadziłem, użyłem trzech kategorii: implementacja, badanie i testowanie.

  • Wprowadzić w życie. Po prostu to zrób. Jest zepsuty lub oczywisty.
  • Prowadzić śledztwo. Wymaga dodatkowego przemyślenia, aby zdefiniować problem lub zawęzić rozwiązanie.
  • Test. Pomysł jest solidny i oparty na danych. Sprawdź to!

Pomiędzy kategoryzacją a ustalaniem priorytetów jesteś ustawiony.

Szybki kurs statystyki testów A/B

Przed uruchomieniem testu ważne jest, aby zagłębić się w statystyki. Wiem, statystyki zwykle nie są ulubieńcami fanów, ale pomyśl o tym jako o wymaganym kursie, który musisz wziąć, aby ukończyć studia.

Statystyka to duża część testów A/B. Na szczęście narzędzia do testowania A/B i oprogramowanie do testów dzielonych ułatwiły pracę optymalizatora, ale podstawowe zrozumienie tego, co dzieje się za kulisami, ma kluczowe znaczenie dla późniejszej analizy wyników testów.

Alex Birkett, menedżer ds. marketingu wzrostu w HubSpot, wyjaśnia:

Ekspert w głowę

Alex Birkett, HubSpot

„Statystyki nie są magiczną liczbą konwersji ani binarnym „Sukcesem!” lub „Awaria”. Jest to proces używany do podejmowania decyzji w warunkach niepewności i zmniejszania ryzyka poprzez próbę zmniejszenia niejasności co do wyniku danej decyzji.

„Mając to na uwadze, myślę, że najbardziej konieczne jest poznanie podstaw: co to jest średnia, wariancja, próbkowanie, odchylenie standardowe, regresja do średniej i co stanowi próbkę „reprezentatywną”. Ponadto, gdy zaczynasz od testów A/B, pomocne jest skonfigurowanie określonych barier ochronnych, aby złagodzić jak najwięcej błędów ludzkich”.

Co to znaczy?

Średnia to średnia. Twoim celem jest znalezienie środka, który jest reprezentatywny dla całości.

Załóżmy na przykład, że próbujesz znaleźć średnią cenę gier wideo. Nie będziesz dodawać ceny każdej gry wideo na świecie i dzielić jej przez liczbę wszystkich gier wideo na świecie. Zamiast tego wyizolujesz małą próbkę, która jest reprezentatywna dla wszystkich gier wideo na świecie.

Możesz znaleźć średnią cenę kilkuset gier wideo. Jeśli wybrałeś reprezentatywną próbkę, średnia cena tych dwustu gier wideo powinna być reprezentatywna dla wszystkich gier wideo na świecie.

Co to jest pobieranie próbek?

Im większa wielkość próby, tym mniejsza będzie zmienność, co oznacza, że ​​średnia jest bardziej dokładna.

Tak więc, jeśli zwiększysz próbkę z dwustu gier wideo do dwóch tysięcy gier wideo, uzyskasz mniejszą wariancję i bardziej precyzyjną średnią.

Co to jest wariancja?

Wariancja to średnia zmienność. Zasadniczo im wyższa zmienność, tym mniej dokładna będzie średnia w przewidywaniu pojedynczego punktu danych.

A więc, jak bliska jest rzeczywista cena każdej gry wideo?

Co to jest istotność statystyczna?

Zakładając, że nie ma różnicy między A i B, jak często zobaczysz efekt przez przypadek?

Im niższy poziom istotności statystycznej, tym większa szansa, że ​​Twoja zwycięska odmiana w ogóle nie będzie zwycięska.

Mówiąc najprościej, niski poziom istotności oznacza, że ​​istnieje duża szansa, że ​​Twój „zwycięzca” nie jest prawdziwym zwycięzcą (jest to znane jako fałszywy alarm).

Należy pamiętać, że większość narzędzi do testowania A/B i oprogramowania do testowania A/B typu open source określa istotność statystyczną bez czekania na osiągnięcie z góry określonej wielkości próbki lub punktu w czasie. Dlatego możesz zauważyć, że Twój test zmienia się między statystycznie istotnymi a statystycznie nieistotnymi.

Peep Laja, założyciel CXL Institute, chce, aby więcej osób naprawdę zrozumiało istotność statystyczną testu A/B i dlaczego jest to ważne:

Ekspert w głowę

Peep Laja, Instytut CXL

„Istotność statystyczna nie równa się ważności — to nie jest zasada zatrzymania. Kiedy osiągniesz istotność statystyczną 95% lub wyższą, oznacza to bardzo niewiele, zanim zostaną spełnione dwa inne ważniejsze warunki:

„1. Jest wystarczająca wielkość próbki, którą można obliczyć za pomocą kalkulatorów wielkości próbki. Oznacza to, że w eksperymencie uczestniczyło wystarczająco dużo osób, abyśmy mogli w ogóle cokolwiek wywnioskować.

„2. Test trwał wystarczająco długo, aby próbka była reprezentatywna (i nie za długo, aby uniknąć zanieczyszczenia próbki). W większości przypadków będziesz chciał przeprowadzić testy dwa, trzy lub cztery tygodnie, w zależności od tego, jak szybko możesz uzyskać potrzebną próbkę”.

Czym jest regresja do średniej?

Możesz zauważyć ekstremalne wahania na początku testu A/B.

Regresja do średniej to zjawisko, które mówi, że jeśli coś jest ekstremalne w pierwszym pomiarze, prawdopodobnie będzie bliższe średniej w drugim pomiarze.

Jeśli jedynym powodem, dla którego dzwonisz do testu, jest osiągnięcie przez niego istotności statystycznej, możesz widzieć fałszywie dodatni wynik. Twoja zwycięska odmiana prawdopodobnie z czasem cofnie się do średniej.

Czym jest moc statystyczna?

Zakładając, że jest różnica między A i B, jak często będziesz widzieć efekt?

Im niższy poziom mocy, tym większa szansa, że ​​zwycięzca pozostanie nierozpoznany. Im wyższy poziom mocy, tym mniejsza szansa, że ​​zwycięzca pozostanie nierozpoznany. Tak naprawdę wszystko, co musisz wiedzieć, to to, że 80% mocy statystycznej jest standardem dla większości narzędzi do testowania A/B i/lub dowolnej usługi testowania rozdzielonego.

Ton Wesseling, założyciel Online Dialogu, chciałby, aby więcej osób wiedziało o mocy statystycznej:

Ekspert w głowę

Ton Wesseling, Dialog online

„Wiele osób martwi się fałszywymi alarmami. Bardziej martwimy się fałszywymi negatywami. Po co przeprowadzać eksperymenty, w których szanse na znalezienie dowodu na to, że Twoja pozytywna zmiana ma wpływ, są naprawdę niskie?”

Jakie są zewnętrzne zagrożenia dla ważności?

Istnieją czynniki zewnętrzne, które zagrażają ważności twoich testów. Na przykład:

  • Sprzedaż w Czarny Piątek w Cyberponiedziałek (BFCM)
  • Pozytywna lub negatywna wzmianka w prasie
  • Uruchomienie dużej płatnej kampanii
  • Dzień tygodnia
  • Zmieniające się pory roku

Jednym z najczęstszych przykładów testów A/B, w których zewnętrzne zagrożenia wiarygodności wpływają na wyniki, są wydarzenia sezonowe. Załóżmy, że miałeś przeprowadzić test w grudniu. Duże święta zakupowe oznaczałyby wzrost ruchu w Twoim sklepie w tym miesiącu. W styczniu może się okazać, że grudniowy zwycięzca nie osiąga już dobrych wyników.

Czemu?

Z powodu zewnętrznego zagrożenia ważności: wakacji.

Dane, na których oparłeś decyzję o teście, były anomalią. Kiedy w styczniu sytuacja się uspokoi, możesz być zaskoczony, że Twój zwycięzca przegra.

Nie można wyeliminować zewnętrznych zagrożeń ważności, ale można je złagodzić, uruchamiając testy przez pełne tygodnie (np. nie rozpoczynaj testu w poniedziałek, a kończ go w piątek), w tym różne rodzaje ruchu (np. t testować wyłącznie płatny ruch, a następnie udostępniać wyniki w każdym źródle ruchu), pamiętając o potencjalnych zagrożeniach.

Jeśli zdarzy ci się przeprowadzać test podczas pracowitego sezonu zakupowego, takiego jak BFCM, lub w przypadku poważnego zewnętrznego zagrożenia ważności, możesz przeczytać nasz Kompletny przewodnik po testach A/B.

Jak skonfigurować test A/B

Przejdźmy przez mały samouczek dotyczący testowania A/B. Zanim cokolwiek przetestujesz, musisz mieć solidną hipotezę. (Świetnie, właśnie skończyliśmy lekcję matematyki i teraz przechodzimy do nauki.)

Nie martw się, to nie jest skomplikowane. Zasadniczo musisz przetestować hipotezę, a nie pomysł. Hipoteza jest mierzalna, dąży do rozwiązania konkretnego problemu konwersji i skupia się na spostrzeżeniach zamiast na wygranych.

Musisz przetestować A/B hipotezę, a nie pomysł.

Kiedy piszę hipotezę, używam wzoru zapożyczonego z zestawu do hipotez Craiga Sullivana:

  • Ponieważ widzisz [wstaw dane/opinie z badań]
  • Oczekujesz, że [zmiana, którą testujesz] spowoduje [wpływ, który przewidujesz] i
  • Zmierzysz to za pomocą [dane danych]

Łatwe, prawda? Wystarczy wypełnić puste pola, a pomysł na test zamieni się w hipotezę.

Wybór narzędzia do testowania A/B

Teraz możesz zacząć wybierać narzędzie do testowania A/B lub usługę testów dzielonych. Najczęściej najpierw pomyślisz o Google Optimize, Optimizely i VWO.

Wszystkie są dobrymi, bezpiecznymi opcjami.

  • Optymalizacja Google. Bezpłatnie, z wyjątkiem kilku ograniczeń dotyczących wielu odmian, które nie powinny mieć na Ciebie większego wpływu, jeśli dopiero zaczynasz. Działa dobrze podczas wykonywania testów A/B Google Analytics, co jest plusem.
  • Optymalnie. Łatwe do przeprowadzenia drobnych testów, nawet bez umiejętności technicznych. Stats Engine ułatwia analizę wyników testów. Zazwyczaj Optimizely jest najdroższą opcją z trzech.
  • VWO. VWO posiada SmartStats, aby ułatwić analizę. Dodatkowo ma świetny edytor WYSIWYG dla początkujących. Każdy plan VWO zawiera mapy popularności, ankiety na miejscu, analizy formularzy itp.

W sklepie Shopify App Store dostępne są również narzędzia do testowania A/B, które mogą okazać się pomocne.

Po wybraniu narzędzia do testowania A/B lub oprogramowania do testów dzielonych wypełnij formularz rejestracyjny i postępuj zgodnie z podanymi instrukcjami. Proces różni się w zależności od narzędzia. Zazwyczaj jednak pojawia się prośba o zainstalowanie fragmentu kodu w witrynie i wyznaczenie celów.

Jak analizować wyniki testu A/B

Pamiętasz, kiedy powiedziałem, że pisanie hipotezy przenosi uwagę z wygranych na spostrzeżenia? Krista Seiden, rzecznik ds. Analytics i menedżer produktu w Google, wyjaśnia, co to oznacza:

Ekspert w głowę

Krista Seiden, Google

„Najbardziej pomijanym aspektem testów A/B jest uczenie się od swoich przegranych. W rzeczywistości, w prowadzonych przeze mnie programach optymalizacyjnych mam zwyczaj publikować„ raport o niepowodzeniach ”, w którym wzywam niektórych z największych przegranych kwartał i czego się od nich nauczyliśmy.

„Jeden z moich ulubionych filmów pochodzi z kampanii, która trwała miesiącami. Udało nam się przemycić testowanie strony docelowej tuż przed jej uruchomieniem i to dobrze, że zrobiliśmy, ponieważ zawiodła sromotnie. Gdybyśmy faktycznie uruchomili stronę w takiej postaci, w jakiej była, osiągnęlibyśmy znaczny spadek wyników. Nie tylko zaoszczędziliśmy firmie mnóstwo pieniędzy, ale byliśmy też w stanie kopać i poczynić pewne założenia (które później przetestowaliśmy) na temat tego, dlaczego nowa strona działała tak słabo, a to sprawiło, że byliśmy lepszymi marketingowcami i odnosiliśmy większe sukcesy w przyszłych kampaniach”.

Jeśli poprawnie sformułowasz swoją hipotezę, nawet przegrany jest zwycięzcą, ponieważ zyskasz spostrzeżenia, które możesz wykorzystać w przyszłych testach oraz w innych obszarach swojej działalności. Tak więc, kiedy analizujesz wyniki testu, musisz skupić się na spostrzeżeniach, a nie na tym, czy test wygrał, czy przegrał. Zawsze jest coś do nauczenia się, zawsze coś do analizy. Nie odrzucaj przegranych!

Jeśli poprawnie postawisz swoją hipotezę, nawet przegrany jest zwycięzcą.

Najważniejszą rzeczą, na którą należy zwrócić uwagę, jest potrzeba segmentacji. Test może być ogólnie przegrany, ale są szanse, że wypadnie dobrze z co najmniej jednym segmentem. Co rozumiem przez segment?

  • Nowi goście
  • Powracający goście
  • Użytkownicy iOS
  • Użytkownicy Androida
  • Odwiedzający Chrome
  • Odwiedzający safari
  • Użytkownicy komputerów stacjonarnych
  • Użytkownicy tabletów
  • Użytkownicy z bezpłatnych wyników wyszukiwania
  • Płatni goście
  • Odwiedzający media społecznościowe
  • Zalogowani kupujący

Masz pomysł, prawda?

Kiedy patrzysz na wyniki w swoim narzędziu do testowania, patrzysz na całe pudełko cukierków. To, co musisz zrobić, to oddzielić Smarties kolorami, abyś mógł zjeść czerwone na końcu. Chodzi mi o to, abyś mógł odkryć głębsze, podzielone na segmenty spostrzeżenia.

Istnieje prawdopodobieństwo, że hipoteza okazała się słuszna w niektórych segmentach. To też ci coś mówi.

Analiza to o wiele więcej niż to, czy test był zwycięski, czy przegrany. Podziel dane, aby znaleźć ukryte informacje pod powierzchnią.

Narzędzia do testowania A/B nie wykonają analizy za Ciebie, więc jest to ważna umiejętność, którą należy rozwijać z biegiem czasu.

Bezpłatny ebook: Analiza e-commerce dla początkujących

Dowiedz się, jakie wskaźniki są kluczem do założenia i rozwoju Twojego biznesu online. Ten bezpłatny przewodnik to doskonały pierwszy krok do poznania analityki e-commerce.

Jak archiwizować wcześniejsze testy A/B

Załóżmy, że jutro przeprowadzasz pierwszy test. Za dwa lata od jutra pamiętasz szczegóły tego testu? Raczej nie.

Dlatego ważne jest archiwizowanie wyników testów A/B. Bez dobrze utrzymanego archiwum wszystkie zdobyte informacje zostaną utracone. Poza tym, nie żartuję, bardzo łatwo jest przetestować to samo dwa razy, jeśli nie archiwizujesz.

Nie ma jednak „właściwego” sposobu, aby to zrobić. Możesz użyć narzędzia takiego jak Projekty lub Skuteczne eksperymenty lub możesz użyć programu Excel. To naprawdę zależy od Ciebie, zwłaszcza gdy dopiero zaczynasz. Tylko upewnij się, że śledzisz:

  • Hipoteza
  • Zrzuty ekranu kontroli i wariacji
  • Niezależnie od tego, czy wygrał, czy przegrał
  • Spostrzeżenia uzyskane dzięki analizie

W miarę rozwoju będziesz dziękować sobie za zachowanie tego archiwum. Pomoże to nie tylko Tobie, ale także nowym zatrudnionym i doradcom/interesariuszom.

Procesy testowania A/B profesjonalistów

Teraz, gdy przeszedłeś standardowy samouczek dotyczący testowania A/B, przyjrzyjmy się dokładnym procesom profesjonalistów z firm takich jak Google i HubSpot.

Bezpłatna lista lektur: Optymalizacja konwersji dla początkujących

Zamień więcej odwiedzających witrynę w klientów dzięki szybkiemu kursowi optymalizacji konwersji. Uzyskaj dostęp do naszej bezpłatnej, wyselekcjonowanej listy artykułów o dużym znaczeniu poniżej.

Krista Seiden, Google

Mój krok po kroku proces testowania A/B stron internetowych i aplikacji zaczyna się od analizy — moim zdaniem jest to rdzeń każdego dobrego programu testowego. Na etapie analizy celem jest zbadanie danych analitycznych, danych ankietowych lub danych UX lub wszelkich innych źródeł wiedzy o klientach, które możesz mieć, aby zrozumieć, gdzie są Twoje możliwości optymalizacji.

Gdy masz już dobry potok pomysłów z etapu analizy, możesz przejść do postawienia hipotezy, co może pójść nie tak i jak potencjalnie naprawić lub ulepszyć te obszary optymalizacji.

Następnie nadszedł czas na zbudowanie i uruchomienie testów. Upewnij się, że uruchamiasz je przez rozsądny czas (domyślnie dwa tygodnie, aby mieć pewność, że uwzględniam tygodniowe zmiany lub anomalie), a gdy masz wystarczającą ilość danych, przeanalizuj wyniki, aby określić zwycięzcę.

Ważne jest również, aby na tym etapie poświęcić trochę czasu na analizę przegranych — czego możesz się nauczyć z tych odmian?

Wreszcie, i możesz osiągnąć ten etap dopiero po przygotowaniu gruntu pod solidny program optymalizacyjny, nadszedł czas, aby przyjrzeć się personalizacji. Niekoniecznie wymaga to wyszukanego zestawu narzędzi, ale raczej może pochodzić z danych, które posiadasz o swoich użytkownikach.

Personalizacja marketingu może być tak prosta, jak kierowanie odpowiednich treści do właściwych lokalizacji, lub tak złożona, jak kierowanie na podstawie indywidualnych działań użytkownika. Nie wskakuj jednak od razu w personalizację. Upewnij się, że poświęcisz wystarczająco dużo czasu, aby najpierw opanować podstawy.

Alex Birkett, HubSpot

Na wysokim poziomie staram się śledzić ten proces:

  • Zbieraj dane i upewnij się, że implementacje analiz są dokładne.
  • Analizuj dane i znajduj spostrzeżenia.
  • Zamień spostrzeżenia w hipotezy.
  • Ustalaj priorytety w oparciu o wpływ i łatwość oraz maksymalizuj alokację zasobów (zwłaszcza zasobów technicznych).
  • Przeprowadź test (zgodnie ze sprawdzonymi metodami dotyczącymi statystyk, zgodnie z moją najlepszą wiedzą i umiejętnościami).
  • Analizuj wyniki i wdrażaj lub nie zgodnie z wynikami.
  • Wykonaj iterację na podstawie wyników i powtórz.

Mówiąc prościej: badaj, testuj, analizuj, powtarzaj.

Chociaż proces ten może odbiegać lub zmieniać się w zależności od kontekstu (czy testuję funkcję produktu o znaczeniu krytycznym dla firmy? Post na blogu CTA? Jaki jest profil ryzyka i równowaga między innowacjami a ograniczaniem ryzyka?), ma on zastosowanie w każdym rozmiarze lub rodzaj firmy.

Chodzi o to, że ten proces jest zwinny, ale zbiera również wystarczającą ilość danych, zarówno jakościowych informacji zwrotnych od klientów, jak i analiz ilościowych, aby móc wymyślać lepsze pomysły na testy i lepiej je ustalać, abyś mógł przyciągnąć ruch do swojego sklepu internetowego.

Ton Wesseling, Dialog online

Pierwsze pytanie, na które zawsze odpowiadamy, gdy chcemy zoptymalizować podróż klienta, brzmi: Gdzie ten produkt lub usługa pasuje do modelu ROAR, który stworzyliśmy w Online Dialogue? Czy nadal znajdujesz się w fazie ryzyka, w której moglibyśmy przeprowadzić wiele badań, ale nie możemy zweryfikować naszych wyników za pomocą eksperymentów online testów A/B (poniżej 1000 konwersji miesięcznie), czy też jesteś w fazie optymalizacji? A może nawet wyżej?

  • Faza ryzyka: wiele badań , które przełożą się na wszystko, od zmiany modelu biznesowego po zupełnie nowy projekt i propozycję wartości.
  • Faza optymalizacji: duże eksperymenty, które zoptymalizują propozycję wartości i model biznesowy.
  • Faza optymalizacji: małe eksperymenty mające na celu walidację hipotez dotyczących zachowań użytkowników, które zbudują wiedzę na potrzeby większych zmian projektowych.
  • Automatyzacja : nadal masz możliwość eksperymentowania (odwiedzający), co oznacza, że ​​nie potrzebujesz pełnego potencjału testowego, aby zweryfikować podróż użytkownika. To, co zostało, powinno zostać wykorzystane do wykorzystania, aby teraz szybciej się rozwijać (bez skupiania się na długoterminowej nauce). Można to zautomatyzować, uruchamiając bandytów/używając algorytmów.
  • Przemyśl ponownie: przestajesz dodawać wiele badań , chyba że jest to punkt zwrotny do czegoś nowego.

ROOAR

Tak więc testy A/B aplikacji internetowych lub aplikacji to wielka rzecz tylko w fazie optymalizacji ROAR i poza nią (do czasu ponownego przemyślenia).

Nasze podejście do prowadzenia eksperymentów to model FACT & ACT:

FAKT I DZIAŁANIE

Badania, które wykonujemy, opierają się na naszym modelu 5V:

Model 5V

Zbieramy wszystkie te spostrzeżenia, aby sformułować główną hipotezę popartą badaniami, która doprowadzi do hipotez podrzędnych, którym nadamy priorytet na podstawie danych zebranych w testach A/B na komputerach lub urządzeniach mobilnych. Im większa szansa na prawdziwość hipotezy, tym wyżej zostanie ona uszeregowana.

Gdy dowiemy się, czy nasza hipoteza jest prawdziwa, czy fałszywa, możemy zacząć łączyć wnioski i podejmować większe kroki, przeprojektowując/dostosowując większe części ścieżki klienta. Jednak w pewnym momencie wszystkie zwycięskie implementacje doprowadzą do lokalnego maksimum. Następnie musisz zrobić większy krok, aby móc osiągnąć potencjalne globalne maksimum.

I oczywiście główne wnioski zostaną rozpowszechnione w całej firmie, co prowadzi do wszelkiego rodzaju szerszej optymalizacji i innowacji w oparciu o zweryfikowane własne spostrzeżenia.

Czy prowadzisz marketing do międzynarodowej publiczności? Dowiedz się, jak uprościć ten proces dzięki pseudolokalizacji.

Julia Starostenko, Shopify

Celem eksperymentu jest sprawdzenie, czy wprowadzenie zmian na istniejącej stronie internetowej będzie miało pozytywny wpływ na biznes.

Przed rozpoczęciem należy ustalić, czy przeprowadzenie eksperymentu jest naprawdę konieczne. Rozważ następujący scenariusz: istnieje przycisk o wyjątkowo niskim współczynniku klikania. Zmniejszenie wydajności tego przycisku byłoby prawie niemożliwe. Weryfikacja skuteczności proponowanej zmiany przycisku (tj. przeprowadzenie eksperymentu) nie jest zatem konieczna.

Podobnie, jeśli proponowana zmiana przycisku jest niewielka, prawdopodobnie nie warto poświęcać czasu na konfigurowanie, przeprowadzanie i burzenie eksperymentu. W takim przypadku zmiany należy po prostu wdrożyć u wszystkich, a działanie przycisku można monitorować.

Jeśli okaże się, że przeprowadzenie eksperymentu rzeczywiście byłoby korzystne, następnym krokiem jest określenie wskaźników biznesowych, które należy poprawić (np. zwiększenie współczynnika konwersji przycisku). Then we ensure that proper data collection is in place.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, Instytut CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • Przeprowadzaj badania konwersji za pomocą platformy takiej jak ResearchXL, aby zidentyfikować problemy w swojej witrynie.
  • Wybierz problem o wysokim priorytecie (który dotyczy dużej części użytkowników i jest poważnym problemem) i wymyśl jak najwięcej rozwiązań tego problemu. Poinformuj proces tworzenia pomysłów za pomocą spostrzeżeń dotyczących badania konwersji. Określ, na którym urządzeniu chcesz przeprowadzić test (musisz przeprowadzić test A/B na urządzeniach mobilnych niezależnie od komputerów).
  • Określ, ile odmian możesz przetestować (na podstawie poziomu ruchu/transakcji), a następnie wybierz jedną do dwóch najlepszych propozycji rozwiązania, które można przetestować pod kątem kontroli.
  • Stwórz szkielet dokładnych zabiegów (napisz kopię, wprowadź zmiany w projekcie itp.) W zależności od zakresu zmian może być również konieczne włączenie projektanta do projektowania nowych elementów.
  • Niech Twój front-end developer zaimplementuje zabiegi w Twoim narzędziu do testowania. Ustaw niezbędne integracje (Google Analytics), wyznacz odpowiednie cele.
  • Przeprowadź kontrolę jakości w teście (nieudane testy są zdecydowanie największym zabójcą testów A/B), aby upewnić się, że działa z każdą kombinacją przeglądarki/urządzenia.
  • Uruchom test!
  • Po zakończeniu testu przeprowadź analizę potestową.
  • W zależności od wyniku albo zaimplementuj zwycięzcę, powtórz zabiegi lub idź i przetestuj coś innego.
Ikona szablonu

Bezpłatne seminarium internetowe:

Marketing 101

Walczysz o wzrost sprzedaży? Dowiedz się, jak przejść od pierwszego dnia do pierwszej sprzedaży podczas tego bezpłatnego szkolenia.

Zarejestruj się teraz

Zoptymalizuj testy A/B dla swojej firmy

Masz proces, masz moc! Wyjdź więc, zdobądź najlepsze oprogramowanie do testowania A/B i zacznij testować swój sklep. Zanim się zorientujesz, te spostrzeżenia zwiększą ilość pieniędzy w Banku Ciebie.

Jeśli chcesz kontynuować naukę o optymalizacji, rozważ udział w bezpłatnym kursie, takim jak testy A/B firmy Udacity przez Google. Możesz dowiedzieć się więcej o testowaniu A/B aplikacji internetowych i mobilnych, aby zwiększyć swoje umiejętności optymalizacji.