5 lekcji, których się nauczyłem (w trudny sposób) w CRO

Zbliżając się do rocznicy upamiętniającej czas spędzony na wspaniałej arenie optymalizacji współczynnika konwersji pod patronatem znakomitej agencji PPC (nr 8 na liście najlepszych miejsc pracy AdAge), chciałem podzielić się tym małym zakątkiem Internetu kilka kluczowych lekcji z wami wszystkimi. Czemu? Ponieważ jestem wykonawcą. Uczę się przez działanie. Dlatego popełniam błędy. Umacnia moje utrzymanie lekcji, ale czasami pomyłki po prostu nie muszą być popełniane. Dla tych z Was, którzy mają szczęście skutecznie uczyć się zastępczo, uczyć się na moich błędach i zapobiegać własnym! Ponieważ uwierz mi, kiedy popełniasz te błędy, zazwyczaj przyjmujesz wyraz wstydu; oczy skierowane w dół i tak dalej.

#1 Ogranicz ryzyko

Szczycę się tym, że jestem jednym z tych ludzi, którzy muszą przeprowadzić WSZYSTKIE badania, zanim wykonam jakiekolwiek zadanie; w życiu, w CRO, ty to nazywasz. Jednak kiedy po raz pierwszy wszedłem do CRO, również uważałem, że sensowne jest przetestowanie na 100% mojego ruchu prosto z bramki.

Bez względu na to, ile danych umieściłeś w zaleceniu testowania i ile czasu poświęcisz na kontrolę jakości, zawsze istnieją zmienne, których możesz nie być świadomy, a zatem nie możesz ich kontrolować. Jeden z nich może wyjść z lewego pola i przerzucić test i współczynnik konwersji wprost na dane na poziomie podstawowym. Nikt nie chce tego doświadczyć.

Kiedy uruchamiasz test dowolnej przepustowości, ogranicz ruch przez pierwsze kilka dni, jednocześnie uważnie monitorując wszystko, aby upewnić się, że test przebiega bezproblemowo. Chcemy z natury zakłócać ruch. Staramy się zoptymalizować wydajność tego ruchu. Ale jeśli szybko skręci na południe, nie ma logicznego argumentu, który można by utrzymać, aby utrzymać go w nadziei, że pojawi się w prawo. Nie stanie się to niezawodnie i konsekwentnie, a wczesne wyciągnięcie wtyczki jest lepsze niż zmuszanie tego ruchu i witryny do cierpienia, podczas gdy wstrzymujesz oddech i masz nadzieję na najlepsze.

#2 Dane są Twoim przyjacielem

Doświadczenie jest wszechstronnym nauczycielem, ale w ciągle zmieniającej się branży, która opiera się na ludzkim zachowaniu, twoje przeczucie i twoje doświadczenie mogą nie być najbardziej niezawodnym fundamentem, na którym można się oprzeć. Dane (najlepiej ilościowe) są zakorzenione i solidne i pozwolą Ci ugruntować siebie i swoje wysiłki testowe.

Obiecuję nie pouczać cię o uprzedzeniach, ale zapewnię, że jesteś stronniczy i powinieneś się z tym pogodzić prędzej niż później. Możesz absolutnie nienawidzić określonego elementu witryny lub sposobu jego funkcjonowania. Ten element może nie mieć dla Ciebie sensu, ale może być całkowicie intuicyjny dla Twoich użytkowników. Założenie, że Twoje doświadczenie jest podobne lub identyczne z doświadczeniem wszystkich innych osób na tej stronie, jest również znane jako efekt fałszywego konsensusu.

Niech dane mówią i staraj się nie umieszczać na nich własnego osobistego obiektywu. Jeśli to pomaga, staram się traktować każdą analizę danych jako doświadczenie edukacyjne. Udowodnij, że się mylę. Sprowadźmy ją z powrotem do punktu pierwszej metody naukowej: sformułuj hipotezę, a następnie spróbuj obalić swoją własną hipotezę.

#3 Naucz się regex

Nie mogę powiedzieć, ile razy nie udało mi się przechwycić całego ruchu na stronie z podziękowaniami, ponieważ miałem bardzo konkretny cel docelowy ustawiony tak, aby pasował do adresu URL. Istnieje wiele sposobów, na które każdy może dodać parametr do śledzonego adresu URL, a jeśli żadna z tych osób nie zapętli Cię, Twój cel jest nieprawidłowy. Jeśli błędnie skopiowałeś adres URL, Twój cel będzie nieprawidłowy.

Aby wyeliminować większość zagrożeń próbujących unieważnić śledzenie celów, wyizoluj krytyczne fragmenty tego adresu URL i połącz je ze sobą za pomocą wyrażeń regularnych.

RegexBuddy z miłością opisuje wyrażenia regularne jako „wildcards na sterydach”. Język jest dość solidny i można uzyskać bardzo szczegółowe za pomocą wyrażeń regularnych, ale w sumie używam 3 symboli: ., *, +.

• „.” – symbol wieloznaczny reprezentujący jeden znak (używany jak „*” w programie Excel z ograniczeniem zasięgu)
• „*” – kwalifikuje symbol wieloznaczny tak, aby zawierał 0 lub więcej znaków
• „+” – kwalifikuje symbol wieloznaczny, aby zawierał 1 lub więcej znaków

Wyobraź sobie, że strona z podziękowaniami, na której chcemy śledzić trafienia, jest następująca: www.ppchero.com/thank-you

Wiesz, że ktoś będzie śledzić źródło ruchu za pomocą parametrów, więc już wiemy, że ludzie mogą wchodzić na adres URL z różnego rodzaju wygłupami następującymi po „dziękuję”.

Do śledzenia tego adresu URL użyłbym następującego wyrażenia:

NIE zapomnij o rozwijanym menu.

Zwróć uwagę, że zastąpiłem każdy symbol w adresie URL znakiem „.” ponieważ "." to dzika karta i jak wspomniałem wcześniej, lubię wiedzieć, co robi każda postać. Nie jestem ekspertem od wyrażeń regularnych, ale wiem, że technicznie jest to język, który ma zdolność interpretowania wielu znaków i wykonywania funkcji w oparciu o te znaki. Nie podejmuję ryzyka w wyrażeniach regularnych. Symbole wieloznaczne są bezpieczne.

Jeśli nadal jesteś zdezorientowany lub chcesz zagłębić się w regex, oto bardzo pouczająca strona: RegexOne

Ćwicząc swoje umiejętności, dwukrotnie sprawdzaj swoje frazy, aby uzyskać pełną funkcjonalność w tej witrynie: Regex Tester

# 4 Zawsze jest katalizator twojego problemu. Lub 2. Lub więcej…

Bądź bardzo ostrożny przy założeniu, że jakakolwiek pojedyncza zmienna jest odpowiedzialna za problem.

To wydaje się sprzeczne z intuicją do testowania, ponieważ staramy się kontrolować każdy zmienną poza zmianą w celu zapewnienia podobieństwa i można przypisać działanie tej zmianie. Jednak „próba” jest tam kluczowa. We wszystkim, co robimy, zaangażowanych jest zbyt wiele zmiennych i nie zawsze uda Ci się znaleźć każdą zmienną, która wpłynęła na Twoje wyniki.

Na przykład podczas poszukiwania katalizatora odpowiedzialnego za nieregularny spadek współczynnika konwersji na urządzeniach mobilnych odkryliśmy kilka kluczowych czynników na podobnej osi czasu i żadnego z nich nie można było zignorować.

1. Wydatki w AdWords na określone kampanie były wyjątkowo niskie, co wskazuje, że nie byliśmy tak rozpowszechnieni, jak sądziliśmy, w SERP.
2. Witryna mobilna to responsywna witryna komputerowa, która najprawdopodobniej osiągnęła kres swojej skuteczności w dobie wysoce funkcjonalnych i atrakcyjnych witryn mobilnych.
3. Konkurencja w tej branży również stawała się coraz bardziej powszechna i stawała się bardziej konkurencyjna w przestrzeni PPC, a także w przestrzeni user experience.

Wszystkie te są krytyczne i zdecydowanie wpłynęły na ten współczynnik konwersji. Wszystko na raz? Może nie. Niemniej jednak złożone problemy nadal są problemami.

Nigdy nie uznawaj problemu za całkowicie rozwiązany (chyba że jesteś pewien, że spowodowałeś problem). Zawsze miej oczy i uszy otwarte i zadaj sobie pytanie, czy anomalie mogły współdziałać i spowodować twój problem. Kop dalej.

Pamiętaj też, że podczas gdy większość naszej pracy odbywa się w Internecie, życie ludzi nie. Wszystko i wszystko, co widzą, słyszą, a nawet powąchają nasi użytkownicy, może wpłynąć na współczynnik konwersji, jeśli dotrze do znacznej części ruchu.

#5 Testy kontroli jakości strony docelowej

Jest to podstawowy krok w procesie konfiguracji testu i jako taki zwykle schodzi na dalszy plan, gdy Twoje osobiste zaufanie do testowania zaczyna wzrastać (A może to tylko ja? Bueller?).

Niezależnie od tego, czy testujesz dla własnej witryny, czy dla witryny swojego klienta, zawsze powinieneś wiedzieć, jak wygląda test. W idealnym świecie testowalibyśmy na każdej przeglądarce (w tym różnych rozmiarach przeglądarki) i systemie operacyjnym. Jednak większość z nas nie ma takiego czasu w swoich rękach. Aby uzyskać kompromis, przetestuj przeglądarki i systemy operacyjne, z których korzysta większość ruchu.

Nigdy nie zapomnij tego kroku. Najgorszą wiadomością, jaką możesz otrzymać, najbardziej wywołującą „ogon między nogami”, jest wiadomość ze zrzutem ekranu twojego renderowania testowego w bardzo niezamierzonym formacie. Nawet jeśli zmienisz kolor przycisku, sprawdź to bzdury. Nigdy nie możesz być zbyt bezpieczny, prawda?

Zdziwiłbyś się również, ile razy łapię losowe przeglądarki, które mają poważne trudności z prawidłowym renderowaniem odmiany. Nie pozbawiaj niszowych użytkowników przeglądarek estetycznych lub funkcjonalnych doświadczeń tylko dlatego, że nie chciałeś spędzać czasu na QA.

Końcowe przemyślenia

• Ogranicz ryzyko wydajności, ograniczając ruch przepływający przez Twoje testy w ciągu pierwszych kilku dni (kiedy możesz).
• Zbuduj wiarygodną podstawę danych, na podstawie której możesz podejmować decyzje, które nie są oparte na Twoim doświadczeniu.
• Naucz się wyrażeń regularnych. Obiecuję, że będzie to przydatne, jeśli skierujesz coś za pośrednictwem adresu URL.
• Każdy problem ma solidny zestaw katalizatorów. Upoluj ich i miej oko na maruderów.
• Upewnij się, że wiesz, co widzą użytkownicy. Poczuj ich uczucia. Poznaj witrynę tak, jak oni. Empatyzuj! I nie zapomnij o tych, które używają „dziwnych” lub mało znanych przeglądarek.

Kiedy jesteś podekscytowany i trochę szalejesz, zrób krok do tyłu, oddychaj i pamiętaj, że całkowicie to rozumiesz i że nie musisz powtarzać nowych błędów Kate Wilcox, ponieważ przeczytałeś ten artykuł i nauczyłeś się zastępczo.

Jeśli czujesz, że popełniłeś poważny błąd lub po prostu chciałbyś podzielić się historią „Byłem tam”, skontaktuj się z Twitterem (@katewilcoxkcco) i życzę miłego dnia.