Wymagania dotyczące prowadzenia poważnych programów eksperymentalnych

Prowadzenie programów eksperymentalnych to sztuka i nauka. Mówię to cały czas. Programy powinny mieć pewien poziom rygoru – czyli systemy, procesy i procedury. To nie jest coś, co można lekceważyć. Wiara, że ​​każdy może rozpocząć program jutro przy minimalnym przygotowaniu i planowaniu, jest błędem. Niestety, to jednak dzieje się cały czas. Prowadzi to do zmarnowania wielu pieniędzy, czasu i wysiłku – nic dziwnego. To prowadzi mnie do tematu przygotowań.

Jeśli chcesz poważnie podejść do eksperymentowania i zwiększyć swoją konkurencyjność na rynku, lepiej rób to dobrze. Powinieneś założyć, że twoi konkurenci robią to dobrze. Więc jeśli to z tobą rezonuje, czytaj dalej, a gwarantuję, że znajdziesz jedną lub dwie samorodki złota do natychmiastowego użycia.

Nieunikniony wstęp do zbudowania programu eksperymentalnego, który cię zrujnuje lub złamie: Obliczenia przed testem

Obliczenia przed testem. Słyszałeś o nich? Czy je zrobiłeś? Czy MDE lub minimalny wykrywalny efekt brzmi znajomo? A co z szacunkami czasu trwania lub wielkością próby? Mam nadzieję, że wiesz, o czym mówię, chociaż założę się o pieniądze, że zdecydowana większość z was nie wie – po prostu z powodu moich osobistych doświadczeń z klientami.

Zanim zrobisz cokolwiek związanego z eksperymentowaniem, sprawdź, czy masz wystarczającą ilość danych, aby to zrobić. Sprawdź, czy w ogóle jesteś w stanie przetestować, korzystając z obliczeń przed testem. Przez ilość danych rozumiem odwiedzających i konwersje. Odwiedzający mogą być tym, czego zwykle używasz (np. sesjami, użytkownikami, jednostkami MAU itp.). Konwersje pochodzą z podstawowych danych, których będziesz używać w testach. Wiem to:

1. Nie każda firma ma wystarczającą ilość danych, aby przeprowadzać eksperymenty przy dowolnej pojemności.
2. Jeśli potrafisz to zrobić, wiedz, że nie wybierasz po prostu pożądanej prędkości z powietrza. Opiera się na obliczeniach.

Winowajca nr 1 za zignorowanie jednego lub obu tych punktów: sprzedawcy. Jeśli zamierzasz kupić jakiekolwiek narzędzie, upewnij się, że jest to część rozmowy. Minimalna bariera wejścia do programu eksperymentalnego: wystarczająca ilość danych do przeprowadzenia jednego testu w ciągu ośmiu lub mniej tygodni na jednym torze.

Szczegółowo omówiłem ten temat kilka miesięcy temu dla Experiment Nation. Wiedz, że jeśli nie zrozumiesz tego tematu i nie zrobisz tego od pierwszego dnia, będzie cię to prześladować i na pewno spowoduje w końcu jakieś niepożądane skutki. Jeszcze jedna bardzo ważna uwaga: dowiedz się, czy twoje narzędzie do testowania (lub to, którego planujesz użyć) jest zbudowane w oparciu o testowanie o stałym horyzoncie lub testowanie sekwencyjne. Wpływa to na obliczenia i sposób uruchamiania programu.

Krok 1 (post-prekursor): Pomiar i jakość danych

Jeśli wyeliminowałeś przeszkodę w obliczeniach przed testem i potwierdziłeś, że masz wystarczającą ilość danych do przetestowania, kolejną przeszkodą na drodze do przodu są pomiary i jakość danych. Musisz wiedzieć, do czego dążysz w tej pracy; w przeciwnym razie będziesz miotać się jak ryba na brzegu rzeki. Zbyt wiele zespołów nie wie, nad czym pracują – na przykład przesyłanie formularzy, transakcje, przychody, LTV itp.

Dowiedz się, jakie są podstawowe, drugorzędne i trzeciorzędne wskaźniki dotyczące eksperymentów i całej firmy. Zrozum to z pełną jasnością. Nie pozwól na utrzymujące się zamieszanie lub niepewność. Upewnij się, że wszyscy są na tej samej stronie.

Następnie, gdy już będziesz mieć tyle, upewnij się, że zbierasz te dane we właściwych miejscach i że możesz im zaufać.

Jeśli pomiary i/lub jakość danych to katastrofa, po prostu przestań. Zatrzymaj wszystko i poświęć wszystkie swoje wysiłki, aby zrobić to dobrze. Pomyśl o eksperymentach jak o piramidzie. Te dwie rzeczy są podstawowymi warstwami piramidy. Jeśli pęknie w dowolnym momencie, wszystko inne rozpadnie się na nim. Obiecuję.

Powiem, że wiem, że to może być trudne. Poprawienie ich może zająć dodatkowy czas. Może nawet dłużej niż miesiąc, dwa. Poprawienie ich jest jednak tego warte. Widziałem, jak problemy pojawiały się sześć miesięcy lub dłużej po uruchomieniu programu – tylko po to, by wszystko ostatecznie się zatrzymało. W tym momencie nikt nie jest szczęśliwy.

Uwaga, jaka powinna być podstawowa metryka…

Jest to czasami temat dzielący wśród praktyków. Mam bardzo zdecydowane stanowisko w tej sprawie, szczególnie jeśli chodzi o zespoły marketingowe i strony internetowe (niekoniecznie zespoły produktowe i produkty).

Podstawowe dane zawsze powinny być danymi na dole ścieżki. Zamówienia. Zgłoszenia formularzy. MQL. Przychód. LTV. SQL. Masz pomysł. Niektórzy twierdzą, że zawsze powinno to być działanie najbliższe wprowadzanej zmianie lub wskaźnikom zaangażowania. Zło. Nie. Nie. Błędny. BS. Ktokolwiek ci to powie, powinien za sześć miesięcy lub rok uzasadnić program dyrektorowi ds. marketingu lub dyrektorowi generalnemu firmy. Będą na gorącym krześle. NIE MAJ programu pełnego testów skupionych na kliknięciach przycisków, kliknięciach, odsłonach, śr. czas trwania sesji, współczynnik wyjść, współczynnik odrzuceń, wyświetlenia wideo itd. To nie usprawiedliwi tysięcy czy setek tysięcy dolarów wydanych na wykonanie tej pracy. Każdy chce znać swój zwrot z inwestycji i wpływ pracy na wyniki finansowe. Kliknięcia przycisków tego nie zrobią.

Nie mówię, że nie należy mierzyć wskaźników zaangażowania ani wskaźników na wyższych ścieżkach, ale powinny to być dane drugorzędne lub trzeciorzędne. Nie pierwszorzędne. Dodają kontekst do historii testu. To nie od nich zależą testy, kiedy przychodzi czas na podjęcie decyzji. Uwaga, nie mówię też, że nigdy nie ma wyjątków. Nadal oceniaj testy indywidualnie dla każdego przypadku.

Mała rada: tym, którzy dyskutują między sobą na ten temat, zawsze mówię zespołom, aby przedyskutowały opcje i same zdecydowały. Po prostu upewnij się, że dochodzisz do wspólnego wniosku, że wszyscy przestrzegają, idąc naprzód.

Krok 2: Badanie użytkowników i pomysły

W tym momencie powinieneś (1) wiedzieć, że masz wystarczającą ilość danych do przetestowania i (2) wiedzieć, co mierzysz i że gromadzisz odpowiednie dane, którym możesz zaufać. Więc, co dalej? Wymyśla co przetestować. Jakie są wasze pomysły na testy? Jak zamierzasz je wygenerować?

Zgadnij, co robi większość zespołów? Odchodzą od przeczuć i wielu „myślimy”, „czujemy” i „wierzymy”. Jest to zdecydowanie zbyt subiektywne i jest to okropny sposób uruchamiania programu. Takie podejście w ogóle nie jest poparte danymi. To jest to, co praktycy nazywają „testowaniem spaghetti”, AKA rzucaniem rzeczami o ścianę i nadzieją, że się przylgną. Rozmowy oparte na danych nie zawierają zbyt wiele tego rodzaju języka, a potrzebne dane pochodzą z badań użytkowników. Cały czas jestem pytany, co oznacza „badanie”.

Cóż, istnieje kilka metod, które zbierają dane, w tym między innymi analizy, ankiety, ankiety, testy użytkowników, testowanie wiadomości, mapy cieplne, nagrania sesji, sortowanie kart, testowanie drzewa, mapowanie podróży klienta, persony i wiele innych. Istnieje również kilka narzędzi, które pomogą nam ukończyć każdy z nich. Zawsze powtarzam, żeby zacząć od jednego lub dwóch i stamtąd przejść do kolejnych. To z pewnością lepsze niż nic. Technicznie rzecz biorąc, tak naprawdę nie liczę już analityki, ponieważ każda firma ma obecnie dane analityczne. Jeśli tego nie masz, prawdopodobnie masz większe ryby do usmażenia. Jeśli jednak to masz, staraj się nawet o jeden lub dwa poza tym (i nie mów „och, w takim razie jesteśmy dobrzy”).

Istnieje metodologia zwana oceną heurystyczną. Wtedy ktoś wizualnie ocenia doświadczenie i rozwija spostrzeżenia w oparciu o swoje doświadczenie i wiedzę. Jest na to czas i miejsce, ale przez większość czasu nie jest to poparte „twardymi danymi”. Jest to dość subiektywne i będzie się różnić w pewnym stopniu w zależności od tego, kto je ukończy. Wiedz, że Twój program nie powinien opierać się na tego typu spostrzeżeniach.

Nie będę szczegółowo omawiał tutaj, jak przeprowadzać badania, ale możesz sprawdzić jedno z moich seminariów internetowych VWO tutaj, gdzie mówię więcej o modelu ResearchXL firmy CXL.

Krok 3: Ustalanie priorytetów

Gdy masz już listę pomysłów na testy, nie możesz wykonać ich wszystkich naraz. Potrzebujesz strategicznego, logicznego sposobu na stworzenie planu działania. W tym miejscu wchodzą w grę ramy ustalania priorytetów. Wiele istnieje. Szczególnie podoba mi się jeden: framework PXL firmy CXL. Inne popularne to PIE, ICE lub PILL. Moim zdaniem PXL jest najbardziej obiektywny. Jest konfigurowalny i bardziej wytrzymały (w dobry sposób).

Inne modele są w porządku i lepsze to niż nic. Jeśli masz coś i to działa dla ciebie, świetnie. Po prostu miej jeden i upewnij się, że wszyscy go używają! Oszczędzi ci to radzenia sobie z dodatkowym chaosem.

Krok 4: Planowanie

Plany drogowe wizualnie pokazują, co jest uruchomione w danym momencie. Połącz ustalanie priorytetów z obliczeniami przed testami i boom. Masz mapę drogową. Najlepiej robić to na wykresach Gantta. Dodaj wszystkie swoje tory i testy z szacowanym czasem trwania, urządzeniami i innymi pomocnymi metadanymi. Unikniesz niepożądanego nakładania się i niepożądanych efektów interakcji. Pomaga wszystkim planować znacznie efektywniej i wydajniej. Dzięki temu unikniesz większego chaosu.

Krok 5 i kolejne: Biznes jak zwykle

Teraz, gdy wszystko, co omówiliśmy, jest na uboczu, to jest jak zwykle. Masz pod ręką test, który zamierzasz przeprowadzić. Wysyłasz go przez zwykły przepływ pracy eksperymentu: makieta > projekt > rozwój > kontrola jakości > uruchomienie > monitorowanie > podsumowanie > analiza > udostępnienie i archiwizacja > powtórzenie.

Tematy pokrewne: Zarządzanie programem i nadzór

Poza poszczególnymi testami istnieją inne tematy do rozważenia w odniesieniu do całego „programu”. Obejmują one zarządzanie programem i zarządzanie. Oto jak myślę o nich w bardzo uproszczony sposób…

Zarządzanie programem: Jak zamierzasz zorganizować i śledzić całą tę pracę? Zastanów się, jakich narzędzi będziesz używać do zadań, zarządzania danymi i komunikacji. (Dostałem ten podział od Bena Labaya, dyrektora generalnego Speero.)

Zarządzanie: Jakie role i obowiązki mają wszyscy? Pomocnym sposobem ustalenia tego jest (1) wybranie modelu zarządzania i (2) wypełnienie wykresu RASCI dostosowanego do modelu zarządzania. Wspólne modele zarządzania do zbadania i rozważenia: indywidualne, scentralizowane, zdecentralizowane, centrum doskonałości, rada ds. testów i hybrydy.

Jeśli nie połączysz obu z tym wszystkim innym, będzie to dodatkowy chaos i zapłacisz za to na każdym kroku. Przygwoździć te. Zajmuje to dodatkowy czas, ale jest tego warte. Jeśli przez jakiś czas będziesz się włamywać, konsekwencje w końcu cię dogonią. Obiecuję. (Najwyraźniej złożyłem tutaj sporo obietnic.)

Wniosek

Powinieneś czuć się trochę (lub dużo) bardziej pewny tego, co możesz zrobić, aby rozpocząć eksperymentowanie lub co możesz zrobić, aby ulepszyć swój program, który już działa. Nie myśl, że jest to zbyt trudne lub zbyt łatwe. Zwykle jest gdzieś pośrodku. Moja największa rekomendacja dotycząca wszystkiego, o czym wspomniałem: miej rozgrywającego. Mieć kogoś, kto prowadzi całą tę pracę. Nie musi to być ich pełnoetatowa rola, ale ktoś powinien ją posiadać. Zwykle wtedy odnoszę największe sukcesy.

Podsumowując, mam nadzieję, że masz program eksperymentów pełen dyscypliny, wyników i odrobiny zabawy. Na koniec dnia to zabawna i ekscytująca praca, która może mieć ogromne znaczenie dla firmy.

Jeśli chcesz dowiedzieć się więcej o tym, w jaki sposób eksperymenty napędzają innowacje i wzrost i są warte całego szumu, obejrzyj moje ostatnie seminarium internetowe z VWO.