Anforderungen für die Durchführung ernsthafter Experimentierprogramme

Das Ausführen von Experimentierprogrammen ist eine Kunst und eine Wissenschaft. Ich sage es die ganze Zeit. Programme sollten ein gewisses Maß an Strenge aufweisen – d. h. Systeme, Prozesse und Verfahren. Es ist nichts, was man auf die leichte Schulter nehmen sollte. Zu glauben, dass jeder morgen mit minimaler Vorbereitung und Planung ein Programm starten kann, ist ein Fehler. Leider passiert das aber immer wieder. Es ist nicht überraschend, dass viel Geld, Zeit und Mühe verschwendet werden. Das führt mich zum Thema Vorbereitung.

Wenn Sie das Experimentieren ernst nehmen und Ihre Wettbewerbsfähigkeit auf dem Markt verbessern möchten, sollten Sie es besser gut machen. Sie sollten davon ausgehen, dass Ihre Konkurrenten es gut machen. Also, wenn das bei dir Anklang findet, lies weiter und ich garantiere dir, dass du ein oder zwei goldene Nuggets mitnehmen wirst, die du sofort verwenden kannst.

Die unvermeidliche Vorstufe zum Erstellen eines Experimentierprogramms, das Sie über Erfolg oder Misserfolg bringt: Vorab-Test-Berechnungen

Berechnungen vor dem Test. Schon mal von ihnen gehört? Hast du sie gemacht? Kommt Ihnen MDE oder minimal nachweisbarer Effekt bekannt vor? Wie sieht es mit Dauerschätzungen oder Stichprobengrößen aus? Ich hoffe, Sie wissen, wovon ich spreche, obwohl ich darauf wetten würde, dass die große Mehrheit von Ihnen es nicht tut – einfach aufgrund meiner eigenen persönlichen Erfahrung mit Kunden.

Bevor Sie irgendetwas im Zusammenhang mit Experimenten tun, überprüfen Sie bitte, ob Sie über genügend Datenvolumen verfügen, um dies zu tun. Sehen Sie, ob Sie überhaupt in der Lage sind, durch Vortestberechnungen zu testen. Mit Datenvolumen meine ich Besucher und Conversions. Besucher können alles sein, was Sie normalerweise verwenden (z. B. Sitzungen, Benutzer, MAUs usw.). Conversions stammen aus der primären Metrik, die Sie in Ihren Tests verwenden werden. Das wissen:

1. Nicht jedes Unternehmen verfügt über genügend Datenvolumen, um in irgendeiner Weise zu experimentieren.
2. Wenn Sie es können, sollten Sie wissen, dass Sie Ihre gewünschte Geschwindigkeit nicht einfach aus dem Nichts auswählen. Es basiert auf Berechnungen.

Der Schuldige Nr. 1 für das Ignorieren eines oder beider dieser Punkte: Vertriebsmitarbeiter. Wenn Sie irgendeine Art von Werkzeug kaufen möchten, stellen Sie sicher, dass dies Teil des Gesprächs ist. Die minimale Eintrittsbarriere für ein Experimentierprogramm: genügend Datenvolumen, um einen Test innerhalb von acht oder weniger Wochen in einer Swimlane durchzuführen.

Ich habe dieses Thema vor einigen Monaten ausführlich für Experiment Nation behandelt. Seien Sie sich bewusst, dass, wenn Sie dieses Thema nicht verstehen und es vom ersten Tag an tun, es Sie verfolgen und letztendlich definitiv zu unerwünschten Ergebnissen irgendeiner Art führen wird. Ein weiterer sehr wichtiger Hinweis: Wissen Sie, ob Ihr Testtool (oder das, das Sie verwenden möchten) auf der Grundlage von Tests mit festem Horizont oder sequentiellen Tests erstellt wurde. Dies wirkt sich auf die Berechnungen und die Ausführung Ihres Programms aus.

Schritt 1 (Post-Vorläufer): Messung & Datenqualität

Wenn Sie die Hürde für die Berechnungen vor dem Test genommen und bestätigt haben, dass Sie über genügend Datenvolumen zum Testen verfügen, ist die nächste Hürde, um voranzukommen, die Messung und Datenqualität. Sie müssen wissen, worauf Sie bei dieser Arbeit abzielen; Andernfalls zappeln Sie wie ein Fisch am Flussufer. Zu viele Teams wissen nicht, worauf sie hinarbeiten – wie Formularübermittlungen, Transaktionen, Einnahmen, LTV usw.

Verstehen Sie, was Ihre primären, sekundären und tertiären Metriken für Experimente und das Unternehmen als Ganzes sind. Verstehen Sie es mit völliger Klarheit. Lassen Sie keine anhaltende Verwirrung oder Unsicherheit zu. Stellen Sie sicher, dass alle auf derselben Seite sind.

Sobald Sie so viel haben, stellen Sie sicher, dass Sie diese Daten an den richtigen Stellen sammeln und dass Sie ihnen vertrauen können.

Wenn Messung und/oder Datenqualität eine Katastrophe sind, hören Sie einfach auf. Stoppen Sie alles und widmen Sie all Ihre Bemühungen darauf, es richtig zu machen. Stellen Sie sich Experimente als eine Pyramide vor. Diese beiden Dinge sind die Grundschichten der Pyramide. Wenn es zu irgendeinem Zeitpunkt reißt, bröckelt alles andere darauf. Das verspreche ich.

Ich werde sagen, dass ich weiß, dass diese schwierig sein können. Es kann zusätzliche Zeit in Anspruch nehmen, sie richtig zu machen. Vielleicht sogar länger als ein oder zwei Monate. Es lohnt sich jedoch, sie richtig zu machen. Ich habe Probleme gesehen, die sechs Monate oder länger nach dem Start eines Programms auftauchten – nur um schließlich alles zum Erliegen zu bringen. Zu diesem Zeitpunkt ist niemand glücklich.

Eine Anmerkung dazu, was eine primäre Metrik sein sollte…

Dies ist manchmal ein strittiges Thema unter Praktizierenden. Ich habe eine sehr entschiedene Haltung zu diesem Thema, insbesondere wenn es um Marketingteams und Websites geht (nicht unbedingt um Produktteams und Produkte).

Primäre Metriken sollten immer Down-Funnel-Metriken sein. Aufträge. Formulareinreichungen. MQLs. Einnahmen. LTV. SQLs. Du hast die Idee. Einige Leute sagen, dass sie immer die Aktion sein sollten, die der von Ihnen vorgenommenen Änderung oder den Engagement-Metriken am nächsten kommt. Falsch. Nein. Nein. Falsch. BS. Wer Ihnen das sagt, sollte derjenige sein, der das Programm in sechs Monaten oder einem Jahr vor dem CMO oder CEO des Unternehmens rechtfertigen muss. Sie werden auf dem heißen Stuhl sitzen. Verwenden Sie KEIN Programm voller Tests, die sich auf Schaltflächenklicks, Klicks, Seitenaufrufe und den durchschnittlichen Wert konzentrieren. Sitzungsdauer, Ausstiegsrate, Absprungrate, Videoaufrufe usw. Das rechtfertigt nicht die Tausenden oder Hunderttausenden von Dollar, die für diese Arbeit ausgegeben werden. Jeder möchte seinen ROI wissen und wissen, wie sich die Arbeit auf das Endergebnis ausgewirkt hat. Button-Klicks werden das nicht tun.

Ich sage nicht, dass Sie keine Engagement-Metriken oder Metriken aus höheren Trichtern messen sollten, aber sie sollten sekundäre oder tertiäre Metriken sein. Nicht primäre. Sie fügen der Geschichte eines Tests Kontext hinzu. Sie sind nicht das, wovon Tests abhängen, wenn es an der Zeit ist, eine Entscheidung zu treffen. Beachten Sie, dass ich auch nicht sage, dass es niemals Ausnahmen gibt. Bewerten Sie die Tests dennoch von Fall zu Fall.

Ein Ratschlag: An diejenigen, die dieses Thema untereinander diskutieren, rate ich den Teams immer, die Optionen zu besprechen und für sich selbst zu entscheiden. Stellen Sie einfach sicher, dass Sie zu dem gemeinsamen Schluss kommen, dass alle daran festhalten, voranzukommen.

Schritt 2: Nutzerforschung und Ideenfindung

An diesem Punkt sollten Sie (1) wissen, dass Sie über genügend Datenvolumen zum Testen verfügen, und (2) wissen, was Sie messen und dass Sie die richtigen Daten sammeln, denen Sie vertrauen können. Was kommt als nächstes? Es kommt, was zu testen ist. Was sind Ihre Testideen? Wie werden Sie sie generieren?

Ratet mal, was die meisten Teams tun? Sie gehen von Bauchgefühlen und viel „wir denken“, „wir fühlen“ und „wir glauben“ aus. Das ist viel zu subjektiv, und es ist eine schreckliche Art, ein Programm auszuführen. Dieser Ansatz ist überhaupt nicht datengestützt. Praktizierende nennen das „Spaghetti-Testen“, auch bekannt als das Schleudern von Sachen gegen die Wand und hoffen, dass sie haften bleiben. Datenbasierte Konversationen beinhalten nicht viel von dieser Art von Sprache, und die benötigten Daten stammen aus der Benutzerforschung. Ich werde die ganze Zeit gefragt, was „Forschung“ bedeutet.

Nun, es gibt verschiedene Methoden, die Daten sammeln, einschließlich, aber nicht beschränkt auf Analysen, Umfragen, Umfragen, Benutzertests, Nachrichtentests, Heatmaps, Sitzungsaufzeichnungen, Kartensortierung, Baumtests, Customer Journey Mapping, Personas und vieles mehr. Es gibt auch mehrere Tools, die uns dabei helfen, diese zu vervollständigen. Ich sage immer, fange mit einem oder zwei an und arbeite dich von dort aus zu anderen vor. Das ist sicher besser als nichts. Technisch gesehen zähle ich Analytics nicht mehr wirklich, weil heutzutage jedes Unternehmen über Analytics-Daten verfügt. Wenn Sie das nicht haben, haben Sie wahrscheinlich größere Fische zum Braten. Wenn Sie es haben, streben Sie sogar noch ein oder zwei darüber hinaus an (und sagen Sie nicht „Oh, dann sind wir gut“).

Es gibt eine Methode namens heuristische Evaluation. Das ist, wenn jemand eine Erfahrung visuell bewertet und Erkenntnisse basierend auf seiner Erfahrung und seinem Fachwissen entwickelt. Es gibt eine Zeit und einen Ort dafür, aber es wird meistens nicht durch „harte Daten“ gestützt. Es ist ziemlich subjektiv und wird bis zu einem gewissen Grad unterschiedlich sein, je nachdem, wer es vervollständigt. Seien Sie sich bewusst, dass Ihr Programm nicht auf solchen Erkenntnissen basieren sollte.

Ich werde hier nicht im Detail darauf eingehen, wie man Forschung durchführt, aber Sie können sich hier eines meiner VWO-Webinare ansehen, in dem ich mehr über das ResearchXL-Modell von CXL spreche.

Schritt 3: Priorisierung

Sobald Sie eine Liste mit Testideen haben, können Sie sie nicht alle auf einmal ausführen. Sie brauchen einen strategischen, logischen Weg, um einen Aktionsplan zu erstellen. Hier kommen Priorisierungs-Frameworks ins Spiel. Viele existieren. Eines gefällt mir besonders gut: das PXL-Framework von CXL. Andere gebräuchliche sind PIE, ICE oder PILL. Die PXL ist meiner Meinung nach die objektivste. Es ist anpassbar und robuster (auf eine gute Art und Weise).

Andere Modelle sind okay und besser als nichts. Wenn Sie etwas haben und es für Sie funktioniert, großartig. Haben Sie einfach einen und stellen Sie sicher, dass jeder ihn benutzt! Es erspart Ihnen zusätzliches Chaos.

Schritt 4: Roadmapping

Roadmaps zeigen Ihnen visuell, was gerade läuft. Kombinieren Sie Ihre Priorisierung und Pre-Test-Berechnungen und Boom. Sie haben einen Fahrplan. Dies geschieht am besten in Gantt-Diagrammen. Fügen Sie alle Ihre Swimlanes und Tests mit geschätzter Dauer, Geräten und anderen hilfreichen Metadaten hinzu. Sie vermeiden unerwünschte Überschneidungen und unerwünschte Interaktionseffekte. Es hilft allen, viel effektiver und effizienter zu planen. So ersparen Sie sich weiteres Chaos.

Schritt 5 und darüber hinaus: Business as usual

Jetzt, da alles, was wir behandelt haben, aus dem Weg geräumt ist, geht es wie gewohnt weiter. Sie haben einen Test zur Hand, den Sie ausführen werden. Sie schicken es durch den regulären Experiment-Workflow: Mockup > Design > Entwicklung > QA > Start > Überwachung > Abschließen > Analysieren > Freigeben und Archivieren > Wiederholen.

Verwandte Themen: Programmmanagement und Governance

Außerhalb einzelner Tests gibt es andere Themen, die in Bezug auf ein gesamtes „Programm“ berücksichtigt werden müssen. Dazu gehören Programmmanagement und Governance. So denke ich über sie auf eine sehr eingekochte Weise …

Programmmanagement: Wie werden Sie all diese Arbeiten organisieren und verfolgen? Finden Sie heraus, welche Tools Sie für Aufgaben, Datenverwaltung und Kommunikation verwenden werden. (Ich habe diese Aufschlüsselung von Ben Labay, CEO von Speero, erhalten.)

Governance: Welche Rollen und Verantwortlichkeiten hat jeder? Eine hilfreiche Möglichkeit, dies zu bestimmen, besteht darin, (1) ein Governance-Modell auszuwählen und (2) ein RASCI-Diagramm auszufüllen, das auf das Governance-Modell abgestimmt ist. Gemeinsame Governance-Modelle, die es zu untersuchen und zu berücksichtigen gilt: Individuell, zentralisiert, dezentralisiert, Exzellenzzentrum, Testing Council und Hybride.

Wenn Sie beides nicht mit allem anderen festnageln, wird es zusätzliches Chaos geben, und Sie werden bei jedem Schritt dafür bezahlen. Nageln Sie diese fest. Es kostet zusätzliche Zeit, aber es lohnt sich. Wenn Sie sich eine Weile durch die Dinge hacken, werden Sie irgendwann von den Konsequenzen eingeholt. Das verspreche ich. (Anscheinend habe ich hier einiges versprochen.)

Abschluss

Sie sollten sich etwas (oder viel) sicherer fühlen, was Sie tun können, um mit dem Experimentieren zu beginnen, oder was Sie tun können, um Ihr bereits laufendes Programm zu verbessern. Fühlen Sie sich nicht zu schwer oder zu leicht. Es ist normalerweise irgendwo in der Mitte. Meine größte Empfehlung gilt für alles, was ich erwähnt habe: Habe einen Quarterback. Haben Sie jemanden, der all diese Arbeit leitet. Es muss nicht ihre Vollzeitrolle sein, aber jemand sollte sie besitzen. Das ist normalerweise, wenn ich den größten Erfolg gesehen habe.

Abschließend hoffe ich, dass Sie ein Experimentierprogramm voller Strenge, Ergebnisse und ein wenig Spaß haben. Am Ende des Tages ist es eine unterhaltsame und aufregende Arbeit, die für ein Unternehmen einen großen Unterschied machen kann.

Wenn Sie mehr darüber erfahren möchten, wie Experimente Innovation und Wachstum vorantreiben und den ganzen Hype wert sind, sehen Sie sich mein neuestes Webinar mit VWO an.