So bereiten Sie sich auf den Erfolg von A/B-Tests vor

Eine Sache, die ich an E-Mails liebe, sind Daten. Da es so leicht verfügbar ist, ist es einfach, Split-Tests durchzuführen und die E-Mail-Leistung in Echtzeit zu sehen. Sie werden oft feststellen, dass ich über Tabellenkalkulationen brüte und ständig Daten aktualisiere, als würde ich ein knappes Rennen beobachten.

Aber all das spielt keine Rolle, wenn A/B-Tests nicht richtig eingerichtet sind.

Ohne eine solide Grundlage sind Ihre A/B-Testergebnisse unzuverlässig und können Sie in die falsche Richtung führen. Und das kann Sie an Engagement, Conversions und letztendlich an Abonnenten und Kunden kosten. Bevor Sie also an Ihren nächsten Test denken, stellen Sie sicher, dass Sie auf Erfolg vorbereitet sind, um die Erkenntnisse zu erhalten, die Sie für Ihre Marketingstrategie benötigen.

Und wer könnte besser über A/B-Tests sprechen als unser ansässiger Testexperte und Senior Growth Manager John Kim? John führt die meisten Conversion-Tests auf unserer Website durch und hat mir einiges beigebracht, um meine eigenen Fähigkeiten zu verbessern. Und jetzt lernen Sie auch von ihm.

Was sind die wichtigsten Dinge, die Sie tun müssen, um einen erfolgreichen A/B-Test durchzuführen?

Egal, wo Sie testen (z. B. E-Mail, Website, In-App oder bezahlte Anzeige), die Grundlagen bleiben gleich. Wenn Sie sie richtig machen, sind Sie auf dem besten Weg zu Ergebnissen, denen Sie vertrauen und auf die Sie Maßnahmen ergreifen können.

Wissen Sie, was Sie testen

Bevor Sie Ihren A/B-Test durchführen, ist es wichtig, genau zu verstehen, was Sie testen möchten. Bei Litmus haben wir eine Reihe von Kriterien, die wir für jeden A/B-Test dokumentieren, um sicherzustellen, dass wir unsere Erfolgs- und Lernchancen maximieren.

Hypothese

Das vielleicht wichtigste Element Ihres A/B-Tests – eine gute Hypothese – ist die Antwort auf ein Problem, das Sie zu lösen versuchen.

Ihre Hypothese sollte klar und fokussiert sein und mit einigen zugrunde liegenden oder begrenzten Beweisen aufgestellt werden. Einfach ausgedrückt, ist es eine fundierte Vermutung, wie Sie ein komplexes Geschäftsproblem lösen könnten. Es ist wichtig, dass Ihre Hypothese klar definiert ist, da Ihr Experiment darauf ausgelegt ist, sie zu testen.

Beginnen Sie mit dem Schreiben Ihrer Hypothese! In unserem Fall werden sie oft mit einer Wenn-Dann- Anweisung geschrieben.

Beispiel: Wenn wir unsere Standard-Button-Farbe in Orange statt in Grün ändern, sehen wir eine Zunahme der Click-Throughs.

Ziel

Das nächste Element, das wir gerne dokumentieren, bevor wir ein Experiment durchführen, ist das Ziel des Experiments. Was wollen Sie letztendlich für Ihr Unternehmen erreichen?

Machen Sie sich klar, was Erfolg für Sie bedeutet.

Beispiel: Unser Ziel ist es, die Klicks auf die Schaltfläche zu erhöhen, um wiederum die Conversions auf der nächsten Seite zu steigern, was entweder zu höheren Testanmeldungen oder insgesamt höheren Aktivierungen führt.

Messwerte

Bevor Sie Ihren Test durchführen, ist es wichtig zu wissen, was Sie für Ihre primären Messwerte überwachen. Machen Sie sich anhand Ihrer Hypothese und Ihres Ziels klar, welche eine oder zwei Metriken Sie verwenden werden, um den Erfolg in Bezug auf Ihre zuvor genannten Ziele zu bestimmen.

Dieser Schritt ist wichtig, weil Sie sicherstellen möchten, dass Sie:

1. Wissen Sie, welche Kennzahlen für Sie wichtig sind
2. Sie haben die Möglichkeit, diese Aktivität zu überwachen und einem bestimmten Benutzer und einer bestimmten Kohorte zuzuordnen (Ihre Test- und Kontrollzielgruppen aus Ihrer Gesamtzielgruppe).
3. Verstehen Sie Ihre sekundären Messwerte. Zusätzlich zu den primären Messwerten ist es wichtig zu überwachen, wie Nutzer mit dem Rest Ihrer Erfahrung interagieren.

Leitplanken

Die unterschiedlichen Auswirkungen eines bestimmten Tests auf Ihr Unternehmen können überraschen.

In diesem Schritt dokumentieren wir alle Metriken und Kanäle, die der bevorstehende A/B-Test positiv oder negativ beeinflussen könnte.

Es ist wichtig, diese Übung durchzuführen, damit wir:

1. Minimieren Sie Überraschungen für einen bestimmten Test
2. Wägen Sie (so gut wie möglich) die potenziellen Vorteile gegenüber den Risiken/Leitplanken ab.

Unser Team unternimmt erhebliche Anstrengungen, um sich auf die Tests vorzubereiten. Wir gehen in jeden Test mit realistischen Erwartungen, Erfolgs- und Misserfolgsschwellen und sind auf eine Vielzahl von Ergebnissen vorbereitet.

Greifen Sie auf nicht so typische E-Mail-Metriken in Litmus Analytics zu Standard-E-Mail-Metriken wie Öffnungsrate, Klickrate, Abmelderate und mehr können Ihnen nur eine begrenzte Menge sagen. Verstehen Sie, wie Ihr Publikum mit Ihren E-Mails interagiert, mit Details wie E-Mail-Client, Leserate und mehr. Weitere E-Mail-Daten abrufen →

Split testen und verfolgen

A/B-Tests oder Split-Tests sind eine weit verbreitete Funktion und werden von den meisten E-Mail-Dienstanbietern (ESPs) und Marketing Automation-Plattformen angeboten. Wenn Sie Tests auf Ihrer Marketingseite oder Ihrer App durchführen möchten, bieten auch Tools wie VWO oder Optimizely Lösungen.

Bestimmen Sie bei der Auswahl Ihrer Zielgruppe die Anzahl der Personen, die Sie benötigen, um an Ihrem Gesamttest teilzunehmen, um die statistische Signifikanz zu ermitteln, oder bestimmen Sie die Wahrscheinlichkeit, dass der Unterschied in den Konversionsraten zwischen Gruppe A und Gruppe B nicht auf zufällige Zufälle zurückzuführen ist . Sie sollten einen Teil Ihres Gesamtpublikums aufteilen, um 50/50 in diese Gruppen aufzuteilen, wenn Sie ein ausreichend großes Publikum haben. Hier bei Litmus sind wir im Laufe der Jahre auf verschiedene Tools gestoßen, die uns dabei helfen. Einer unserer Favoriten ist der A/B-Testrechner von Neil Patel.

Sobald Sie festgestellt haben, wie viele Personen in Ihrem Testpublikum sein müssen, sollten bei der Hälfte davon keine Änderungen an ihrer Erfahrung vorgenommen werden. Diese Gruppe wird Ihre Kontrollgruppe sein. Ihre Erfahrung sollte so gut wie möglich dem entsprechen, was Sie als Ihre grundlegende oder typische Erfahrung betrachten. Die andere Hälfte Ihres Publikums ist Ihre Variantenkohorte. Wenden Sie für die Benutzer in dieser Gruppe die Testbehandlung an.

A/B-Tests werden in der Regel auf Kohortenebene analysiert. Bedeutung – wir beurteilen, ob die Kohorte, die die Behandlungserfahrung erhielt, signifikant anders konvertiert wurde als die Kontrollkohorte.

Es ist wichtig, dass die Einteilung eines Zuschauers in eine bestimmte Kohorte zufällig erfolgt und dass jeder einzelne nur eine einzige Behandlung erhält. Wenn wir die Zusammensetzung jeder der Kohorten (Test und Kontrolle) berücksichtigen, möchten wir sicherstellen, dass wir für eine einzelne Kohorte keine Verzerrung in Bezug auf eine bestimmte demografische, firmografische oder andere Eigenschaft des Benutzers einführen. Wenn Sie Ihre Kohorten randomisieren und weniger Varianten haben, stellen Sie sicher, dass Ihre Kohorten eine zufällige Auswahl Ihres Publikums darstellen.

Einpacken

A/B-Tests müssen nicht schwer sein, aber wenn Sie sie nicht richtig einrichten, werden die Erkenntnisse, die Sie daraus gewinnen, nicht viel bedeuten. Wenn Sie die hier untersuchten Grundlagen verstehen, werden Sie erfolgreich sein, damit Sie Ihre Erkenntnisse auf Ihre gesamte Marketingstrategie anwenden können. Denken Sie daran, machen Sie einen Schritt zurück, um jedes Element zu durchdenken, und Sie sind auf dem besten Weg. Bleiben Sie dran für unseren Blog zum A/B-Testen Ihres E-Mail-Marketings, in dem wir uns eingehender mit dem Testen unseres Lieblingskanals befassen.

Mehr Daten. Mehr Einblicke. Erhalten Sie mehr E-Mail-Daten – mehr Einblicke –, wenn Sie über die Standard-E-Mail-Metriken hinausgehen. Greifen Sie mit der Leistungsfähigkeit von Litmus Email Analytics, die direkt in Litmus Plus integriert ist, auf Leserate, Weiterleitungsrate und mehr zu. Testen Sie Lackmus Plus kostenlos →