Comment vous préparer au succès des tests A/B

Une chose que j'aime dans le courrier électronique, ce sont les données. Parce qu'il est si facilement disponible, il est facile d'exécuter des tests fractionnés et de voir les performances des e-mails en temps réel. Vous me trouverez souvent penché sur des feuilles de calcul et actualisant constamment des données comme si je regardais une course serrée.

Mais rien de tout cela n'a d'importance si les tests A/B ne sont pas configurés correctement.

Sans une base solide, les résultats de vos tests A/B ne sont pas fiables et peuvent vous conduire dans la mauvaise direction. Et cela peut vous coûter en engagement, en conversions et, en fin de compte, en abonnés et en clients. Donc, avant de penser à votre prochain test, assurez-vous que vous êtes prêt à réussir pour obtenir les informations dont vous avez besoin pour piloter votre stratégie marketing.

Et qui de mieux pour parler de tests A/B que notre expert résident en tests et responsable de la croissance senior, John Kim ? John effectue la plupart des tests de conversion sur notre site Web et m'a beaucoup appris à affiner mes propres compétences. Et maintenant, vous apprendrez aussi de lui.

Quelles sont les principales choses que vous devez faire pour réussir un test A/B ?

Peu importe où vous testez (par exemple, e-mail, site Web, application intégrée ou publicité payante), les bases restent les mêmes. Faites-les correctement, et vous êtes sur la bonne voie pour obtenir des résultats auxquels vous pouvez faire confiance et agir.

Sachez ce que vous testez

Avant d'exécuter votre test A/B, il est essentiel de comprendre exactement ce que vous prévoyez de tester. Chez Litmus, nous avons un certain nombre de critères que nous documentons pour chaque test A/B afin de nous assurer de maximiser nos chances de réussite et d'apprentissage.

Hypothèse

L'élément le plus vital de votre test A/B, une bonne hypothèse, est peut-être une réponse à un problème que vous essayez de résoudre.

Votre hypothèse doit être claire, ciblée et fondée sur des preuves sous-jacentes ou limitées. En termes simples, il s'agit d'une supposition éclairée sur la façon dont vous pourriez résoudre un problème commercial complexe. Il est important que votre hypothèse soit clairement définie car votre expérience sera conçue pour la tester.

Commencez à rédiger votre hypothèse ! Dans notre cas, ils sont souvent écrits à l'aide d'une instruction if-then .

Exemple : si nous modifions la couleur standard de nos boutons en orange au lieu de vert, nous constaterons une augmentation des clics.

But

L'élément suivant que nous aimons documenter avant d'exécuter une expérience est l'objectif de l'expérience. En fin de compte, qu'essayez-vous d'accomplir pour votre entreprise ?

Soyez clair sur ce que le succès signifie pour vous.

Exemple : Notre objectif est d'augmenter le nombre de clics sur le bouton pour, à son tour, augmenter les conversions sur la page suivante, ce qui entraîne soit un nombre plus élevé d'inscriptions à l'essai ou d'activations dans l'ensemble.

Métrique

Avant de lancer votre test, il est important de savoir ce que vous surveillerez pour vos métriques principales. Compte tenu de votre hypothèse et de votre objectif, soyez clair sur la ou les deux mesures que vous utiliserez pour déterminer le succès en ce qui concerne vos objectifs précédemment énoncés.

Cette étape est importante car vous voudrez vous assurer de :

1. Sachez quelles mesures sont importantes pour vous
2. Avoir la possibilité de surveiller et d'attribuer cette activité à un utilisateur et à une cohorte donnés (vos audiences de test et de contrôle tirées de votre audience globale).
3. Comprenez vos métriques secondaires. En plus des métriques principales, il est important de surveiller comment les utilisateurs interagissent avec le reste de votre expérience.

Garde-corps

Les différentes manières dont un test donné peut affecter votre entreprise peuvent surprendre.

Ce que nous faisons dans cette étape est de documenter toutes les métriques et les canaux que le prochain test A/B pourrait avoir un impact positif ou négatif.

Il est important de faire cet exercice pour pouvoir :

1. Minimisez les surprises pour un test donné
2. Pesez (le mieux possible) les avantages potentiels par rapport aux risques/aux garde-fous.

Notre équipe consacre des efforts importants à la préparation des tests. Nous entrons dans chaque test avec des attentes réalistes, des seuils de réussite et d'échec, et nous sommes préparés à une multitude de résultats.

Accédez à des métriques de courrier électronique pas si typiques dans Litmus Analytics Les mesures de messagerie standard telles que le taux d'ouverture, le taux de clics, le taux de désabonnement, etc. ne peuvent vous en dire autant. Comprenez comment votre public interagit avec vos e-mails avec des détails tels que le client de messagerie, le taux de lecture, etc. Obtenir plus de données de messagerie →

Test fractionné et suivi

Le test A/B ou le test fractionné est une fonctionnalité largement disponible et proposée avec la plupart des fournisseurs de services de messagerie (ESP) et des plateformes d'automatisation du marketing. Si vous souhaitez effectuer des tests sur votre site marketing ou votre application, des outils comme VWO ou Optimizely proposent également des solutions.

Lorsqu'il s'agit de sélectionner votre audience, déterminez le nombre de personnes dont vous avez besoin dans votre audience pour faire partie de votre test global afin d'établir une signification statistique, ou la probabilité que la différence de taux de conversion entre le groupe A et le groupe B ne soit pas due au hasard . Vous voudrez vous tailler une partie de votre audience globale pour la diviser à 50/50 dans ces groupes si vous avez une audience suffisamment large. Chez Litmus, nous avons rencontré divers outils au fil des ans pour vous aider. L'un de nos favoris est le calculateur de test A/B de Neil Patel.

Une fois que vous avez déterminé le nombre de personnes devant faire partie de votre audience de test, la moitié de celle-ci ne devrait avoir aucun changement appliqué à leur expérience. Ce groupe sera votre groupe de contrôle. Dans la mesure du possible, leur expérience doit ressembler étroitement à ce que vous considérez comme votre expérience de base ou typique. L'autre moitié de votre audience sera votre cohorte de variantes. Pour les utilisateurs de ce groupe, appliquez le traitement test.

Les tests A/B sont généralement analysés au niveau d'une cohorte. Signification : nous évaluons si oui ou non la cohorte qui a reçu l'expérience de traitement s'est convertie de manière significativement différente de la cohorte de contrôle.

Il est essentiel que le placement d'un membre du public dans une cohorte donnée soit aléatoire et que chacun ne reçoive qu'un seul traitement. Si nous devions considérer la composition de chacune des cohortes (test et contrôle), nous voulons nous assurer que nous n'introduisons aucun biais envers une caractéristique démographique, firmographique ou toute autre caractéristique de l'utilisateur pour une seule cohorte. Randomiser vos cohortes et avoir moins de variantes garantit mieux que vos cohortes représentent une sélection aléatoire de votre public.

Emballer

Les tests A/B ne doivent pas être difficiles, mais si vous ne les configurez pas correctement, les informations que vous en tirerez ne signifieront pas grand-chose. Comprendre les principes fondamentaux que nous avons explorés ici vous préparera au succès, afin que vous puissiez appliquer vos apprentissages à l'ensemble de votre stratégie marketing. N'oubliez pas de prendre du recul pour réfléchir à chaque élément et vous serez sur la bonne voie. Restez à l'écoute pour notre blog sur les tests A/B de votre marketing par e-mail, où nous plongerons plus profondément dans le test de notre canal préféré.

Plus de données. Plus d'idées. Obtenez plus de données d'e-mail, plus d'informations, lorsque vous allez au-delà des métriques d'e-mail standard. Accédez au taux de lecture, au taux de transfert et plus encore avec la puissance de Litmus Email Analytics, intégrée directement à Litmus Plus. Essayez Litmus Plus gratuitement →