Cómo prepararse para el éxito de las pruebas A / B

Una cosa que me encanta del correo electrónico son los datos. Debido a que está tan fácilmente disponible, es fácil ejecutar pruebas divididas y ver el rendimiento del correo electrónico en tiempo real. A menudo me encontrarás estudiando hojas de cálculo y actualizando datos constantemente como si estuviera viendo una carrera reñida.

Pero nada de eso importa si las pruebas A / B no están configuradas correctamente.

Sin una base sólida, los resultados de su prueba A / B no son confiables y pueden llevarlo en la dirección equivocada. Y eso puede costarle participación, conversiones y, en última instancia, suscriptores y clientes. Por lo tanto, antes de pensar en su próxima prueba, asegúrese de estar preparado para el éxito a fin de obtener la información que necesita para impulsar su estrategia de marketing.

¿Y quién mejor para hablar sobre las pruebas A / B que nuestro experto residente en pruebas y gerente senior de crecimiento, John Kim? John ejecuta la mayoría de las pruebas de conversión en nuestro sitio web y me ha enseñado bastante a perfeccionar mis propias habilidades. Y ahora también aprenderás de él.

¿Cuáles son las cosas clave que debe hacer para ejecutar una prueba A / B exitosa?

No importa dónde esté probando (por ejemplo, correo electrónico, sitio web, en la aplicación o anuncio pagado), los conceptos básicos siguen siendo los mismos. Hágalo bien y estará bien encaminado hacia resultados en los que puede confiar y sobre los que actuar.

Sepa lo que está probando

Antes de ejecutar su prueba A / B, es fundamental comprender exactamente lo que planea probar. En Litmus, tenemos una serie de criterios que documentamos para cada prueba A / B para asegurarnos de maximizar nuestras posibilidades de éxito y aprendizaje.

Hipótesis

Quizás el elemento más vital de su prueba A / B, una buena hipótesis, es la respuesta a un problema que está tratando de resolver.

Su hipótesis debe ser clara, enfocada y hecha con alguna evidencia subyacente o limitada. En pocas palabras, es una suposición fundamentada de cómo podría resolver un problema empresarial complejo. Es importante que su hipótesis esté claramente definida porque su experimento estará diseñado para probarla.

¡Empiece a escribir su hipótesis! En nuestro caso, a menudo se escriben con una declaración si-entonces .

Ejemplo: si cambiamos el color de nuestro botón estándar a naranja en lugar de verde, veremos un aumento en los clics.

Objetivo

El siguiente elemento que nos gusta documentar antes de ejecutar cualquier experimento es el objetivo del experimento. En última instancia, ¿qué está tratando de lograr para su negocio?

Sea claro sobre lo que significa el éxito para usted.

Ejemplo: Nuestro objetivo es aumentar los clics en el botón para, a su vez, aumentar las conversiones en la página siguiente, lo que da como resultado un mayor número de registros de prueba o activaciones en general.

Métrica

Antes de ejecutar su experimento, es importante saber qué supervisará para sus métricas principales. Dada su hipótesis y su objetivo, tenga claro qué una o dos métricas utilizará para determinar el éxito en lo que respecta a sus objetivos establecidos anteriormente.

Este paso es importante porque querrá asegurarse de que:

1. Sepa qué métricas son importantes para usted
2. Tenga la capacidad de monitorear y atribuir esa actividad a un usuario y cohorte determinados (sus audiencias de prueba y control tomadas de su audiencia general).
3. Comprenda sus métricas secundarias. Además de las métricas primarias, es importante supervisar cómo los usuarios interactúan con el resto de su experiencia.

Barandillas

Las diferentes formas en que una prueba determinada puede afectar su negocio pueden ser una sorpresa.

Lo que hacemos en este paso es documentar todas las métricas y canales en los que la próxima prueba A / B podría impactar positiva o negativamente.

Es importante realizar este ejercicio para que podamos:

1. Minimice las sorpresas para cualquier prueba determinada
2. Sopese (lo mejor posible) los beneficios potenciales frente a los riesgos / barandas.

Nuestro equipo realiza un esfuerzo significativo en la preparación para las pruebas. Entramos en cada prueba con expectativas realistas, umbrales de éxito y fracaso, y estamos preparados para una multitud de resultados.

Acceda a métricas de correo electrónico no tan típicas en Litmus Analytics Las métricas de correo electrónico estándar, como la tasa de apertura, la tasa de clics, la tasa de cancelación de suscripción y más, solo pueden decirle mucho. Comprenda cómo su audiencia está interactuando con sus correos electrónicos con detalles como el cliente de correo electrónico, la tasa de lectura y más. Obtenga más datos de correo electrónico →

Prueba dividida y pista

Las pruebas A / B o las pruebas divididas son una característica ampliamente disponible y se ofrece con la mayoría de los proveedores de servicios de correo electrónico (ESP) y las plataformas de automatización de marketing. Si desea ejecutar pruebas en su sitio de marketing o su aplicación, herramientas como VWO u Optimizely también ofrecen soluciones.

Cuando se trata de seleccionar su audiencia, determine la cantidad de personas que necesita de su audiencia para estar en su prueba general para establecer la significancia estadística, o la probabilidad de que la diferencia en las tasas de conversión entre el grupo A y el grupo B no se deba a una casualidad. . Querrá crear una parte de su audiencia general para dividir 50/50 en estos grupos si tiene una audiencia lo suficientemente grande. Aquí en Litmus, hemos encontrado varias herramientas a lo largo de los años para ayudar. Uno de nuestros favoritos es la calculadora de pruebas A / B de Neil Patel.

Una vez que determine cuántas personas deben estar en su audiencia de prueba, la mitad de ella no debería tener ningún cambio aplicado a su experiencia. Este grupo será su grupo de control. Lo mejor posible, su experiencia debe parecerse mucho a lo que usted considera que es su experiencia básica o típica. La otra mitad de su audiencia será su cohorte variante. Para los usuarios de este grupo, aplique el tratamiento de prueba.

Las pruebas A / B generalmente se analizan a nivel de cohorte. Significado: evaluamos si la cohorte que recibió la experiencia del tratamiento se convirtió de manera significativamente diferente a la cohorte de control.

Es vital que colocar a un miembro de la audiencia en una cohorte determinada sea aleatorio y que cada uno reciba un único tratamiento. Si tuviéramos que considerar la composición de cada una de las cohortes (prueba y control), queremos asegurarnos de que no introducimos ningún sesgo hacia una característica demográfica, firmográfica o cualquier otra característica del usuario en una sola cohorte. Aleatorizar sus cohortes y tener menos variantes asegura mejor que sus cohortes representen una selección aleatoria de su audiencia.

Terminando

Las pruebas A / B no tienen por qué ser difíciles, pero si no las configura correctamente, la información que obtenga de ellas no significará mucho. Comprender los fundamentos que hemos explorado aquí lo preparará para el éxito, de modo que pueda aplicar sus aprendizajes a toda su estrategia de marketing. Recuerde, retroceda un paso para pensar en cada elemento y estará bien encaminado. Estén atentos a nuestro blog sobre pruebas A / B de su marketing por correo electrónico, donde profundizaremos en las pruebas de nuestro canal favorito.

Más datos. Más información. Obtenga más datos de correo electrónico, más información, cuando vaya más allá de las métricas de correo electrónico estándar. Acceda a la tasa de lectura, la tasa de reenvío y más con el poder de Litmus Email Analytics, integrado en Litmus Plus. Prueba Litmus Plus gratis →