La guía completa para las pruebas A/B: consejos de expertos de Google, HubSpot y más

Publicado: 2020-04-10

Probablemente esta no sea la primera vez que lea sobre las pruebas A/B. Incluso es posible que ya haya realizado una prueba A/B en las líneas de asunto de su correo electrónico o en sus publicaciones en las redes sociales.

A pesar de que se ha dicho mucho sobre las pruebas A/B en el campo del marketing, mucha gente todavía se equivoca. ¿El resultado? Personas que toman decisiones comerciales importantes basadas en resultados inexactos de una prueba incorrecta.

Las pruebas A/B a menudo se simplifican demasiado, especialmente en el contenido escrito para propietarios de tiendas. A continuación, encontrará todo lo que necesita saber para comenzar con los diferentes tipos de pruebas A/B para el comercio electrónico, explicado de la manera más sencilla posible.

Tabla de contenido

  • ¿Qué son las pruebas A/B?
  • Cómo funcionan las pruebas A/B
  • ¿Qué son las pruebas A/B/n?
  • ¿Cuánto tiempo deben ejecutarse las pruebas A/B?
  • ¿Por qué deberías hacer una prueba A/B?
  • ¿Qué deberías probar A/B?
  • Priorizar ideas de pruebas A/B
  • Un curso intensivo en estadísticas de pruebas AB
  • Cómo configurar una prueba A/B
  • Cómo analizar los resultados de las pruebas A/B
  • Cómo archivar pruebas A/B pasadas
  • Procesos de pruebas A/B de los profesionales
  • Optimice las pruebas A/B para su negocio

¿Qué son las pruebas A/B?

Las pruebas A/B, a veces denominadas pruebas divididas, son el proceso de comparar dos versiones de la misma página web, correo electrónico u otro activo digital para determinar cuál funciona mejor.

Este proceso le permite responder preguntas comerciales importantes, lo ayuda a generar más ingresos del tráfico que ya tiene y sienta las bases para una estrategia de marketing basada en datos.

Más información: Cómo realizar un análisis FODA para su empresa

Cómo funcionan las pruebas A/B

Al usar las pruebas A/B en el contexto del marketing, muestra al 50 % de los visitantes la versión A de su recurso (llamémosle a esto el "control") y al 50 % de los visitantes la versión B (llamémosle a esto la "variante").

La versión que resulte en la tasa de conversión más alta gana. Por ejemplo, digamos que la variante (versión B) produjo la tasa de conversión más alta. Luego, lo declararía ganador y empujaría al 100% de los visitantes a la variante.

Luego, la variante se convierte en el nuevo control y debe diseñar una nueva variante.

Vale la pena mencionar que una tasa de conversión de prueba A/B es una medida imperfecta del éxito. ¿Por qué? Puede aumentar su tasa de conversión al instante haciendo que todo en su tienda sea gratuito. Por supuesto, esa es una terrible decisión comercial.

Es por eso que debe rastrear el valor de una conversión hasta el sonido de una caja registradora.

Lista de lectura gratuita: Optimización de conversión para principiantes

Convierta a más visitantes del sitio web en clientes al obtener un curso intensivo en optimización de conversión. Acceda a nuestra lista gratuita y seleccionada de artículos de alto impacto a continuación.

¿Qué son las pruebas A/B/n?

Con las pruebas A/B/n, puede probar más de una variante contra el control. Entonces, en lugar de mostrar el control al 50 % de los visitantes y la variante al 50 % de los visitantes, puede mostrar el control al 25 % de los visitantes, la primera variante al 25 %, la segunda variante al 25 % y la tercera variante al 25 %.

Nota: Esto es diferente de las pruebas multivariadas, que también involucran múltiples variantes. Cuando ejecuta pruebas multivariantes, no solo está probando múltiples variantes, también está probando múltiples elementos, como pruebas A/B UX o pruebas divididas de SEO. El objetivo es averiguar qué combinación funciona mejor.

Prueba multivariante
Fuente de la imagen: Google .

Necesitará mucho tráfico para ejecutar pruebas multivariadas, por lo que puede ignorarlas por ahora.

¿Cuánto tiempo deben ejecutarse las pruebas A/B?

Ejecute su prueba A/B durante al menos uno, idealmente dos, ciclos comerciales completos. No detenga su prueba solo porque haya alcanzado la significación. También deberá cumplir con su tamaño de muestra predeterminado. Finalmente, no olvide ejecutar todas las pruebas en incrementos de una semana completa.

¿Por qué dos ciclos económicos completos? Para principiantes:

  1. Puede dar cuenta de los compradores "Necesito pensarlo".
  2. Puede tener en cuenta todas las diferentes fuentes de tráfico (Facebook, boletín informativo por correo electrónico, búsqueda orgánica, etc.)
  3. Puede dar cuenta de las anomalías. Por ejemplo, su boletín de correo electrónico del viernes.

Si ha utilizado algún tipo de herramienta de prueba A/B o de página de destino, es probable que esté familiarizado con el pequeño icono verde "Estadísticamente significativo".

Para muchos, desafortunadamente, ese es el signo universal de "la prueba está cocinada, llámalo". Como aprenderá más a continuación, el hecho de que se haya alcanzado la significación estadística de la prueba A/B no significa que deba detener la prueba.

¿Y su tamaño de muestra predeterminado? No es tan intimidante como parece. Abra una calculadora de tamaño de muestra, como esta de Evan Miller.

Calculadora de tamaño de muestra

Este cálculo dice que si su tasa de conversión actual es del 5 % y desea poder detectar un efecto del 15 %, necesita una muestra de 13 533 por variación. Entonces, en total, se necesitan más de 25,000 visitantes si se trata de una prueba A/B estándar.

Observe lo que sucede si desea detectar un efecto más pequeño:

Calculadora de tamaño de muestra

Todo lo que ha cambiado es el efecto mínimo detectable (MDE). Ha disminuido del 15% al ​​8%. En este caso, necesita una muestra de 47.127 por variación. Entonces, en total, se necesitan casi 100,000 visitantes si se trata de una prueba A/B estándar.

Ya sea que esté realizando pruebas A/B de UX o pruebas divididas de SEO, el tamaño de su muestra debe calcularse por adelantado, antes de que comience la prueba. Su prueba no puede detenerse, incluso si alcanza significación, hasta que se alcance el tamaño de muestra predeterminado. Si lo hace, la prueba no es válida.

Es por eso que no puede seguir sin rumbo las mejores prácticas, como "detenerse después de 100 conversiones".

También es importante ejecutar pruebas para incrementos de semana completa. Su tráfico puede cambiar según el día de la semana y la hora del día, por lo que querrá asegurarse de incluir todos los días de la semana.

¿Por qué deberías hacer una prueba A/B?

Digamos que gastas $100 en anuncios de Facebook para enviar a 10 personas a tu sitio. El valor promedio de su pedido es de $25. Ocho de esos visitantes se van sin comprar nada y los otros dos gastan $25 cada uno. ¿El resultado? Perdiste $50.

Ahora supongamos que gasta $100 en anuncios de Facebook para enviar a 10 personas a su sitio. El valor promedio de su pedido sigue siendo de $25. Esta vez, sin embargo, solo cinco de esos visitantes se van sin comprar nada y los otros cinco gastan $25 cada uno. ¿El resultado? Ganaste $25.

Este es uno de los ejemplos de pruebas A/B más simples, por supuesto. Pero al aumentar la tasa de conversión en el sitio, hizo que el mismo tráfico fuera más valioso.

Las imágenes y la copia de las pruebas A/B también lo ayudan a descubrir información, ya sea que su prueba gane o pierda. Este valor es muy transferible. Por ejemplo, una perspectiva de redacción de una prueba A/B de descripción de producto podría ayudar a informar su propuesta de valor, un video de producto u otras descripciones de productos.

Tampoco puede ignorar el valor inherente de centrarse en mejorar continuamente la eficacia de su tienda.

¿Deberías hacer pruebas A/B?

No necesariamente. Si está ejecutando un sitio con poco tráfico o una aplicación web o móvil, las pruebas A/B probablemente no sean el mejor esfuerzo de optimización para usted. Es probable que vea un mayor retorno de la inversión (ROI) al realizar pruebas de usuario o hablar con sus clientes, por ejemplo.

A pesar de la creencia popular, la optimización de la tasa de conversión no comienza ni termina con las pruebas.

Considere los números de la calculadora de tamaño de muestra anterior. 47 127 visitantes por variación para detectar un efecto del 8 % si su tasa de conversión de referencia es del 5 %. Supongamos que desea probar una página de producto. ¿Recibe cerca de 100.000 visitantes en dos a cuatro semanas?

¿Por qué de dos a cuatro semanas? Recuerde, queremos ejecutar pruebas durante al menos dos ciclos comerciales completos. Por lo general, eso funciona de dos a cuatro semanas. Ahora tal vez esté pensando: "No hay problema, Shanelle, haré la prueba durante más de dos a cuatro semanas para alcanzar el tamaño de muestra requerido". Eso tampoco funcionará.

Verá, cuanto más se ejecuta una prueba, más susceptible es a las amenazas externas de validez y la contaminación de la muestra. Por ejemplo, los visitantes pueden eliminar sus cookies y volver a ingresar a la prueba A/B como un nuevo visitante. O alguien podría cambiar de su teléfono móvil a una computadora de escritorio y ver una variación alternativa.

Esencialmente, dejar que su prueba se ejecute durante demasiado tiempo es tan malo como no dejar que se ejecute el tiempo suficiente.

La inversión en pruebas vale la pena para las tiendas que pueden cumplir con el tamaño de muestra requerido en dos a cuatro semanas. Las tiendas que no pueden deben considerar otras formas de optimización hasta que aumente su tráfico.

Julia Starostenko, científica de datos de Shopify, está de acuerdo y explica:

Foto de cabeza experta

Julia Starostenko, Shopify

“¡Experimentar es divertido! Pero es importante asegurarse de que los resultados sean precisos.

“Pregúntese: ¿su audiencia es lo suficientemente grande? ¿Has recopilado suficientes datos? Para lograr una verdadera significación estadística (dentro de un período de tiempo razonable), el tamaño de la audiencia debe ser lo suficientemente grande”.

¿Qué deberías probar A/B?

No puedo decirte qué deberías probar A/B. Sé que sé. Sin duda, le haría la vida más fácil si pudiera darle una lista de 99 cosas para probar en este momento. No hay escasez de vendedores dispuestos a hacer eso a cambio de los clics.

La verdad es que las únicas pruebas que vale la pena ejecutar son las pruebas basadas en sus propios datos. No tengo acceso a sus datos, a sus clientes, etc., y tampoco a nadie que seleccione esas enormes listas de ideas para pruebas A/B. Ninguno de nosotros puede decirle de manera significativa qué probar.

Las únicas pruebas que vale la pena ejecutar son las pruebas basadas en sus propios datos.

En cambio, lo animo a que responda esta pregunta por sí mismo a través de un análisis cualitativo y cuantitativo. Algunos ejemplos populares de pruebas A/B son:

  • Análisis técnico. ¿Tu tienda se carga correctamente y rápidamente en todos los navegadores? ¿En todos los dispositivos? Es posible que tengas un iPhone 11 nuevo y reluciente, pero alguien en algún lugar todavía tiene un Motorola Razr de 2005. Si tu sitio no funciona correctamente y rápidamente, definitivamente no convierte tan bien como podría.
  • Encuestas in situ. Estos aparecen cuando los visitantes de su tienda navegan. Por ejemplo, una encuesta en el sitio podría preguntar a los visitantes que han estado en la misma página durante un tiempo si hay algo que les impida realizar una compra hoy. Si es así, ¿qué es? Puede utilizar estos datos cualitativos para mejorar su copia y tasa de conversión.
  • Entrevistas a clientes. Nada puede reemplazar ponerse al teléfono y hablar con sus clientes. ¿Por qué eligieron su tienda en lugar de las tiendas de la competencia? ¿Qué problema estaban tratando de resolver cuando llegaron a su sitio? Hay un millón de preguntas que podría hacer para llegar al corazón de quiénes son sus clientes y por qué realmente le compran.
  • Encuestas de clientes. Las encuestas de clientes son encuestas completas que se envían a las personas que ya han realizado una compra (a diferencia de los visitantes). Al diseñar una encuesta, desea centrarse en: definir a sus clientes, definir sus problemas, definir las dudas que tenían antes de comprar e identificar las palabras y frases que usan para describir su tienda.
  • Análisis analítico. ¿Sus herramientas de análisis están rastreando e informando sus datos correctamente? Eso puede sonar tonto, pero te sorprendería la cantidad de herramientas de análisis configuradas incorrectamente. El análisis analítico tiene que ver con averiguar cómo se comportan sus visitantes. Por ejemplo, podría centrarse en el embudo. ¿Dónde están las mayores fugas del embudo de conversión? En otras palabras, ¿dónde la mayoría de las personas abandonan su embudo? Ese es un buen lugar para comenzar a probar.
  • Pruebas de usuario. Aquí es donde observa a personas reales en un experimento controlado y pagado que intentan realizar tareas en su sitio. Por ejemplo, puede pedirles que busquen un videojuego en el rango de $ 40 a $ 60 y lo agreguen a su carrito. Mientras realizan estas tareas, narran sus pensamientos y acciones en voz alta.
  • Repeticiones de sesiones. Las repeticiones de sesión son similares a las pruebas de usuario, pero ahora estás tratando con personas reales con dinero real y una intención real de comprar. Verá cómo sus visitantes reales navegan por su sitio. ¿Qué les cuesta encontrar? ¿Dónde se frustran? ¿Dónde parecen confundidos?

También hay tipos adicionales de investigación, pero comience eligiendo la mejor metodología de prueba A/B para usted. Si revisa algunos de ellos, tendrá una enorme lista de ideas basadas en datos que vale la pena probar. Le garantizo que su lista le brindará más valor que cualquier artículo de "99 cosas para probar ahora mismo".

Priorizar ideas de pruebas A/B

Una enorme lista de ideas para pruebas A/B es emocionante, pero no exactamente útil para decidir qué probar. ¿Por dónde empiezas? Ahí es donde entra la priorización.

Hay algunos marcos de priorización comunes que puede usar:

  • HIELO. ICE significa impacto, confianza y facilidad. Cada uno de esos factores recibe una clasificación del 1 al 10. Por ejemplo, si pudiera ejecutar fácilmente la prueba usted mismo sin la ayuda de un desarrollador o diseñador, podría otorgar un ocho a la facilidad. Está utilizando su criterio aquí, y si tiene más de una persona realizando pruebas, las clasificaciones pueden volverse demasiado subjetivas. Es útil tener un conjunto de pautas para mantener a todos objetivos.
  • TARTA. PIE significa potencial, importancia y facilidad. De nuevo, cada factor recibe una clasificación del 1 al 10. Por ejemplo, si la prueba alcanzará el 90 % de su tráfico, podría asignarle un ocho a la importancia. PIE es tan subjetivo como ICE, por lo que las pautas también pueden ser útiles para este marco.
  • PXL. PXL es el marco de priorización de CXL. Es un poco diferente y más personalizable, lo que obliga a tomar decisiones más objetivas. En lugar de tres factores, encontrará preguntas de sí/no y una pregunta de fácil implementación. Por ejemplo, el marco podría preguntar: "¿La prueba está diseñada para aumentar la motivación?" Si es así, obtiene un 1. Si no, obtiene un 0. Puede obtener más información sobre este marco y descargar la hoja de cálculo aquí.

Ahora tiene una idea de por dónde empezar, pero también puede ayudar a categorizar sus ideas. Por ejemplo, durante una investigación de conversión que hice recientemente, utilicé tres categorías: implementar, investigar y probar.

  • Implementar. Solo hazlo. Está roto o es obvio.
  • Investigar. Requiere una reflexión adicional para definir el problema o reducir la solución.
  • Prueba. La idea es sólida y los datos informados. ¡Pruébalo!

Entre esta categorización y priorización, está listo.

Un curso intensivo de estadísticas de pruebas A/B

Antes de ejecutar una prueba, es importante profundizar en las estadísticas. Lo sé, las estadísticas por lo general no son las favoritas de los fanáticos, pero piensa en esto como el curso requerido que debes tomar a regañadientes para graduarte.

Las estadísticas son una gran parte de las pruebas A/B. Afortunadamente, las herramientas de prueba A/B y el software de prueba dividida han facilitado el trabajo de un optimizador, pero una comprensión básica de lo que sucede detrás de escena es crucial para analizar los resultados de la prueba más adelante.

Alex Birkett, gerente de marketing de crecimiento en HubSpot, explica:

Foto de cabeza experta

Alex Birkett, HubSpot

“Las estadísticas no son un número mágico de conversiones o un '¡Éxito!' binario. o 'Fracaso' cosa. Es un proceso que se utiliza para tomar decisiones bajo incertidumbre y para reducir el riesgo al tratar de reducir la confusión sobre cuál será el resultado de una decisión dada.

“Con eso en mente, creo que lo más necesario es saber lo básico: qué es una media, varianza, muestreo, desviación estándar, regresión a la media y qué constituye una muestra 'representativa'. Además, cuando comienza con las pruebas A/B, es útil establecer algunas medidas de seguridad específicas para mitigar la mayor cantidad posible de errores humanos”.

¿Que significa?

La media es el promedio. Su objetivo es encontrar una media que sea representativa del todo.

Por ejemplo, supongamos que está tratando de encontrar el precio promedio de los videojuegos. No vas a sumar el precio de todos los videojuegos del mundo y dividirlo por el número de todos los videojuegos del mundo. En su lugar, aislará una pequeña muestra que sea representativa de todos los videojuegos del mundo.

Podrías terminar encontrando el precio promedio de un par de cientos de videojuegos. Si ha seleccionado una muestra representativa, el precio medio de esos doscientos videojuegos debería ser representativo de todos los videojuegos del mundo.

¿Qué es el muestreo?

Cuanto mayor sea el tamaño de la muestra, menor será la variabilidad, lo que significa que es más probable que la media sea precisa.

Entonces, si aumentara su muestra de doscientos videojuegos a dos mil videojuegos, tendría menos varianza y una media más precisa.

¿Qué es la varianza?

La varianza es la variabilidad media. Esencialmente, cuanto mayor sea la variabilidad, menos precisa será la media para predecir un punto de datos individual.

Entonces, ¿qué tan cerca está la media del precio real de cada videojuego individual?

¿Qué es la significancia estadística?

Suponiendo que no hay diferencia entre A y B, ¿con qué frecuencia verá el efecto por casualidad?

Cuanto menor sea el nivel de significación estadística, mayor será la posibilidad de que su variación ganadora no sea ganadora en absoluto.

En pocas palabras, un nivel de significación bajo significa que existe una gran posibilidad de que su "ganador" no sea un verdadero ganador (esto se conoce como falso positivo).

Tenga en cuenta que la mayoría de las herramientas de prueba A/B y el software de prueba A/B de código abierto llaman a la significación estadística sin esperar a que se alcance un tamaño de muestra predeterminado o un punto en el tiempo. Es por eso que puede notar que su prueba cambia de estadísticamente significativa a estadísticamente insignificante.

Peep Laja, fundador de CXL Institute, quiere que más personas entiendan realmente la importancia estadística de las pruebas A/B y por qué es importante:

Foto de cabeza experta

Peep Laja, Instituto CXL

“La importancia estadística no es igual a la validez, no es una regla de parada. Cuando alcanza una significación estadística del 95 % o más, eso significa muy poco antes de que se cumplan otras dos condiciones más importantes:

“1. Hay suficiente tamaño de muestra, que se calcula utilizando calculadoras de tamaño de muestra. Es decir, suficientes personas han sido parte del experimento para que podamos concluir cualquier cosa.

“2. La prueba ha durado lo suficiente para que la muestra sea representativa (y no demasiado para evitar la contaminación de la muestra). En la mayoría de los casos, querrá realizar sus pruebas dos, tres o cuatro semanas, dependiendo de qué tan rápido pueda obtener la muestra necesaria”.

¿Qué es la regresión a la media?

Es posible que notes fluctuaciones extremas al comienzo de tu prueba A/B.

La regresión a la media es el fenómeno que dice que si algo es extremo en su primera medición, probablemente estará más cerca del promedio en su segunda medición.

Si la única razón por la que llama a una prueba es porque alcanzó significación estadística, podría estar viendo un falso positivo. Su variación ganadora probablemente regresará a la media con el tiempo.

¿Qué es el poder estadístico?

Suponiendo que hay una diferencia entre A y B, ¿con qué frecuencia verá el efecto?

Cuanto menor sea el nivel de poder, mayor será la posibilidad de que un ganador no sea reconocido. Cuanto mayor sea el nivel de poder, menor será la posibilidad de que un ganador no sea reconocido. Realmente, todo lo que necesita saber es que el 80% de la potencia estadística es estándar para la mayoría de las herramientas de prueba A/B y/o cualquier servicio de prueba dividida.

Ton Wesseling, fundador de Online Dialogue, desea que más personas supieran sobre el poder estadístico:

Foto de cabeza experta

Ton Wesseling, Diálogo en línea

“Mucha gente se preocupa por los falsos positivos. Nos preocupamos mucho más por los falsos negativos. ¿Por qué realizar experimentos en los que las posibilidades de encontrar pruebas de que su cambio positivo tiene un impacto son realmente bajas?

¿Qué son las amenazas de validez externa?

Hay factores externos que amenazan la validez de sus pruebas. Por ejemplo:

  • Ventas del Black Friday Cyber ​​Monday (BFCM)
  • Una mención de prensa positiva o negativa
  • Un gran lanzamiento de campaña paga
  • El día de la semana
  • Las estaciones cambiantes

Uno de los ejemplos de pruebas A/B más comunes donde las amenazas de validez externa afectan sus resultados es durante los eventos estacionales. Digamos que iba a realizar una prueba durante diciembre. Las principales festividades de compras significarían un aumento en el tráfico de su tienda durante ese mes. Es posible que en enero descubra que su ganador de diciembre ya no está funcionando bien.

¿Por qué?

Por una amenaza de vigencia externa: las vacaciones.

Los datos en los que basó su decisión de prueba fueron una anomalía. Cuando las cosas se calmen en enero, es posible que se sorprenda al descubrir que su ganador pierde.

No puede eliminar las amenazas de validez externa, pero puede mitigarlas ejecutando pruebas durante semanas completas (p. ej., no comience una prueba un lunes y finalice un viernes), incluidos diferentes tipos de tráfico (p. ej., no probar el tráfico pagado exclusivamente y luego distribuir los resultados a cada fuente de tráfico), y ser consciente de las amenazas potenciales.

Si está ejecutando una prueba durante una temporada alta de compras, como BFCM, o a través de una importante amenaza de validez externa, es posible que desee leer nuestra Guía completa para las pruebas A/B.

Cómo configurar una prueba A/B

Veamos un pequeño tutorial de pruebas A/B. Antes de probar cualquier cosa , debe tener una hipótesis sólida. (Genial, acabamos de terminar la clase de matemáticas y ahora estamos en ciencias).

No te preocupes, no es complicado. Básicamente, necesitas probar una hipótesis, no una idea. Una hipótesis es medible, aspira a resolver un problema de conversión específico y se centra en los conocimientos en lugar de en las ganancias.

Necesitas probar A/B una hipótesis, no una idea.

Cada vez que escribo una hipótesis, uso una fórmula prestada del Hypothesis Kit de Craig Sullivan:

  • Porque ves [insertar datos/retroalimentación de la investigación]
  • Espera que [el cambio que está probando] cause [el impacto que anticipa] y
  • Medirás esto usando [métrica de datos]

Fácil, ¿verdad? Todo lo que tiene que hacer es llenar los espacios en blanco y su idea de prueba se transformará en una hipótesis.

Elegir una herramienta de prueba A/B

Ahora puede comenzar a elegir una herramienta de prueba A/B o un servicio de prueba dividida. La mayoría de las veces, primero pensará en Google Optimize, Optimizely y VWO.

Todas son opciones buenas y seguras.

  • Google Optimizar. Gratis, excepto por algunas limitaciones multivariadas, que realmente no deberían afectarlo si recién está comenzando. Funciona bien cuando se realizan pruebas A/B de Google Analytics, lo cual es una ventaja.
  • optimamente. Fácil de poner en marcha pruebas menores, incluso sin conocimientos técnicos. Stats Engine facilita el análisis de los resultados de las pruebas. Por lo general, Optimizely es la opción más cara de las tres.
  • VWO. VWO tiene SmartStats para facilitar el análisis. Además, tiene un gran editor WYSIWYG para principiantes. Cada plan VWO viene con mapas de calor, encuestas en el sitio, análisis de formularios, etc.

También tenemos algunas herramientas de prueba A/B en la tienda de aplicaciones de Shopify que pueden resultarle útiles.

Una vez que haya seleccionado una herramienta de prueba A/B o un software de prueba dividida, complete el formulario de registro y siga las instrucciones provistas. El proceso varía de una herramienta a otra. Sin embargo, por lo general, se le pedirá que instale un fragmento en su sitio y establezca objetivos.

Cómo analizar los resultados de las pruebas A/B

¿Recuerdas cuando dije que escribir una hipótesis cambia el enfoque de las ganancias a las ideas? Krista Seiden, Analytics Advocate and Product Manager en Google, explica lo que eso significa:

Foto de cabeza experta

Krista SeidenGoogle

"El aspecto más pasado por alto de las pruebas A/B es aprender de los perdedores. De hecho, en los programas de optimización que he ejecutado, tengo la costumbre de publicar un 'informe de fallas' donde llamo a algunos de los mayores perdedores del trimestre y lo que aprendimos de ellos.

“Uno de mis favoritos de todos los tiempos fue de una campaña que tardó meses en realizarse. Pudimos colarnos en las pruebas de la página de destino justo antes de que se pusiera en marcha, y fue algo bueno que lo hicimos, porque fracasó estrepitosamente. Si realmente hubiéramos lanzado la página tal como estaba, habríamos tenido un impacto significativo en el resultado final. No solo terminamos ahorrándole al negocio una tonelada de dinero, sino que pudimos profundizar y hacer algunas suposiciones (que luego probamos) sobre por qué la nueva página había funcionado tan mal, y eso nos hizo mejores vendedores y más exitosos. en futuras campañas.”

Si elabora su hipótesis correctamente, incluso un perdedor es un ganador, porque obtendrá información que puede usar para futuras pruebas y en otras áreas de su negocio. Por lo tanto, cuando analice los resultados de su prueba, debe concentrarse en los conocimientos, no en si la prueba ganó o perdió. Siempre hay algo que aprender, siempre algo que analizar. ¡No descartes a los perdedores!

Si elabora su hipótesis correctamente, incluso un perdedor es un ganador.

Lo más importante a tener en cuenta aquí es la necesidad de segmentación. Una prueba puede ser un perdedor en general, pero es probable que se desempeñe bien con al menos un segmento. ¿Qué quiero decir con segmento?

  • Nuevos visitantes
  • Visitantes que regresan
  • visitantes de iOS
  • visitantes de Android
  • Visitantes de cromo
  • visitantes del safari
  • Visitantes de escritorio
  • Visitantes de la tableta
  • Visitantes de búsqueda orgánica
  • visitantes pagados
  • Visitantes de redes sociales
  • Compradores registrados

Captas la idea ¿cierto?

Cuando está mirando los resultados en su herramienta de prueba, está mirando toda la caja de dulces. Lo que tienes que hacer es separar los Smarties por color para poder comerte los rojos al final. Quiero decir, para que pueda descubrir conocimientos más profundos y segmentados.

Lo más probable es que la hipótesis se haya demostrado correcta entre ciertos segmentos. Eso también te dice algo.

El análisis es mucho más que si la prueba fue ganadora o perdedora. Segmente sus datos para encontrar información oculta debajo de la superficie.

Las herramientas de prueba A/B no harán el análisis por ti, así que esta es una habilidad importante para desarrollar con el tiempo.

Libro electrónico gratuito: análisis de comercio electrónico para principiantes

Descubra qué métricas son la clave para establecer y hacer crecer su negocio en línea. Esta guía gratuita es el primer paso perfecto para aprender sobre análisis de comercio electrónico.

Cómo archivar pruebas A/B pasadas

Digamos que realiza su primera prueba mañana. Dentro de dos años, ¿recordarás los detalles de esa prueba? No es probable.

Por eso es importante archivar los resultados de las pruebas A/B. Sin un archivo bien mantenido, todos los conocimientos que está obteniendo se perderán. Además, no bromeo, es muy fácil probar lo mismo dos veces si no está archivando.

Sin embargo, no hay una manera "correcta" de hacer esto. Podría usar una herramienta como Proyectos o Experimentos efectivos, o podría usar Excel. Realmente depende de ti, especialmente cuando recién estás comenzando. Solo asegúrate de estar al tanto de:

  • La hipótesis
  • Capturas de pantalla del control y la variación.
  • Si ganó o perdió
  • Información obtenida a través del análisis

A medida que crezca, se agradecerá por mantener este archivo. No solo lo ayudará a usted, sino también a los nuevos empleados y asesores/partes interesadas.

Procesos de pruebas A/B de los profesionales

Ahora que ha realizado un tutorial de prueba A/B estándar, echemos un vistazo a los procesos exactos de los profesionales de empresas como Google y HubSpot.

Lista de lectura gratuita: Optimización de conversión para principiantes

Convierta a más visitantes del sitio web en clientes al obtener un curso intensivo en optimización de conversión. Acceda a nuestra lista gratuita y seleccionada de artículos de alto impacto a continuación.

Krista SeidenGoogle

Mi proceso paso a paso para las pruebas A/B web y de aplicaciones comienza con el análisis; en mi opinión, este es el núcleo de cualquier buen programa de pruebas. En la etapa de análisis, el objetivo es examinar sus datos analíticos, encuestas o datos de UX, o cualquier otra fuente de conocimiento del cliente que pueda tener para comprender dónde están sus oportunidades de optimización.

Una vez que tenga una buena canalización de ideas de la etapa de análisis, puede continuar con la hipótesis de lo que podría estar saliendo mal y cómo podría corregir o mejorar estas áreas de optimización.

A continuación, es hora de construir y ejecutar sus pruebas. Asegúrese de ejecutarlos durante un período de tiempo razonable (prefiero dos semanas para asegurarme de tener en cuenta los cambios o las anomalías semana tras semana) y, cuando tenga suficientes datos, analice los resultados para determinar el ganador.

También es importante tomarse un tiempo en esta etapa para analizar a los perdedores. ¿Qué puedes aprender de estas variaciones?

Finalmente, y solo puede llegar a esta etapa una vez que haya dedicado tiempo a sentar las bases para un programa de optimización sólido, es hora de considerar la personalización. Esto no requiere necesariamente un conjunto de herramientas elegante, sino que puede surgir de los datos que tiene sobre sus usuarios.

La personalización de marketing puede ser tan fácil como orientar el contenido correcto a las ubicaciones correctas o tan complejo como la orientación basada en acciones de usuarios individuales. Sin embargo, no salte todo a la vez en la parte de personalización. Asegúrese de pasar suficiente tiempo para hacer lo básico primero.

Alex Birkett, HubSpot

En un nivel alto, trato de seguir este proceso:

  • Recopile datos y asegúrese de que las implementaciones de análisis sean precisas.
  • Analice los datos y encuentre ideas.
  • Convierta los conocimientos en hipótesis.
  • Priorice en función del impacto y la facilidad, y maximice la asignación de recursos (especialmente los recursos técnicos).
  • Ejecutar una prueba (siguiendo las mejores prácticas estadísticas según mi conocimiento y capacidad).
  • Analizar resultados e implementar o no de acuerdo a los resultados.
  • Iterar en función de los resultados y repetir.

En pocas palabras: investiga, prueba, analiza, repite.

Si bien este proceso puede desviarse o cambiar según el contexto (¿Estoy probando una función de producto crítica para el negocio? ¿Una publicación de blog CTA? ¿Cuál es el perfil de riesgo y el equilibrio de la innovación frente a la mitigación de riesgos?), es bastante aplicable a cualquier tamaño. o tipo de empresa.

El punto es que este proceso es ágil, pero también recopila suficientes datos, tanto comentarios cualitativos de los clientes como análisis cuantitativos, para poder generar mejores ideas de prueba y priorizarlas mejor para que pueda dirigir el tráfico a su tienda en línea.

Ton Wesseling, Diálogo en línea

La primera pregunta que siempre respondemos cuando queremos optimizar el viaje de un cliente es: ¿Dónde encaja este producto o servicio en el modelo ROAR que creamos en Online Dialogue? ¿Todavía está en la fase de riesgo en la que podríamos investigar mucho pero no podemos validar nuestros hallazgos a través de experimentos en línea de prueba A/B (menos de 1000 conversiones por mes), o está en la fase de optimización? ¿O incluso por encima?

  • Fase de riesgo: mucha investigación , que se traducirá en cualquier cosa, desde un pivote de modelo de negocio hasta un diseño completamente nuevo y una propuesta de valor.
  • Fase de optimización: grandes experimentos que optimizarán la propuesta de valor y el modelo de negocio.
  • Fase de optimización: pequeños experimentos para validar las hipótesis de comportamiento de los usuarios, que generarán conocimiento para cambios de diseño más grandes.
  • Automatización : todavía le queda poder de experimentación (visitantes), lo que significa que no se necesita todo su potencial de prueba para validar su viaje de usuario. Lo que queda debe usarse para explotar, para crecer más rápido ahora (sin enfocarse en aprendizajes a largo plazo). Esto podría automatizarse ejecutando bandidos/usando algoritmos.
  • Vuelva a pensar: deja de agregar mucha investigación , a menos que sea un giro hacia algo nuevo.

Rugido

Por lo tanto, las pruebas A/B web o de aplicaciones son solo una gran cosa en la fase de optimización de ROAR y más allá (hasta que se vuelva a pensar).

Nuestro enfoque para realizar experimentos es el modelo FACT & ACT:

HECHO Y ACTO

La investigación que hacemos se basa en nuestro modelo de 5V:

Modelo 5V

Recopilamos todos estos conocimientos para generar una hipótesis principal respaldada por la investigación, que conducirá a hipótesis secundarias que se priorizarán en función de los datos recopilados a través de pruebas A/B de escritorio o móviles. Cuanto mayor sea la probabilidad de que la hipótesis sea cierta, mayor será su clasificación.

Una vez que sabemos si nuestra hipótesis es verdadera o falsa, podemos comenzar a combinar aprendizajes y dar pasos más grandes al rediseñar/realinear partes más grandes del recorrido del cliente. Sin embargo, en algún momento, todas las implementaciones ganadoras conducirán a un máximo local. Luego, debe dar un paso más grande para poder alcanzar un máximo global potencial.

Y, por supuesto, los principales aprendizajes se difundirán en toda la empresa, lo que conduce a todo tipo de optimización e innovación más amplias basadas en sus conocimientos de primera mano validados.

¿Está comercializando para una audiencia internacional? Aprenda a facilitar ese proceso con la pseudolocalización.

Julia Starostenko, Shopify

El propósito de un experimento es validar que realizar cambios en una página web existente tendrá un impacto positivo en el negocio.

Antes de comenzar, es importante determinar si es realmente necesario realizar un experimento. Considere el siguiente escenario: hay un botón con una tasa de clics extremadamente baja. Sería casi imposible disminuir el rendimiento de este botón. Por lo tanto, no es necesario validar la eficacia de un cambio propuesto en el botón (es decir, ejecutar un experimento).

Del mismo modo, si el cambio propuesto en el botón es pequeño, probablemente no valga la pena dedicar tiempo a configurar, ejecutar y desmontar un experimento. En este caso, los cambios deberían implementarse para todos y se puede monitorear el rendimiento del botón.

Si se determina que ejecutar un experimento sería realmente beneficioso, el siguiente paso es definir las métricas comerciales que deben mejorarse (por ejemplo, aumentar la tasa de conversión de un botón). Then we ensure that proper data collection is in place.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, Instituto CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • Realice una investigación de conversión utilizando un marco como ResearchXL para identificar problemas en su sitio.
  • Elija un problema de alta prioridad (uno que afecte a una gran parte de los usuarios y sea un problema grave) y haga una lluvia de ideas sobre tantas soluciones como pueda para este problema. Informe su proceso de ideación con sus conocimientos de investigación de conversión. Determine en qué dispositivo desea ejecutar la prueba (debe ejecutar la prueba A/B móvil por separado del escritorio).
  • Determine cuántas variaciones puede probar (según su nivel de tráfico/transacción), y luego elija sus mejores ideas para una solución para probar contra el control.
  • Enmarque los tratamientos exactos (escriba la copia, realice los cambios de diseño, etc.) Dependiendo del alcance de los cambios, es posible que también deba incluir un diseñador para diseñar nuevos elementos.
  • Haga que su desarrollador front-end implemente los tratamientos en su herramienta de prueba. Configure las integraciones necesarias (Google Analytics), establezca objetivos apropiados.
  • Realice el control de calidad en la prueba (las pruebas rotas son, con mucho, el mayor asesino de pruebas A/B) para asegurarse de que funcione con cada combinación de navegador/dispositivo.
  • ¡Lanza la prueba!
  • Una vez realizada la prueba, realice un análisis posterior a la prueba.
  • Dependiendo del resultado, implemente el ganador, repita los tratamientos o vaya y pruebe algo más.
Icono de plantilla

Seminario web gratuito:

comercialización 101

¿Tiene dificultades para aumentar las ventas? Aprenda cómo pasar del primer día a la primera venta en este curso de capacitación gratuito.

Regístrate ahora

Optimice las pruebas A/B para su negocio

¡Tú tienes el proceso, tú tienes el poder! Entonces, salga, obtenga el mejor software de prueba A/B y comience a probar su tienda. Antes de que te des cuenta, esas ideas se sumarán a más dinero en el Banco de ti.

Si desea continuar aprendiendo sobre optimización, considere tomar un curso gratuito, como las pruebas A/B de Udacity de Google. Puede obtener más información sobre las pruebas A/B de aplicaciones web y móviles para mejorar su conjunto de habilidades de optimización.