Pruebas A / B móviles: 7 grandes errores y conceptos erróneos que debe evitar

No es ningún secreto que el marketing en general se basa en gran medida en los datos. Lo mismo se aplica al marketing móvil y la adquisición de usuarios. En este ámbito, elegir los elementos correctos de la página del producto para la App Store y Google Play puede marcar una diferencia crucial para el éxito de una aplicación o un juego móvil. Las pruebas A / B móviles son una herramienta que ayuda a tomar esa decisión en función de los datos.

Sin embargo, ¿cuántas veces hemos escuchado el argumento de que las pruebas A / B no brindan los resultados deseados, o que alguien no está seguro de ejecutar experimentos móviles, verdad? Esto sucede a menudo debido a algunos errores comunes y una mala interpretación de los datos. En esta publicación, cubriré los errores más grandes y las conclusiones engañosas en las pruebas A / B de aplicaciones móviles, cuyo conocimiento lo ayudará a lograr el éxito.

1. Finalizar un experimento antes de obtener la cantidad adecuada de tráfico

Este es uno de los errores más comunes en las pruebas A / B móviles. En caso de que sea partidario de las pruebas A / B clásicas, finalizar un experimento antes de obtener la cantidad necesaria de tráfico (tamaño de muestra) presenta el riesgo de que obtenga resultados estadísticamente poco fiables .

Para obtener evidencia confiable, debe esperar hasta que se alcance la cantidad de tráfico requerida para las variaciones A y B.

Si está buscando una alternativa a la opción clásica, recurra a las pruebas A / B secuenciales. Deberá comenzar especificando la tasa de conversión de referencia (tasa de conversión de su variación actual), el poder estadístico (80% por defecto), el nivel de significancia y el Efecto Mínimo Detectable (MDE) ; esto lo ayudará a determinar el tamaño de la muestra.

El nivel de significancia es del 5% por defecto, lo que significa que el margen de error no superará el 5%. Puede personalizar este valor junto con el MDE : el aumento mínimo esperado de la tasa de conversión que le gustaría ver . Nota: no cambie el nivel de significancia, MDE o potencia estadística después de haber comenzado un experimento.

Con las pruebas secuenciales A / B, el algoritmo verificará constantemente sus variaciones en el nivel de significancia y la cantidad de tráfico restante hasta la finalización del experimento. Así es como funciona en nuestra plataforma de pruebas SplitMetrics A / B.

Lección aprendida: si ejecuta pruebas A / B clásicas, no finalice un experimento hasta que se alcance la cantidad correcta de tráfico. De lo contrario, pruebe las pruebas secuenciales A / B y podrá comprobar los resultados en cualquier momento.

2. Finalizar un experimento antes de que hayan pasado 7 días

¿Por qué tienes que esperar al menos siete días? Bueno, varias aplicaciones y juegos móviles experimentan picos de actividad en diferentes días durante la semana . Por ejemplo, las aplicaciones comerciales ven ráfagas de actividad los lunes, mientras que los juegos son más populares entre los usuarios los fines de semana.

Para obtener resultados confiables de los experimentos de prueba A / B móviles, debe capturar los días pico de su aplicación durante un experimento. De lo contrario, corre el riesgo de sacar conclusiones precipitadas.

Por ejemplo, ejecuta pruebas para una aplicación de administración de tareas. Empiezas un experimento el miércoles y lo terminas el sábado. Pero la mayoría de su público objetivo utiliza su aplicación los lunes, por lo que simplemente perderá el punto, ya que el aumento de actividad no ha entrado en el período del experimento. O viceversa, ha estado realizando pruebas A / B para su juego de carreras de viernes a domingo: en los días pico del juego. En este caso, los resultados también serán inadecuados.

Por lo tanto, incluso si ha evitado el error número uno y ya obtuvo la cantidad de tráfico requerida el primer día, no detenga el experimento hasta que hayan pasado siete días.

Lección aprendida: debido a los picos débiles en la actividad que varían para cada juego o aplicación móvil, no finalice un experimento antes de que haya pasado el ciclo completo (de siete días).

3. Prueba de cambios demasiado pequeños en el diseño

Un error más común en las pruebas A / B móviles es comparar variaciones que parecen casi iguales debido a pequeñas diferencias en el diseño.

Si la única diferencia entre los íconos de la aplicación móvil que está probando es un color de fondo azul en lugar del azul claro, o ha agregado un pequeño detalle a otra variación de captura de pantalla, definitivamente está en problemas. Los usuarios simplemente no notan cambios tan pequeños.

En este caso, ambas variaciones mostrarán el mismo resultado, y es perfectamente normal. Entonces, si alguna vez trató de ejecutar las pruebas A / B de la tienda de aplicaciones pero luego se rindió, ya que las variaciones funcionaron de la misma manera, es hora de reflexionar sobre lo que salió mal. Quizás tus variaciones se veían más o menos iguales.

Para asegurarse de que está probando A / B un cambio significativo, muestre ambas versiones a su familia o amigos. Deje que su colega observe cada variación durante 3-5 segundos. Si no conocen la diferencia, será mejor que rediseñe sus activos visuales.

Lección aprendida: en caso de que pruebe variaciones con cambios demasiado pequeños en el diseño, debe esperar que muestren el mismo resultado. Estos cambios son demasiado insignificantes para los usuarios, por lo que es mejor probar los íconos de las aplicaciones y las capturas de pantalla que difieran notablemente entre sí.

4. Sus anuncios de banner tienen el mismo diseño que uno de los elementos visuales de la tienda de aplicaciones.

Si utiliza una herramienta de prueba A / B móvil de terceros, como, por ejemplo, SplitMetrics, compra tráfico y coloca banners en redes publicitarias. El punto es que dicho banner no debería verse como uno de los activos visuales que está probando , ya sea una captura de pantalla o los mismos elementos en un ícono.

Por ejemplo, ejecuta experimentos para su aplicación educativa. Diseñas un banner que tiene el mismo elemento, que el icono de la variación A, mientras que la variación B es completamente otro icono. La variación A mostrará la tasa de conversión más alta, ya que tiene el mismo diseño que el que vieron los usuarios del banner y en el que hicieron clic inicialmente.

Los estudios demuestran que si las personas ven algo repetidamente, su cerebro procesa la información más rápido, lo que les da una sensación de agrado. Puedes leer más sobre esto aquí. Por lo tanto, los usuarios tienden a hacer tapping inconscientemente en las imágenes ya familiares.

Lección aprendida: cuando trabaje en anuncios publicitarios, haga que el diseño sea lo más neutral posible. El diseño del banner no debe coincidir con el diseño del icono de su aplicación o con las variaciones de las capturas de pantalla.

5. Prueba de varias hipótesis a la vez

No tiene sentido hacer varios cambios y probarlos dentro del mismo experimento. Algunos especialistas en marketing móvil extraen conclusiones erróneas después de ejecutar una prueba, ya que han realizado varios cambios y, de hecho, no pueden saber qué afectó exactamente el resultado.

Si ha decidido cambiar el color de las capturas de pantalla de la página del producto de la tienda de aplicaciones, cree una o algunas variaciones con otro color de fondo y ejecute una prueba. No cambie el color, el orden y el texto de las capturas de pantalla al mismo tiempo. De lo contrario, verá la variación ganadora (que sea la variación B), y no tendrá ni idea de si es el cambio de color lo que realmente funcionó.

Lección aprendida: si prueba varias hipótesis a la vez, no podrá comprender cuál de ellas es la correcta.

6. Malinterpretar la situación cuando dos variaciones son iguales pero obtienes un ganador

Al ejecutar pruebas A / A, es posible que se sienta confundido cuando una herramienta de prueba A / B muestra la variación ganadora entre dos activos idénticos. En particular, esto es común para la herramienta incorporada de Google Play Store para ejecutar experimentos.

En la plataforma SplitMetrics, al nivel de significancia del 5%, en tal caso, verá que el resultado es insignificante.

Las pequeñas diferencias entre dos variaciones exactamente iguales son pura coincidencia. Los diferentes usuarios reaccionaron de manera un poco diferente. Es como lanzar una moneda al aire: hay una probabilidad de 50 a 50 de que salga cara o cruz, y hay una probabilidad de 50 a 50 de que una de las variaciones muestre un mejor resultado.

Para obtener un resultado estadísticamente significativo en una situación como esta, debe obtener resultados de absolutamente todos los usuarios, lo cual es imposible.

Lecciones aprendidas: si obtiene la variación ganadora al probar activos idénticos, no hay nada de malo en su herramienta de prueba A / B, es solo una coincidencia. Sin embargo, con las pruebas secuenciales A / B, verá que el resultado es insignificante.

7. Molestarse cuando una nueva variación pierde frente a la actual

Algunos especialistas en marketing móvil y gerentes de adquisición de usuarios se decepcionan cuando un experimento muestra que la variación actual gana, lo que no esperaban, y comienzan a desperdiciar un presupuesto en tráfico más pagado con la esperanza de que la nueva variación finalmente gane.

No hay razón para sentirse mal si su hipótesis no ha sido confirmada. Si hubiera cambiado algo en la página de producto de su tienda de aplicaciones sin probarlo, habría perdido una parte de sus clientes potenciales y, en consecuencia, dinero. Al mismo tiempo, habiendo gastado dinero en este experimento, ha pagado por el conocimiento . Ahora sabe qué funciona para su aplicación y qué no.

Lección aprendida: todo sucede por una razón, y no debes arrepentirte si tu prueba A / B no ha confirmado tu hipótesis. Ahora tiene una visión clara de qué activos funcionan mejor para su juego o aplicación.