¿Cómo interpretar los resultados de un experimento web?

Hay un dicho que aplica perfectamente a los experimentos en las webs y que dice:

“Experiencia es lo que ganas cuando no recibes lo que quieres”

Y sí, los que habéis lanzado alguna vez un test, sabréis que los resultados no son siempre como esperamos. Entonces la pregunta que nos surge es: ¿Qué hago con esto? ¿Es un fracaso total? ¿Qué puedo aprender de esta situación?

¿Cómo acaban los experimentos?

Pues hay 3 posibles escenarios:

1. Hay un ganador que ha incrementado la conversión (u otra métrica) y el resultado es válido estadísticamente (con confianza de míninmo 80%).
2. No hay un ganador claro.
3. El experimento no se ha ejecutado correctamente.

La situación 1ª es la mejor  Y me gustaría encontrarme con ella cada vez cuando se lance un test. Pero ojo con los test multivariante. Aquí hay una trampa que se llama Taguchi method y que consiste en hacer un sampling de las versiones que se enseñan al usuario para llegar lo antes posible a los resultados significativos. Por lo tanto, no es un método 100% fiable. Antes de poner live la versión ganadora, hace falta hacer un simple test A/B contrastando el ganador con la página original y ver si los resultados son los mismos.

La situación 3ª se debe quizás a una mala implementación del test, falta de marcaje, una métrica mal elegida como conversión, etc. Deberíais también probar si la herramienta que utilizáis es fiable y da resultados correctos haciendo un test A/A. Simplemente comparando una página con su copia. Si os devuelve que no hay diferencias entre las dos, entonces significa que herramienta funciona bien.

La situación más difícil es la 2ª.

¿Por qué no tengo resultados significativos?

¿Por qué pasa esto? Simplemente porque las diferencias en cuanto a la métrica definida (conversión, tiempo de visita, porcentaje de rebote) no son suficiente grandes entre las variaciones.

Os propongo hacer una prueba para que entendáis cómo funciona la validación del test. Entrad en A/B Split and Multivariate Test Duration Calculator de Visual Website Optimizer. Por defecto ya os deberían aparecer datos para conversión, mejora esperada, tráfico, etc. Si le dais al botón “Calculate test duration”, os dice que tardará 28 días en dar resultados significativos. Ahora, si cambiais la mejora esperada para, digamos 5%, ¿qué duración os enseña? 448 días!!! Obviamente no es el único elemento que influye sobre la duración del experimento. Lo mismo puede pasar si tenemos poco tráfico y pocas conversiones.

Y hay aún más factores que pueden contribuir a un test inconcluyente, por ejemplo:

• Falta de experiencia. Sobre todo al principio de la “aventura” con testing. Si es vuestro caso, es una buena idea contratar consultores externos para aprender con ellos a lanzar los test en la web.
• No se ha hecho un buen trabajo de análisis previo, tanto cuantitativo como cualitativo.
• No se han testeado elementos que influyen sobre la métrica que queríamos mejorar.
• El diseño no era óptimo. Esto significa que a lo mejor la idea era buena, pero el diseño no.

¿Cómo hago para aprender?

Primero lo que tenemos que averiguar es  ¿qué ha pasado? ¿por qué ha fallado el test? No siempre es fácil porque testeamos diferentes elementos, imágenes, textos, etc. Entonces suele pasar que para entender lo que hemos hecho mal hay que lanzar otro test, cambiando lo que “nos parece” que haya fallado.

Pero desde el punto de vista de un analista web, hay otra salida: Segmentar datos. Quizás nuestro test no ha funcionado para el total de usuarios, pero para un grupo determinado sí. De hecho, antes de lanzar la versión ganadora (si la tenemos), también hay que comprobar en qué grupo de usuarios ha funcionado mejor y enseñarla sólo a este segmento.

Una buena práctica para el análisis del experimento es examinar otras métricas, no sólo la conversión. Esto significa que tenemos que comparar como han rendido las diferentes versiones a nivel de microconversiones, a nivel de ingresos totales, precio medio de venta, ratio de rebote, tiempo en la página, etc. El conjunto es a veces más importante que un resultado sólo.

Y al final, lo que os recomiendo es hacer test iterativo. Pocas empresas lo hacen y es donde podéis ganar una ventaja competitiva. ¿Qué es exactamente? Consiste en “pulir” la versión ganadora. No dejar de testearla porque en realidad todavía podéis sacar más rendimiento de ella. Si analizáis bien los resultados, comparáis métricas, aplicais otras herramientas de mapas de calor, encuestas, etc., podéis aprender muchísimo y “exprimir” las ideas hasta la última gota 

Fuente: Barbara Posila (Trucos Optimización).