En septiembre empezamos con las pilas cargadas y con ganas de cambiar el mundo
Los resultados de test son de aquí y de ahora
Me acuerdo de las clases de economía que en cada teoría había el supuesto de ceteris paribus que significa «permaneciendo el resto constante». Es decir, se mantienen constantes todas las variables de una situación, menos aquella cuya influencia se estudia. Es una manera de aislar los factores para simplificar el análisis. Pero en la vida real esto no pasa. No tenemos un laboratorio para “aislar” la web y nuestro público objetivo. Esto provoca que tengamos una multitud de factores que influyen sobre nuestra situación y sobre los resultados de experimentos. Lo que ha funcionado aquí y ahora puede dejar de rendir en un mes, una semana, un día. Es una verdad dura, pero no nos queda otro remedio que aceptarla y seguir testeando para no caer en su trampa.
La mejora de resultados no está garantizada
En el post No te fíes de Google Analytics hemos explicado la importancia de la significancia estadística de los resultados de test. No es suficiente comparar los números y decir si uno es más grande que otro. Hay que comprobar si esta diferencia es significativa, es decir si el margen de error no es demasiado grande.
Y por otro lado, lo que realmente es importante, es el hecho que la significancia estadística del experimento sólo nos valida si una versión ha ganado o no. Por ejemplo podemos decir que la versión B va a convertir mejor que la versión A con la probabilidad de 95%. Lo que no significa que la mejora que hemos conseguido durante el test tiene una probabilidad de 95%
No hay que confundir la correlación con la causalidad
La correlación y la causalidad son términos que describen situaciones diferentes, pero solemos mezclarlos en nuestro día a día, aplicándolos a casos como el testeo web. Pongamos un ejemplo sencillo. Cuando voy al super siempre compro leche y pan. Es una correlación porque estos dos artículos siempre aparecen en mi carrito de compra. Pero no están unidos por una relación de causa y efecto porque si un día compro tres cartones de leche, no voy a aumentar el número de barras de pan. Esto significa que no puedo prever el valor de una variable si tengo el valor de la otra. Sin embargo, en las relaciones de causa-efecto sí que lo puedo hacer. Por ejemplo, la temperatura de aire determina el uso de sistema de calefacción. O mi salario determina cuanto dinero gasto en productos de lujo.
El problema es que nos gustan las relaciones de causa – efecto. Nos gusta poder explicar el mundo y simplificarlo. Solemos ver la causalidad donde existe simple correlación. En el entorno de web por ejemplo podemos observar que los usuarios que descargan el catálogo son los que más compran, o los que leen nuestro blog son los que nos contactan. Aparece entonces la lógica – vamos a aumentar las visitas en el blog o las descargas del catálogo para obtener una mejora conversión. Y aquí aparece la gran desventaja del testeo de las webs – si no podemos determinar si los resultados son el efecto de la causalidad o de una simple coincidencia, ¿cómo podemos aprender? ¿cómo podemos sacar conclusiones para el futuro?
Sin cambios radicales te quedas en el máximo local
Hace tiempo ya hablamos de este tema y nos referimos al concepto Local Maximum de Andrew Chen. Si nos fijamos en un diseño sólo tocando algunos elementos, pero no cambiando la estructura global corremos el riesgo de quedarnos en el máximo local. ¿Qué es? Es la situación cuando cualquier cambio provoca pobres resultados. Nos puede dar la sensación que ya no podemos llegar más lejos con la web actual.
Este gráfico representa qué se entiende por máximo local y máximo global:
¿Cómo saltar del máximo local al máximo global? Rediseñando completamente la página. Sin embargo, nunca tendremos la certeza de que hayamos alcanzado el máximo global. Quizás será otro máximo local pero con conversión más alta que el anterior.
Un test con una sola alternativa es un fracaso
Un test con una versión alternativa es mejor que ninguno, pero un test con por ejemplo cuatro alternativas es mejor que con una sola. ¿Por qué? Imaginémonos una situación cuando la alternativa que testeamos obtiene un 5% de mejora. ¿Genial, no? Pues no tanto… Si hubiéramos testeado 3 alternativas en vez de una y hubiéramos obtenido las mejoras de un 10%, 15% y 25%, ¿seguiríamos pensando que un 5% es un gran éxito? ¿O sería una pérdida de oportunidades? Si disponemos de suficientes recursos y tiempo, siempre es mejor testear más de una alternativa para minimizar estas pérdidas.
Fuente: Barbara Posila (Trucos Optimización).