5 inconvenientes detrás de los experimentos web

En septiembre empezamos con las pilas cargadas y con ganas de cambiar el mundo  Sin embargo, este primer post de la temporada quiero dedicarlo a un tema quizás menos concreto, pero igual de relevante – ¿qué hay detrás realmente del testing?, ¿qué no se dice sobre los experimentos web? o ¿por qué a veces fallan y a veces consiguen resultados inimaginables?

Los resultados de test son de aquí y de ahora

Me acuerdo de las clases de economía que en cada teoría había el supuesto de ceteris paribus que significa «permaneciendo el resto constante». Es decir, se mantienen constantes todas las variables de una situación, menos aquella cuya influencia se estudia. Es una manera de aislar los factores para simplificar el análisis. Pero en la vida real esto no pasa. No tenemos un laboratorio para “aislar” la web y nuestro público objetivo. Esto provoca que tengamos una multitud de factores que influyen sobre nuestra situación y sobre los resultados de experimentos. Lo que ha funcionado aquí y ahora puede dejar de rendir en un mes, una semana, un día. Es una verdad dura, pero no nos queda otro remedio que aceptarla y seguir testeando para no caer en su trampa.

La mejora de resultados no está garantizada

En el post No te fíes de Google Analytics hemos explicado la importancia de la significancia estadística de los resultados de test. No es suficiente comparar los números y decir si uno es más grande que otro. Hay que comprobar si esta diferencia es significativa, es decir si el margen de error no es demasiado grande.

Y por otro lado, lo que realmente es importante, es el hecho que la significancia estadística del experimento sólo nos valida si una versión ha ganado o no. Por ejemplo podemos decir que la versión B va a convertir mejor que la versión A con la probabilidad de 95%. Lo que no significa que la mejora que hemos conseguido durante el test tiene una probabilidad de 95%

 ¿Por qué? Primero por el punto que he mencionado al principio del post, segundo porque estamos testeando sólo una muestra. Si queréis profundizar este tema os recomiendo un artículo: The Truth wears off. Es un poco largo, pero vale la pena leerlo.

No hay que confundir la correlación con la causalidad

La correlación y la causalidad son términos que describen situaciones diferentes, pero solemos mezclarlos en nuestro día a día, aplicándolos a casos como el testeo web. Pongamos un ejemplo sencillo. Cuando voy al super siempre compro leche y pan. Es una correlación porque estos dos artículos siempre aparecen en mi carrito de compra. Pero no están unidos por una relación de causa y efecto porque si un día compro tres cartones de leche, no voy a aumentar el número de barras de pan. Esto significa que no puedo prever el valor de una variable si tengo el valor de la otra. Sin embargo, en las relaciones de causa-efecto sí que lo puedo hacer. Por ejemplo, la temperatura de aire determina el uso de sistema de calefacción. O mi salario determina cuanto dinero gasto en productos de lujo.

El problema es que nos gustan las relaciones de causa – efecto. Nos gusta poder explicar el mundo y simplificarlo. Solemos ver la causalidad donde existe simple correlación. En el entorno de web por ejemplo podemos observar que los usuarios que descargan el catálogo son los que más compran, o los que leen nuestro blog son los que nos contactan. Aparece entonces la lógica – vamos a aumentar las visitas en el blog o las descargas del catálogo para obtener una mejora conversión. Y aquí aparece la gran desventaja del testeo de las webs – si no podemos determinar si los resultados son el efecto de la causalidad o de una simple coincidencia, ¿cómo podemos aprender? ¿cómo podemos sacar conclusiones para el futuro?

Sin cambios radicales te quedas en el máximo local

Hace tiempo ya hablamos de este tema y nos referimos al concepto Local Maximum de Andrew Chen. Si nos fijamos en un diseño sólo tocando algunos elementos, pero no cambiando la estructura global corremos el riesgo de quedarnos en el máximo local. ¿Qué es? Es la situación cuando cualquier cambio provoca pobres resultados. Nos puede dar la sensación que ya no podemos llegar más lejos con la web actual.

Este gráfico representa qué se entiende por máximo local y máximo global:

¿Cómo saltar del máximo local al máximo global? Rediseñando completamente la página. Sin embargo, nunca tendremos la certeza de que hayamos alcanzado el máximo global. Quizás será otro máximo local pero con conversión más alta que el anterior.

Un test con una sola alternativa es un fracaso

Un test con una versión alternativa es mejor que ninguno, pero un test con por ejemplo cuatro alternativas es mejor que con una sola. ¿Por qué? Imaginémonos una situación cuando la alternativa que testeamos obtiene un 5% de mejora. ¿Genial, no? Pues no tanto… Si hubiéramos testeado 3 alternativas en vez de una y hubiéramos obtenido las mejoras de un 10%, 15% y 25%, ¿seguiríamos pensando que un 5% es un gran éxito? ¿O sería una pérdida de oportunidades? Si disponemos de suficientes recursos y tiempo, siempre es mejor testear más de una alternativa para minimizar estas pérdidas.

Fuente: Barbara Posila (Trucos Optimización).