Optimizely renueva su motor de estadísticas

Las estadísticas tradicionales se desarrollaron hace más de 100 años, para un mundo que no estaba conectado. Los métodos estadísticos se usaron por primera vez en el siglo XVII y se han aplicado en distintos campos como la agricultura, la medicina y la economía. En estos escenarios, los experimentos analizan los datos en un punto determinado en el tiempo, una vez se ha recolectado la cosecha o cuando el investigador analiza si una droga ha sido efectiva después de que ha sido administrada totalmente. En el proceso de recoger todos los datos en mismo momento conocido como de “horizonte fijo”, el valor p se calcula en ese momento para determinar si hay una diferencia significativa estadísticamente.

Cómo se adaptan las estadísticas tradicionales al entorno online

Las empresas buscan hoy la capacidad de comprender las experiencias relacionadas con su web y aplicaciones móviles para actuar rápidamente. Estos métodos no las ayudan a tomar decisiones cuando se consultan los resultados con datos en tiempo real, como permiten la mayoría de las plataformas de optimización, porque se pueden ver resultados ganadores donde ninguna opción ha ganado realmente. De hecho, el porcentaje de errores puede dispararse a más del 30% si no se toman precauciones, como establecer un tamaño de la muestra y ceñirse a un efecto mínimo detectable con antelación, es posible que se realicen cambios en un sitio web o producto que, en el mejor de los casos, no ejerzan ningún impacto y, en el peor, perjudiquen los ingresos.

Optimizely ha colaborado con estadísticos de Stanford a fin de desarrollar nuevo motor de estadísticas que permite experimentar y tomar decisiones según se recogen los datos, sin necesidad de adoptar precauciones. El nuevo planteamiento es el primero que combina Sequential hypothesis testing con False discovery rate control y las aplica a los conjuntos de datos en tiempo real. Este planteamiento, que en lugar de suponer que una prueba tiene un tamaño de muestra fijo, genera un nivel de confianza preciso después de cada visitante, se basa en todo lo que han aprendido tras ayudar a más de 7000 clientes a optimizar más de 7000 millones de experiencias, para estimar un “parámetro libre”. Con este, utilizando el enfoque Benjamini-Hochberg, aplica correcciones sobre los objetivos y variaciones en cada experimento, reduciendo drásticamente la posibilidad de que un “falso positivo” aparezca entre los resultados que han alcanzado significancia estadística, permitiendo testar tantos objetivos y variaciones como sean necesarias sin poner en peligro la validez de los resultados.

Fuente: Optimizely.