Significado de p-value en Machine Learning

Una duda habitual que me suelen plantear los alumnos al comenzar en Machine Learning, y también no tan novatos, es que significan los p-value. Además de por qué se deben rechazar los resultados cuando estos superan 0,05. Básicamente este valor es la probabilidad de que, con los datos disponibles, la hipótesis nula, la opuesta a la que deseamos rechazar, sea verdadera. Por eso, solamente cuando estamos seguros de que la hipótesis nula es poco probable, se puede asumir como verdadera la hipótesis que deseamos probar. A continuación, se va a explicar de una forma intuitiva, sin un formalismo matemático, el significado de p-value en Machine Learning y el por qué del límite de 0,05.

La hipótesis nula y la hipótesis alternativa

En estadística una hipótesis es una afirmación que se realiza sobre una población, por ejemplo, que la media de alguna característica es igual a 5. Una afirmación que solamente se puede rechazar cuando los resultados obtenidos en una muestra de la población no sean compatibles con ella. Por ejemplo, para la característica del caso anterior se observa una media de 100 posiblemente podremos rechazar la hipótesis planteada de que el valor es 5, no así si se hubiese obtenido 5,01.

Así cuando se desea probar la veracidad de una hipótesis, a la que se denomina hipótesis alternativa (H1), es habitual plantear su opuesta, a la que se denomina hipótesis nula (H0), y se busca demostrar la falsedad de la segunda. De este modo, en el caso de que se pueda demostrar la falsedad de la hipótesis nula se podrá afirmar que la hipótesis alternativa es verdadera. Lo que básicamente es una técnica de reacción al absurdo. Pero ¿cómo se puede demostrar la falsedad de la hipótesis nula? Demostrando que la probabilidad de que esta sea cierta en base a los datos disponibles, lo que mide el p-value, se encuentre por debajo de un valor umbral dado, típicamente 0,05.

Estimación del p-value

En este punto sabemos que si queremos demostrar una hipótesis solamente hay que plantear su opuesta y demostrar que los datos disponibles no la soportan. Para lo que calcularemos el p-value. Lo que requiere asumir que los datos se comportan de una manera dada, por ejemplo, que son aleatorios. Así si tenemos una moneda y la hipótesis de que esta no está trucada la posibilidad de obtener una cara es de 0,5, dos seguidas 0,25, tres seguidas 0,125... Siendo esta el p-value de la hipótesis en cada uno de los casos, la probabilidad de que se cierta la hipótesis.

Ejemplo: Probabilidad de que una moneda está trucada

Ahora supongamos que tenemos una moneda y tenemos la sospecha de que está trucada. Para ello podemos plantear la hipótesis alternativa (H1) "la moneda está trucada" y a modo de hipótesis nula (H0) su opuesta "la moneda no está trucada". Por lo que solamente hay que comprobar que H0 no se soporta con los datos para demostrar que H1 es cierto. Lo que se puede hacer tirando la moneda y obteniendo:

Seguramente al obtener tres caras seguidas ya podemos comenzar a sospechar que la moneda está trucada. Pero esta serie tiene una probabilidad de 0,125 bajo la hipótesis nula, por lo que no se puede rechazar aún. Lo mismo pasa al obtener cuatro caras seguidas. Pero, en el caso de llegar a las cinco caras seguidas, las cosas cambiarán. La probabilidad para esta serie es de solamente 0,03125 con lo que se puede rechazar la hipótesis nula y afirmar que la moneda está trucada con un nivel de confianza bastante alto. Algo que se refuerza al obtener más caras seguidas, con siete la probabilidad baja por debajo de 0,01.

Así, podemos ver que 0,05 no es más que un criterio estándar para poder descartar la hipótesis nula. Aunque siempre se puede usar otro en caso de que necesitemos ser más o menos estrictos a la hora de poder descartar la hipótesis nula. Por ejemplo, en este caso podríamos esperar a la séptima tirada para asegurar que existe una probabilidad inferior a 0,01 de que estos resultados se puedan obtener con moneda que no esté trucada.

Los parámetros de los modelos y p-value en Machine Learning

Ahora ya podemos interpretar el significado de los p-values que se obtienen al entrenar nuestros modelos, para lo que solamente es necesario conocer cuál es la hipótesis nula utilizada. En el caso de los parámetros es "el parámetro no tiene efecto sobre el resultado del modelo". En otras palabras, la hipótesis nula afirma que el valor del parámetro es cero, por lo que no tiene efecto en la predicción ni tiene sentido incluirlo. Así, en el caso de que podamos rechazar esta hipótesis se puede afirmar que el parámetro en cuestión es significativo.

Conclusiones

En esta ocasión he intentado explicar de una forma intuitiva el significado de un concepto estadístico utilizado en Machine Learning que mucha gente no comprende perfectamente. El p-value en Machine Learning es un concepto que nos puede ayudar mucho a la hora de seleccionar los parámetros y modelos que mejor se adaptan a los datos disponibles. Lo que nos permite garantizar que los resultados son los más adecuados en cada ocasión.

No sé si he conseguido el resultado deseado, pero si tienes cualquier duda o comentario te invito a que los dejes a continuación.

Imagen de jakob5200 en Pixabay