Hablemos de la reproducibilidad

Hay un concepto fundamental en cualquier trabajo científico que se precie: la reproducibilidad. Esta propiedad es inherente al trabajo que realizamos todos los científicos del mundo. Sin ella, la ciencia no es ciencia. Es una cuestión muy sencilla: si no se puede reproducir no se pude comprobar (ni falsar, como diría Popper) Por tanto, todo experimento que no sea reproducible, sencillamente, no puede pertenecer a lo que consideramos como ciencia. ¿Verdad? Esto es especialmente curioso (agarrensé los botones) cuando hablamos de psicología.

La psicología es una rama bastante especial y que causa constantes discusiones en mis conversaciones con otros científicos. Veamos, particularmente, estoy seguro de que muchas de las bases con las que trabaja la psicología son completamente científicas. No obstante, ¿se puede considerar esta disciplina como una rama científica en el sentido más clásico? Bueno, una vez abierta la caja de Pandora, vamos a revisar un reciente estudio publicado en Science. En él se analiza la reproducibilidad de hasta cien experimentos, los cuales fueron publicados en revistas de alto índice de impacto en la rama de psicología. Una vez dicho esto, vamos a divagar un poco.

Causalidad, correlación y otras cosas del montón

Todos hemos escuchado alguna vez (o deberíamos haberlo hecho) eso de "Correlación ni implica causalidad". Esta frase quiere decir que una cosa no tiene por que ser la causa de que ocurra otra cosa. Aunque estén relacionadas. Podría ser una casualidad (que no una causalidad). Por ejemplo, un ejemplo muy burdo (y muy burro), si una persona en lo alto de un tejado sufre de un ataque al corazón y muere ipso facto, cuando caiga al suelo y quede hecho pulpa la gente podría pensar que la caída le produjo la muerte.

Todo con el fin de estar más que cien por cien seguros de un hecho científicoSin embargo, la caída no es causa de la muerte, sino consecuencia. Aunque es un mal ejemplo porque en este caso la caída, a saber por los restos, le habría causado la muerte. En ciencia, esto de la causalidad y la casualidad es muy, muy importante. Para poder llegar a conclusiones fidedignas en las investigaciones se busca evitar las casualidades y se buscan las causas que existen en las correlaciones detectadas. Si por ejemplo, hay dos sucesos que ocurren siempre ¿estarán relacionados como causa y efecto el uno del otro? ¿O solo son compañeros? Aquí, la reproducibilidad es la clave.

Para desvelar este asunto, que es el fin último de la ciencia (saber porqué y cómo pasan las cosas) los experimentos han de ser reproducibles para poder evaluar todas las variables. Todas las opciones. Todas y cada una de las cuestiones más nimiamente sencillas y banales. Todo con el fin de estar más que cien por cien seguros de un hecho científico. Por eso, algo que no es reproducible, o que varía con su reproducibilidad, difícilmente puede tratarse como un hecho científico. ¿Todos de acuerdo? Bien.

La reproducibilidad en la psicología

Atendiendo al artículo que antes describía, no he podido evitar usar la psicología como ejemplo de la importancia de la reproducibilidad. Veamos lo que explica: tras realizar los experimentos de nuevo, cuando ha sido posible, así como analizar los resultados, se muestran resultados distintos a los obtenidos originalmente. Aunque muchos de ellos coinciden con los originales, existe una buena porción (aproximadamente el 40%) que difiere de los originales, siendo algunos de ellos bastante distintos (incluso contrarios).

A partir de estos datos, los investigadores continúan con el meta-análisis en busca de unos indicadores de "reproducibilidad" adecuados. Pero no fueron capaces de encontrar ninguno mejor que otro. Por otro lado, lo que sí hallaron es que cuanta mayor es la porción de experimentos reproducidos, mayor es la variabilidad en los resultados. Algo que parece obvio, pero que también se aplica a una misma serie de experimentos, lo que tiene serias implicaciones: cuantas más Cuantas más replicaciones, menos evidencia reflejan los resultados originalesreplicaciones, muestra el estudio, menor es la evidencia que reflejan los resultados originales.

Por otro lado, el estudio muestra también que la reproducibilidad de los experimentos no está tan condicionada por los equipos que los realizan como por la variabilidad de otros factores iniciales. Esto podría interpretarse en contra del sesgo por parte de los investigadores, aunque no deja de ser una interpretación. En cualquier caso, las conclusiones del estudio son claras: la reproducibilidad en psicología es una gran desconocida. Todavía quedan muchos factores que comprender.

Esto tal vez se deba a la naturaleza variable de la psicología humana. O tal vez a factores que nunca hemos llegado a comprender del todo. Pero lo más importante, ¿podemos decir, entonces, que existe la reproducibilidad en el mundo de la psicología? O, haciendo una puntualización, ¿hasta que punto es fiable la reproducibilidad en dicha disciplina? Ahí les dejo con esa cuestión. Las respuestas, hállenlas ustedes mismos.

+Info