Cinco reglas para verificar las estadísticas en las noticias

¿Comer tocino realmente aumenta el riesgo de cáncer en un 20 por ciento? ¿350 millones de libras esterlinas a la semana son realmente mucho dinero en efectivo? Seguir algunas reglas simples puede ayudarlo a descubrir qué significan realmente los números

No se puede tener un estado democrático que funcione sin una población alfabetizada. Eso se ha reconocido desde al menos mediados de la época victoriana. La ley de reforma de 1867 amplió el derecho al voto a muchos hombres de la clase trabajadora, no todos los cuales sabían leer y escribir, y la élite estaba preocupada de que haría más difícil gobernar el país: "Creo que será absolutamente necesario obligar a nuestros futuros amos a aprender las letras ", dijo un político. Estas preocupaciones impulsaron en parte las leyes de educación de 1870 y 1880, que hicieron que la educación primaria fuera obligatoria para todos. Los votantes necesitaban, en definitiva, poder leer los periódicos.

En estos días, sin embargo, no se puede tener un estado democrático que funcione sin una población que maneje números. Necesitamos entender no solo la palabra escrita, sino también los números.

Eso ha sido especialmente cierto en los últimos 12 meses: de repente, todos hemos tenido que saber por qué las tasas de mortalidad por infecciones son diferentes de las tasas de letalidad, o qué es una curva exponencial o por qué es importante el valor R. Pero es verdad todo el tiempo. Si los políticos nos dicen que las tasas de delincuencia o de pobreza han subido o bajado, o que el NHS está recibiendo un aumento de presupuesto, ¿cómo podemos confiar en ellos si no sabemos leer los números?

Y hay un problema adicional. Los propios periodistas no siempre son especialmente buenos con las estadísticas. Así que muchos números, cuando llegan al lector, ya se han estropeado bastante.

En nuestro nuevo libro, How to Read Numbers: A Guide to Stats in the News (and Knowing When to Trust them), mi primo David (que es economista) y yo queremos ayudar a los lectores a comprender un poco mejor los números en los medios: hablar sobre las formas en que van mal y cómo detectarlas. A continuación, presentamos cinco de los más importantes.

¿Es ese un gran número?

A menudo verá números en las noticias sin más contexto y, a menudo, sonarán grandes e impresionantes. Tomemos un ejemplo muy famoso: 350 millones de libras esterlinas, escrito en el costado de un autobús y aparentemente entregado a la UE cada semana. No se preocupe, no voy a volver a discutir sobre si ese era el número correcto. Lo que quiero hacer en cambio es preguntar: ¿es un número grande?

Comparado con el salario medio de un británico, por supuesto que lo es. Pero eso no es con lo que deberíamos compararlo. Una cosa con la que compararlo podría ser el presupuesto anual total del gobierno, que se esperaba que fuera de £ 928 mil millones en 2020-2021. Esos 350 millones de libras esterlinas equivalen a unos 18.000 millones de libras esterlinas, que es aproximadamente el dos por ciento de los 928.000 millones de libras esterlinas.

¿Es una gran cantidad? Bueno, ciertamente no es despreciable. (Si todavía le molesta la cifra de 350 millones de libras esterlinas, después del reembolso fue de 250 millones de libras esterlinas, o el 1,4 por ciento del presupuesto). Pero "le damos el dos por ciento de nuestro presupuesto a la UE al año" no ha sonado tan dramático. Si ve un número en las noticias: "¡X personas murieron de la enfermedad Y este año!" - pregúntese: ¿es un gran número? ¿Cómo puedo solucionar eso?

¿Qué lo está causando?

¿Un refrescante vaso de Fanta Orange te da ganas de darle una copa a alguien en la cara? Según los informes de los periódicos, podría: "Las bebidas gaseosas vuelven violentos a los adolescentes ", decían los titulares en 2011.

Tenga en cuenta el lenguaje causal: las bebidas hacen que los adolescentes sean más violentos. Pero el estudio real en el que se basaron las historias no dijo eso: dijo que los adolescentes que bebían bebidas gaseosas tenían más probabilidades de ser violentos. Existe una correlación, pero eso no significa que sea una relación causal.

Por ejemplo: si muchas personas comen helado en un día determinado, es más probable que alguien se ahogue. Pero eso no significa que el helado cause ahogamientos; en cambio, en los días calurosos, más personas comen helado y más personas van a nadar, y algunas se ahogan.

Si dos números suben y bajan juntos, por ejemplo, el número de bebidas gaseosas consumidas y el número de personas apuñaladas, podría ser que A cause B, o podría ser que B cause A, o algún tercer factor C cause ambos. Es muy difícil determinar cuál es cuál, a menos que esté realizando un ensayo controlado aleatorio, lo que este estudio (como la mayoría de las otras investigaciones sobre los estilos de vida de las personas) no lo fue. Entonces, si ve un lenguaje causal - "las bebidas gaseosas causan violencia", "vapear hace que los niños consuman drogas" - tenga en cuenta que a menudo no está justificado.

50 por ciento más de qué?

Aquí hay un número aterrador para los futuros padres. Los niños nacidos de padres mayores de 45 años tienen un 18 por ciento más de probabilidades de sufrir convulsiones que los niños nacidos de padres menores de 35 años, según los titulares de hace un par de años.

Eso suena aterrador. Pero, ¿qué significa?

A menos que sepa cuántos niños tienen convulsiones de todos modos, no puede saberlo. Si solo se le da un "riesgo relativo" como este (cuánto ha aumentado su riesgo, en comparación con lo que era antes), no tiene idea de cuánto importa, a menos que también le digan cuál era su riesgo original, en términos absolutos. En este caso, el estudio que se está discutiendo encontró que aproximadamente el 0.024 por ciento de los niños nacidos de padres más jóvenes tienen convulsiones; aproximadamente el 0,028 por ciento de los niños nacidos de hijos mayores lo harán. En términos reales, eso significa 28 bebés de cada 100.000, en lugar de 24 bebés: el riesgo absoluto aumenta en aproximadamente cuatro de cada 100.000.

Esto lo verá mucho: comer tocino "aumenta el riesgo de cáncer en un 20 por ciento ", por ejemplo. Pero a menos que también le digan el riesgo absoluto, ¿20 por ciento más qué? - es casi completamente inútil.

¿Qué estamos midiendo realmente?

Durante el último medio siglo, los diagnósticos de autismo se han multiplicado por cien. En las décadas de 1960 y 1970, la incidencia del autismo se estimó en uno de cada 5.000; ahora se estima en uno de cada 54.

¿Qué ha pasado? ¿Es una mala crianza de los hijos? ¿Hay pesticidas en el agua? ¿Es Bill Gates poniendo microchips en nuestras vacunas?

No: es solo que lo que llamamos "autismo" ha cambiado. Los criterios de diagnóstico del autismo se han revisado varias veces; no se reconoció como un trastorno separado hasta 1980, y se expandió en 1987, 1994 y 2000, y luego nuevamente en 2013. Los criterios se ampliaron para incluir niños diagnosticados más tarde, niños con síntomas menos extremos y niños con condiciones previamente separadas. Bien puede ser que no haya habido ningún cambio en la distribución del conjunto de rasgos que ahora llamamos "autismo".

Cuando vea titulares como " Los delitos de odio se duplican en cinco años", vale la pena preguntarse si está sucediendo algo similar. Resulta que, afortunadamente, probablemente lo sea: el público ha mejorado en la denuncia y la policía ha mejorado en el registro de los delitos de odio. Las encuestas sobre delitos sugieren que la mayoría de los delitos motivados por prejuicios han tenido menos probabilidades de aumentar en los últimos años. Siempre vale la pena preguntarse si lo que estamos midiendo ha cambiado.

¿La investigación es buena?

Muchas veces, no es justo culpar a los periodistas por las malas cifras en las noticias. Los obtienen de encuestas y artículos de investigación, y no todas las investigaciones nacen iguales.

Por ejemplo, hubo un estudio sobre la hidroxicloroquina el año pasado como tratamiento para el Covid-19 que llamó la atención; descubrió que tenía un efecto. Pero otro ensayo no encontró tal impacto. ¿Cómo deben saber los lectores y los periodistas en quién confiar?

Es una pregunta difícil. En este caso, hay una respuesta simple: el primero fue un estudio observacional simple que analizó a 42 pacientes; el segundo fue un ensayo controlado aleatorio completo de 11.000 pacientes. Pero a menudo es difícil saberlo. Sin embargo, hay un par de reglas generales: las pruebas pequeñas suelen ser peores que las grandes, en igualdad de condiciones; si un estudio arroja hallazgos inesperados que no son representativos de lo que encuentran otros estudios, puede ser que sea malo; y los estudios que están prerregistrados, por lo que es más difícil para los científicos seleccionar sus hallazgos, suelen ser más confiables que los que no lo están.