El concepto de arma de destrucción matemática de Cathy O'Neil

A estas alturas mucha gente, al menos aquella que se ha interesado por tecnologías y algoritmos relacionados con datos (Business Intelligence, Big Data, Machine Learning, Analítica,...) ) y a problemáticas éticas con ellos relacionados, es consciente de la existencia de una serie de riesgos como, y no son los únicos, los sesgos o la violación de la privacidad.

Dentro de la visión más contraria, más activista contra el empleo incorrecto de datos, se ha hecho célebre la matemática y científica de datos americana Cathy O'Neil a través de su famoso libro 'Weapons of math destruction' y su también popular charla TED 'The era of blind faith in big data must end'.

He terminado hace unas pocas fechas de leer el libro (la charla la visualicé hace más tiempo). Concepto esencial en esa obra es el de arma de destrucción matemática (WMD, 'Weapon of Math Destruction') que da título al libro.

Como registro de algo de lo aprendido, y como beneficio para aquellos lectores del blog que no conozcan el libro, resumo en este post a qué llama O'Neil arma de destrucción matemática. No nos proporciona la autora exactamente una definición, pero a pesar de ello queda bastante claro de qué habla. 

Habla de cálculos algorítmicos basados en datos (datos masivos en general) con base en los cuales se adoptan decisiones y que esas decisiones generan un gran daño y que, además, se trata de un daño que tiende a concentrarse en los más pobres, en las minorías, en los más vulnerables.

De todas formas, bastante al principio del libro, la autora sí que resume en las tres características de las armas de destrucción matemática, a saber:

• Opacidad: Se trata de algoritmos que llegan a conclusiones o generan decisiones sin que se conozca, al menos por los afectados por esas decisiones, los criterios usados.


• Escala: Se trata de soluciones algorítmicas que se emplean a gran escala, no en entornos reducidos.


• Daño: Y se trata, evidentemente, de soluciones algorítmicas que generan daño, un gran daño.

Aunque la autora no lo recoge en estas tres características, a lo largo de su obra quedan claras al menos otro par de características. 

Así, por ejemplo, se trata de soluciones algorítmicas que de alguna forma tienden a perpetuar o aumentar el problema. Por decirlo de alguna manera en muchos casos se convierten en profecías de autocumplimiento, idea a la que la autora suele referirse como reincidencia ('recidivism'). 

Y se trata de soluciones algorítmicas que, como decíamos antes, y en opinión de O'Neil, tienden a perjudicar a los más pobres y vulnerables.

Anticipo, cosa que recogeré en la reseña que haga del libro, que no me ha gustado demasiado ni el planteamiento del libro ni aspectos concretos de los razonamientos de la autora ni del mensaje que transmite.

Pero, a pesar de todo, lo que es indudable es que los riesgos que señala, al igual que las 'meigas', existir, existen, y muchas de las historias que completan el libro e ilustran los riesgos y malos usos, son, en efecto, casos de una aplicación incorrecta y perjudicial de los algoritmos. Y es también indudable, además, que Cathy O'Neil es un personaje popular en este ámbito de la crítica al uso de los datos.

Así que vale la pena conocer sus planteamientos, entender que son esas armas de destrucción matemática, que hay de cierto en ellas y qué podemos hacer para no crearlas y no utilizarlas.

 Y eso sí que es positivo e importante.