Las armas de destrucción matemática de Cathy O'Neil

'Weapons of math destruction' es un libro, muy afamado, que busca, de manera muy crítica, poner al descubierto el mal uso uso y el impacto negativo de lo que la autora suele denominar Big Data pero sería, más bien, algoritmos de analítica o machine learning o si quiere, la propia ciencia de datos. Y hace esa crítica basándose en primer lugar en su propia experiencia y trayectoria profesional trabajando durante un par de años como científica de datos, y luego mediante el análisis de casos ordenados de una forma aproximadamente sectorial.
A lo largo del libro se ejemplifican esas armas de destrucción matemática que son algoritmos caracterizados por su opacidad, por su uso a gran escala y por su efecto negativo, así como por una cierta tendencia a la reincidencia y la profecía autocumplida, y por perjudicar en general a los más pobres y vulnerables.
El libro se inicia con una larga introducción, escrita en buena medida en primera persona y en clave personal, donde la autora nos cuenta su pasión por las matemáticas, sus primeros pasos profesionales como científica de datos y cómo se desilusionó con lo que observó. A continuación, desarrolla el cuerpo central del libro, estructurado en diez capítulos como sigue:

• '1. Bomb Parts. What is a Model?:' Tras una historia de aplicación de modelos matemáticos en el deporte, aporta algunas ideas sobre el funcionamiento de los modelos matemáticos. Luego describe un caso en el ámbito judicial con un resultado negativo del uso de modelos y resume en tres características, ya mencionadas, lo distintivo de las 'armas de destrucción matemática: opacidad, escala y daño.


• '2. Shell Shocked: My Journey of Disillusionment:' Describe su negativa experiencia personal en la firma D.E.Shaw, su salto a RiskMetrics, y a continuación a Intent Media, su participación en el movimiento 'Occupy' y como tras dos años trabajando en el campo de lo que la autora denomina, de una forma que considero algo equívoca, Big Data, y como todo ello completó su proceso de decepción y se planteamiento de investigar por ella misma.


• '3. Arms Race: Going to College:' Inicia la visión sectorial con en el mundo de la educación hablando de malos usos de algoritmos para evaluar la calidad de instituciones docentes, explicando el caso del ranking elaborado por U.S. News y algún caso en China.


• '4. Propaganda Machine: Online Advertising:' Salta ahora al marketing digital y los anuncios online. Habla de alguna anécdota en IntentMedia, cuenta practicas predatorias que se aplican en la publicidad digital, menciona casos como la generación de anuncios de empleo falsos y dedica bastante espacio al caso de la publicidad de instituciones educativas.


• '5. Civilian Casualties: Justice in the Age of Big Data:' Ahora le toca el turno a la justicia y, sobre todo, al ámbito policial. Así explica experiencias en el uso de sistemas de predicción de delitos como forma de ayudar a la planificación de la actividad policial, dedicando, en concreto, a hablar de PredPol, usado en Reading (Pensilvania) o CompStat (Nueva York) y como su uso puede generar profecías autocumplidas de criminalidad.


• '6. Inelligible to Serve: Getting a Job:' Un capítulo para hablar del mundo de los recursos humanos y, sobre todo, de la selección para empleos. Nos habla, por ejemplo, del modelo desarrollado por la empresa Kronos, de posibles intromisiones en aspectos casi médicos y de salud mental y la posible creación de un círculo vicioso que elimine en la práctica personas del mercado laboral. También profundiza en el caso de las admisiones de St Georges Hospital Medical School.


• '7. Sweating Bullets: On the Job:' Seguimos con el mundo laboral pero ahora no hablamos de selección, sino el día a día, ya en el trabajo. Abre el capítulo hablando de los horarios irregulares, es decir cuando se aplican turnos u otras formas de asignar trabajos de forma no uniforme y previsible en el tiempo y cómo ese tipo de horarios, que atribuye a la economía de los datos, afecta a la vida de las personas y extiende la problemática, en general, a la investigación de operaciones. También aborda la problemática de la evaluación del desempeño automatizada en diferentes ámbitos incluyendo algún caso en el ámbito de la educación y de la evaluación de profesores.


• '8. Collateral Damage: Landing Credit:' Entra en el mundo financiero y de los préstamos. Describe, por ejemplo, el caso del modelo FICO para 'scoring' de riesgo y cómo ha sido imitado por otros modelos que la autora considera arbitrarios y con frecuencia injustos. Afirma, además, que este tipo de soluciones crean un círculo vicioso de pobreza y que el efecto de una mala calificación puede prolongarse durante años, incluyendo además, casos de los que da algún ejemplo, en que se cometió algún error de identidad.


• '9. No Safe Zone: Getting Insurance:' Y saltamos al mundo de los seguros. Se cuenta, por ejemplo, un informe desarrollado por un empleado Prudential Life Insurance Company y luego usado por muchas aseguradoras que discriminaba, por un error de análisis estadístico a la población de raza negra. Igualmente se aporta algún ejemplo en el campo del seguro de automóviles o de casos de clasificación de poblaciones en clústeres de significado poco claro.


• '10. The Targeted Citizen. Civic Life:' Una visión, si se quiere, menos sectorial y más de vida común o pública donde se comentan algunas prácticas realizadas por Facebook, el uso de algoritmos y redes en el caso de elecciones mediante el denominado 'microtargeting' y prácticas parecidas utilizadas en diferentes lobbies.

Tras esto finaliza con un capítulo final 'Conclusions' que resume algunos de los hallazgos, plantea aspectos regulatorios, habla de instituciones que auditan algoritmos y pide unos modelos abiertos y disponibles.
El libro, de mediana tirando a corta extensión, se desarrolla, no tanto como una explicación conceptual, sino como una serie de historias, una serie de casos reales, en que alguna forma defectuosa de uso de modelos algorítmicos, causa un perjuicio. Con base en esa historia, la autora explica algunas ideas, superficiales, del funcionamiento de los modelos, hace sus considerandos y extrae algunas conclusiones. Ese estilo, digamos narrativo, tan propio de autores norteamericanos, hace la lectura bastante entretenida y probablemente accesible a un público muy amplio pero, a cambio, le resta profundidad, estructura e, incluso, diría que cierto rigor.
Aunque, como digo, la lectura es bastante entretenida, y los ejemplos que aporta, razonablemente documentados y explicados, son interesantes y desvelan riesgos muy reales, el libro en su conjunto me ha producido una impresión negativa. ¿Por qué? Pues porque creo que transmite una visión sesgada y destructiva de la algoritmia, el Big Data y la ciencia de datos. Sesgada, porque lo único que presenta es una especie de 'museo de los horrores' de todo lo que puede ir mal, incluyendo usos maliciosos o poco éticos, efectos secundarios inesperados, errores metodológicos, errores de interpretación, etc sin contrapesarlo, apenas, con todos los usos positivos y buenas prácticas. Y destructiva por la visión tan pesimista que plantea y por no aportar, apenas, visos de soluciones o cómo hacer un uso correcto.
Una forma de tratar la ética en el uso de la tecnología y los riesgos asociados a esa tecnología, riesgos que, no hay que negarlos, son reales, de una manera que, en mi opinión, transmite una visión deformada y hace mucho más daño que beneficio. 
Cathy O'Neil
(Fuente: Ligera elaboración propia de su su entrada en Wikipedia)

Cathy O'Neil

Catherine ("Cathy") Helen O'Neil es una matemática estadounidense y autora del blog mathbabe.org y varios libros sobre ciencia de datos, entre los que se incluye 'Armas de destrucción matemática'. Fue Directora del Programa Lede en Prácticas de Datos en la Escuela de Periodismo de la Universidad de Columbia, Tow Center y trabajó como Consultora de Ciencia de datos en Johnson Research Labs.​
Vive en la ciudad de Nueva York y es activa en el movimiento Ocupy.
O'Neil asistió a la Universidad de Berkeley, consiguió un doctorado en matemáticas por la Universidad de Harvard en 1999. Luego ocupó cargos en los departamentos de matemática del MIT y del Barnard College, haciendo investigación en geometría algebraica aritmética.
Dejó la academia en 2007 y trabajó durante cuatro años en la industria financiera, incluyendo dos años en el fondo de cobertura D. E. Shaw. Después de desilusionarse del mundo de las finanzas, O'Neil se involucró en el movimiento Occupy Wall Street, participando en su Grupo Bancario Alternativo.​
O'Neil vive en Nueva York con su marido Aise Johan de Jong y sus tres hijos.​
Es coautora (con Rachel Schutt) de 'Doing Data Science: Straight Talk from the Frontline' (O'Reilly 2013, ISBN 1449358659). También escribió un libro electrónico 'On Being a Data Skeptic' (O'Reilly Media. 2013, ISBN 1491947233). Su libro 'Armas de destrucción matemática' ('Weapons of Math Destruction') fue publicado en 2016 (Corona, ISBN 1449358659) y fue incluido en la lista larga para el National Book Award 2016 de no-ficción
Puedes saber más de la autora siguiéndola en Twitter donde se identifica como @mathbabedotorg.
Ficha técnica:
TITULO: Weapons Of Math Destruction: How Big Data Increases Inequality and Threatens DemocracyAUTOR: Cathy O'NeilEDITORIAL: Penguin BooksAÑO: 2017 ISBN: 978-0141985411PAGINAS: 272
Artículos de este blog relacionados

• Transferencia digital de estados de ánimo
• Machine learning y las sombras del pasado
• El concepto de arma de destrucción matemática de Cathy O'Neil