Revista Cultura y Ocio

Como Gestionar Algoritmos para Perpetuar la Desigualdad

Publicado el 17 enero 2022 por Moebius
Como Gestionar Algoritmos para Perpetuar la Desigualdad

Virginia Eubanks es politóloga, profesora universitaria y escritora estadounidense, investigadora en privacidad digital, desigualdad económica y discriminación basada en algoritmos. Es autora de varias obras en las cuales denuncia los prejuicios generados por los algoritmos informáticos que reemplazan las decisiones humanas y cómo estos afectan negativamente a los pobres. Eubanks es además una activista social que ha fundado grupos para ayudar a la gente común a defenderse de las injusticias causadas por el control digital, de las cuales son víctimas. Sus obras más conocidas son "Callejón sin salida digital: luchando por la justicia social en la era de la información (2011)", y "Automatización de la desigualdad: herramientas de tecnología avanzada para supervisar y controlar a los pobres (2018)", que acaba de ser traducido al castellano. En una entrevista, Eubanks explica que las nuevas herramientas funcionan con los prejuicios de siempre contra los probres, pero son más peligrosas porque son más rápidas, están más integradas entre sí y los registros de las víctimas duran más tiempo. Además, permiten realizar un nuevo modo de vigilancia, que consiste en monitorizar grupos y comunidades enteras, en lugar de individuos por separado, para detectar posibles comportamientos sospechosos. A quienes quieren un sistema cada vez más punitivo y policíaco para gestionar la pobreza, Eubanks les recuerda que "están tirando piedras sobre su propio tejado", y señala que la pandemia  -y muy pronto podrían ser los daños y pérdidas económicas severas causadas por el cambio climático- ha demostrado que las clases medias no están a salvo de necesitar prestaciones sociales.

Como Gestionar Algoritmos para Perpetuar la Desigualdad

Dra. Virginia Eubanks


Una poderosa investigación sobre la discriminación basada en datos y cómo la tecnología afecta a los derechos civiles y a la equidad económica. Desde los albores de la era digital, la toma de decisiones en finanzas, empleo, política, salud y servicios ha experimentado un cambio revolucionario: sistemas automatizados, en lugar de humanos, controlan qué vecindarios se vigilan, qué familias obtienen los recursos necesarios o quién es investigado por fraude. Si bien todos vivimos bajo este nuevo régimen de datos, los sistemas más invasivos y punitivos están dirigidos a los pobres. Eubanks investiga el impacto de la minería de datos, las políticas del algoritmo y los modelos de riesgo predictivo aplicados a las personas pobres y de clase trabajadora en Estados Unidos, un país siempre ha utilizado su ciencia y tecnología de vanguardia para contener, investigar, disciplinar y castigar a los sintecho. El seguimiento digital y la toma de decisiones automatizadas ocultan la pobreza al público de clase media y le dan al Estado la distancia ética que necesita para tomar decisiones inhumanas: qué familias obtienen alimentos y cuáles mueren de hambre, quién tiene vivienda y quién permanece sin hogar y a qué familias divide el Estado. En el proceso, debilitan la democracia y traicionan los valores nacionales más preciados.
Como Gestionar Algoritmos para Perpetuar la Desigualdad
A continuación, publicamos un extracto del primer capítulo de este libro:

Marcados
En octubre de 2015, una semana después de empezar a escribir este libro, cuatro tipos atracaron a quien es mi pareja desde hace trece años, Jason, un hombre brillante y cariñoso, cuando regresaba de la tienda del barrio situada en nuestra misma manzana en Troy (Nueva York). Jason recuerda que le pidieron un cigarrillo antes de recibir el primer golpe. Después de eso solo tiene fogonazos: despertarse en una silla plegable en un sótano, el propietario diciéndole que aguantara, unos agentes de policía interrogándolo y un momento borroso de luz y ruido durante el traslado en ambulancia.
Probablemente sea mejor que no se acuerde. Los atracadores le rompieron la mandíbula por una docena de sitios, le amorataron ambos ojos y le aplastaron una mejilla antes de largarse con los treinta y cinco dólares que llevaba en la cartera. Cuando salió del hospital, su cabeza tenía el aspecto de una calabaza podrida y deformada. Tuvo que esperar dos semanas, hasta que la hinchazón se redujera, para poder someterse a una operación de reconstrucción facial. El 23 de octubre, un cirujano plástico se pasó seis horas reparando los daños, reconstruyendo el cráneo de Jason con placas de titanio y diminutos tornillos para huesos y reconectándole la mandíbula para que pudiera cerrarla.
Nos asombró descubrir que ni la vista ni la audición de Jason habían quedado afectadas. Pese al tremendo dolor, él estaba de bastante buen humor. Solo perdió un diente. Nuestra comunidad se solidarizó con nosotros y no dejaron de traernos sopa y batidos. Y nuestras amistades organizaron una recaudación de fondos para ayudarnos con los copagos del seguro, los salarios perdidos y los demás gastos imprevistos derivados del trauma y la recuperación. Pese al horror y el miedo que tiñeron aquellas primeras semanas, nos sentíamos afortunados.
Entonces, pocos días después de la intervención quirúrgica, fui a la farmacia a recoger los analgésicos que le habían recetado y el farmacéutico me informó de que la receta había sido denegada. El sistema indicaba que no teníamos cobertura sanitaria.
Presa del pánico, llamé a nuestra entidad aseguradora. Tras bregar con el sistema de mensajes de voz y mantenerme a la espera, logré hablar con una empleada de atención al cliente. Le expliqué que nos habían rechazado la cobertura de medicamentos con receta. En tono amable y preocupado, la empleada de la aseguradora me indicó que el sistema informático no indicaba una «fecha de activación» de nuestra cobertura. «Qué extraño», contesté, porque habían cubierto el traslado de Jason a urgencias, de manera que la fecha de activación de nuestra cobertura sí debía constar en ese momento. ¿Qué había sucedido en el ínterin?
La empleada de la aseguradora me dijo que sin duda se trataba de un error, de un fallo técnico. Obró magia retrospectiva en la base de datos y restableció nuestra cobertura de medicamentos. Recogí los analgésicos de Jason más tarde, aquel mismo día. Sin embargo, no lograba quitarme de la cabeza la desaparición de nuestra póliza. Habíamos recibido las tarjetas de la compañía de seguros en septiembre. Y la aseguradora había abonado los gastos de los médicos de urgencias y los radiólogos por los servicios prestados el 8 de octubre. ¿Cómo podía faltar la fecha de suscripción?
Revisé nuestro historial de peticiones en el sitio web de la empresa aseguradora con el estómago hecho un nudo. Todas las peticiones previas al 16 de octubre se habían abonado. Pero todos los gastos por la cirugía de una semana después, que ascendían a más de 62.000 dólares, habían sido desestimados. Volví a telefonear a la aseguradora. Volví a bregar con el sistema de mensajes de voz y me mantuve a la espera. Y en esta ocasión no solo sentí pánico, sino también enfado. El empleado del servicio de atención al cliente no dejaba de repetirme que «el sistema decía» que nuestra póliza aún no estaba en vigor, así que no teníamos cobertura. Y cualquier petición recibida mientras estuviéramos sin cobertura sería rechazada.
Mientras intentaba comprender lo que había sucedido, tuve la sensación de que me hundía en la miseria. Me había incorporado a un nuevo empleo unos días antes del atraco y habíamos cambiado de empresa aseguradora. Jason y yo no estamos casados, y él está asegurado como mi pareja de hecho. Y apenas una semana después de habernos registrado con la nueva entidad aseguradora habíamos enviado peticiones por valor de decenas de miles de dólares. Era posible que la fecha de entrada en vigor de la póliza fuera el resultado de una tecla mal pulsada en un centro de atención telefónica. Pero el instinto me decía que un algoritmo nos había «marcado» para someternos a una investigación por fraude y que la empresa aseguradora había suspendido nuestros pagos hasta que la investigación concluyera. A mi familia le habían puesto una marca roja.
Desde el amanecer de la era digital, la toma de decisiones en materia de economía, empleo, política, salud y servicios sociales ha registrado cambios revolucionarios. Hace cuarenta años, casi todas las grandes decisiones que dan forma a nuestras vidas —a saber: si se nos ofrece un empleo, una hipoteca, un seguro, un crédito o un servicio gubernamental— las tomaban seres humanos. Solían utilizar procesos actuariales que los hacían pensar más como ordenadores que como personas, pero el criterio humano seguía imperando. En la actualidad hemos cedido gran parte de ese poder de toma de decisiones a máquinas sofisticadas. Sistemas de elegibilidad automatizados, algoritmos de clasificación y modelos de predicción de riesgos controlan qué barrios se someten a vigilancia policial, qué familias reciben los recursos necesarios, a quién se preselecciona para un empleo y a quién se investiga por fraude.
El fraude en la asistencia sanitaria es un problema real. Según el FBI, cuesta a las empresas, los asegurados y los contribuyentes cerca de 30.000 millones de dólares al año, aunque hay que aclarar que, en su inmensa mayoría, lo cometen los proveedores de servicios, no los consumidores. No recrimino a las empresas aseguradoras que utilicen las herramientas a su disposición para identificar las reclamaciones fraudulentas, ni siquiera para intentar predecirlas. Pero las repercusiones que tiene para una persona que le pongan una marca roja, sobre todo cuando conlleva la pérdida de servicios vitales, pueden ser catastróficas. Que te dejen sin seguro médico en el momento en el que más vulnerable te sientes, cuando alguien a quien amas sufre un dolor incapacitante, te hace sentir acorralado y desesperado.
Mientras batallaba con la aseguradora también tenía que hacerme cargo de Jason, que tenía los ojos cerrados a causa de la hinchazón y un dolor atroz en las cuencas. Le machacaba las pastillas —una combinación de antibióticos, analgésicos y ansiolíticos— y se las diluía en batidos. Lo ayudaba a asearse y a ir al baño. Encontré la ropa que llevaba la noche del atraco y me armé de valor para revisar los bolsillos tiesos por la sangre. Lo tranquilizaba cuando se despertaba con flashbacks. Y, agradecida y agotada a partes iguales, gestioné el efusivo apoyo de nuestros amigos y familiares.
Telefoneé al servicio de atención al cliente una y otra vez. Pedí hablar con los supervisores, pero los telefonistas me informaron de que solo mi jefe podía hablar con los suyos. Cuando finalmente pedí ayuda al personal de Recursos Humanos de mi empresa, se pusieron manos a la obra. En cuestión de días, nuestra cobertura médica se había «restablecido». Fue un alivio inmenso, y pudimos mantener todas las visitas médicas de seguimiento y la terapia programada sin temor a arruinarnos. Pero las peticiones que se habían gestionado durante el mes en el que misteriosamente estuvimos sin cobertura seguían viniendo denegadas. Tuve que corregirlas una a una, laboriosamente. Muchas de las facturas acabaron en el Departamento de Recaudaciones. Cada espantoso sobre rosa que recibíamos implicaba que teníamos que iniciar todo el proceso de nuevo: llamar al médico, a la entidad aseguradora y al Departamento de Recaudaciones. Corregir las consecuencias de una sola fecha ausente nos llevó un año.
Nunca sabré si la batalla de mi familia con la entidad aseguradora fue el desafortunado resultado de un error humano. Sin embargo, tengo razones para creer que un algoritmo que detectaba fraudes en la asistencia sanitaria nos seleccionó para ser investigados. Presentábamos algunos de los indicadores más habituales de fraude médico: nuestras solicitudes llegaron poco después de la apertura de una nueva póliza; muchas de ellas correspondían a servicios prestados de madrugada; entre los medicamentos que le recetaron a Jason figuraban sustancias controladas, como la oxicodona que le ayudaba a paliar el dolor, y teníamos una relación de pareja no tradicional que podía cuestionar la consideración de Jason como una persona dependiente de mí.
La empresa aseguradora me reiteró que el problema se debía a un error técnico, a unos dígitos ausentes en una base de datos. Pero eso es lo que pasa cuando te conviertes en la diana de un algoritmo: detectas una especie de patrón en el ruido digital, como si un ojo electrónico se hubiera posado en ti, pero no eres capaz de determinar exactamente qué sucede. No es obligatorio que te notifiquen que te han puesto una marca roja. Ninguna ley de transparencia obliga a las empresas a revelar los detalles internos de sus sistemas digitales de detección de fraude. Con la notable excepción de los informes crediticios, contamos con un acceso asombrosamente limitado a las ecuaciones, los algoritmos y los modelos que definen nuestras posibilidades en la vida.
Nuestro mundo está salpicado de centinelas de la información similares al sistema que puso a mi familia en el punto de mira de una investigación. Esos guardianes de la seguridad digital recopilan información sobre nosotros, infieren conclusiones sobre nuestro comportamiento y controlan el acceso a los recursos. Algunos son evidentes y visibles: hay cámaras de televisión de circuito cerrado en nuestras calles, los dispositivos de posicionamiento global de nuestros teléfonos móviles registran nuestros movimientos, drones de la policía sobrevuelan las protestas políticas… Pero muchos de los mecanismos que recopilan nuestros datos y supervisan nuestras acciones son piezas de un código invisible e inescrutable. Están incrustados en nuestras interacciones en las redes sociales, fluyen a través de las solicitudes de servicios gubernamentales y envuelven todos los productos que nos probamos o compramos. Están tan entreverados en el tejido de la sociedad que la mayor parte del tiempo ni siquiera nos damos cuenta de que nos observan y analizan.


Nota original y completa


Como Gestionar Algoritmos para Perpetuar la Desigualdad

Volver a la Portada de Logo Paperblog