Empresa de salud mental utilizó un chatbot para experimentar con adolescentes en riesgo

Koko, una empresa de salud mental utilizó un chatbot para realizar un controvertido experimento con adolescentes en crisis sin haber obtenido un consentimiento informado previo. El experimento en cuestión se llevó adelante durante agosto y septiembre del año pasado y académicos y profesionales de la tecnología lo definieron como muy poco ético.

El algoritmo utilizado por Koko detectó adolescentes entre 18 y 25 años que hicieron publicaciones con palabras clave como depresión en redes sociales como Discord, Facebook o Telegram. Estas personas fueron derivadas directamente a un chatbot en la página de Koko y, luego de un intercambio de mensajes, eran asignados a uno de los dos grupos del experimento. Uno de estos grupos recibía una sesión de crisis y otro funcionaba como grupo de control y sólo recibía un número de teléfono.

No hay dudas de que es controversial el uso de inteligencia artificial para la atención de personas con problemas de salud mental. En este caso, la polémica tuvo lugar también porque esta organización no informó a los sujetos que estaban formando parte de un experimento. Tampoco estaban informados que estaban interactuando con un bot de IA y no con un profesional.

¿En qué consistió el experimento con un chatbot llevado adelanto por Koko?

La organización Koko y un profesor perteneciente a la Universidad de Stony Brook fueron los que llevaron adelante el experimento. En primer lugar se utilizó un algoritmo para detectar personas con posibles crisis de salud mental a través de las publicaciones que realizaban en redes sociales.

A estas personas se las derivó al sitio web de Koko en donde un chatbot les hacía preguntas para detectar a aquellos que se encontraban en riesgo. Estas personas eran organizadas en dos grupos. Quienes eran asignados al grupo de control se les proporcionaba el número de teléfono de una línea para manejo de crisis. A los otros se les brindaba un cuestionario para completar. En dicho cuestionario se les consultaba qué les molestaba, qué pensaban que podía hacer para salir adelante y con quién podían hablar sobre el tema.

Para finalizar se les brindaba un número para llamar en caso de emergencias. Todas las interacciones con los sujetos del segundo grupo fueron realizadas por un chatbot y lo que se buscaba era conocer la efectividad de esta intervención. Dicha intervención se contrastaba con el grupo control al cual sólo se le ofrecía un número de teléfono.

¿Es buena idea usar un chatbot para la atención de problemas de salud mental?

El experimento llevado a cabo por la organización Koko creó una controversia al utilizar inteligencia artificial para realizar intervenciones en personas con problemáticas de salud mental, sobre todo si las personas no saben que están interactuando con un bot. Sin embargo, la experiencia también plantea la problemática de la escasez de personal para hacer frente a la demanda de personas que necesitan asistencia en línea sobre problemas de salud mental.

Además de esto,  la forma en la cual se llevó adelante el experimento también fue controversial, ya que las personas seleccionadas no fueron informadas que estaban formando parte de un experimento, algo que genera al menos un dilema ético. Según el fundador de Koko, Rob Morris, el experimento se llevó adelante de ese modo porque obtener el consentimiento informado podría haber llevado a las personas a no participar en él.

No hay dudas que el experimento con chatbots llevado adelanto por Koko deja abierto el debate acerca del uso de la inteligencia artificial para la salud mental. Según Morris, esto no es una solución perfecta, pero es necesario que las organizaciones sigan buscando nuevas maneras para cuidar a las personas con problemas de salud mental.

La entrada Empresa de salud mental utilizó un chatbot para experimentar con adolescentes en riesgo se publicó primero en El Tecnoilogico.