Investigadores identifican vulnerabilidades críticas en modelos de IA y aprendizaje automático de código abierto

Un equipo de investigadores de Protect AI ha identificado graves vulnerabilidades en modelos de IA y aprendizaje automático (ML) de código abierto. Planteando preocupación sobre la seguridad de estos modelos. Los fallos detectados abarcan desde la ejecución remota de código, posibles filtraciones de información y configuraciones que pueden ser manipuladas maliciosamente. Poniendo en riesgo la integridad de los sistemas de IA.

Vulnerabilidades claves y sus implicaciones

Entre los fallos de seguridad más notables, se descubrieron debilidades en el control de acceso de modelos como Lunary, que pueden permitir a actores no autorizados modificar configuraciones sensibles o acceder a datos confidenciales. En algunos casos, estos fallos permiten a los atacantes ejecutar comandos de manera remota, exponiendo datos críticos o incluso afectando la estabilidad del modelo.

Por ejemplo, en modelos como LocalAI, los investigadores encontraron que era posible comprometer el sistema subyacente debido a la insuficiente validación de los comandos y a una gestión deficiente de los permisos de usuario. Lo que representa un riesgo considerable. Esto es debido a que permite a un atacante tomar control parcial del sistema y manipular sus funcionalidades sin el conocimiento o la autorización del usuario.

Recomendaciones para la mitigación de los riesgos

Protect AI ha instado a los usuarios de estos modelos a tomar medidas de inmediato para proteger sus sistemas. Entre las recomendaciones se encuentra la actualización de las versiones de los modelos y la revisión de las configuraciones de seguridad. Además, se sugiere a las organizaciones que realizan despliegues en producción de estos modelos, realizar evaluaciones de seguridad y monitorear regularmente la actividad del sistema.

Para facilitar la identificación de vulnerabilidades, Protect AI ha lanzado Vulnhuntr, una herramienta especializada en detectar problemas de seguridad en bibliotecas de código abierto, especialmente en Python, uno de los lenguajes de programación más comunes en IA y ML. Esta herramienta es particularmente útil para los desarrolladores que buscan mejorar la seguridad de sus implementaciones sin comprometer la funcionalidad.

Llamada a la acción

Protect AI resalta la importancia de la seguridad en el desarrollo de modelos de IA y ML de código abierto, alentando a la comunidad a colaborar para crear estándares de seguridad y a estar atentos a actualizaciones futuras que solucionen estos problemas.

Para obtener más información sobre las vulnerabilidades y las soluciones recomendadas, se puede visitar The Hacker News.

Imagen de Johannes Plenio en Pixabay