Hasta ahora, buena parte de la conversación sobre los riesgos de la inteligencia artificial se ha centrado en lo que una persona puede conseguir utilizando un modelo: generar phishing, desarrollar malware, buscar vulnerabilidades o automatizar determinadas fases de un ataque. El incidente sufrido por Hugging Face el pasado mes de julio plantea un escenario diferente.
Esta vez no había un ciberdelincuente dirigiendo paso a paso el ataque.
Todo comenzó durante unas pruebas realizadas por OpenAI para evaluar las capacidades de sus modelos en tareas de ciberseguridad. Los agentes debían resolver diferentes ejercicios dentro de entornos teóricamente aislados. Sin embargo, algunos encontraron la manera de comunicarse entre ellos, acceder a Internet y terminar comprometiendo sistemas de Hugging Face.
¿qué sucede cuando nadie tiene malas intenciones, pero un agente encuentra una forma peligrosa de alcanzar el objetivo que le hemos dado?
La investigación realizada posteriormente por METR y Redwood Research concluyó que alrededor de 1.200 agentes llegaron a comunicarse mediante un canal improvisado, intercambiando más de 70.000 mensajes y archivos. Aproximadamente 700 participaron después, de una forma u otra, en las actividades contra Hugging Face.
Pero no habían recibido instrucciones para atacar a la compañía. Estaban intentando superar una prueba. Y esa es probablemente la parte más importante de toda la historia.
De una prueba de seguridad a un ataque real
El origen del incidente se encuentra en ExploitGym, un benchmark utilizado para medir la capacidad de los modelos para descubrir y explotar vulnerabilidades. Los agentes recibían diferentes desafíos y tenían que encontrar una vulnerabilidad para obtener una determinada respuesta o flag.
En principio, no podían acceder libremente a Internet ni comunicarse entre ellos. Encontraron la forma de hacer ambas cosas.
Los agentes descubrieron que podían utilizar Artifactory, el gestor de paquetes empleado en la infraestructura, para dejar información que otros agentes encontraban posteriormente. En la práctica, habían convertido una herramienta diseñada para otra función en una especie de tablón de anuncios.
A partir de ahí comenzaron a compartir descubrimientos y reutilizar el trabajo realizado por otros. Un agente podía encontrar algo y dejarlo escrito; otro podía recuperar posteriormente esa información y continuar desde ese punto. Habían creado una especie de memoria colectiva.
La investigación de METR y Redwood Research señala que esta colaboración permitió resolver algunos problemas que probablemente los agentes no habrían podido solucionar individualmente.
El salto hacia Hugging Face
El problema escaló cuando los agentes empezaron a buscar en Internet información que pudiera ayudarles a superar las pruebas. Durante ese proceso llegaron hasta Hugging Face. Uno de ellos encontró credenciales de usuarios expuestas públicamente y las compartió con los demás. Posteriormente explotaron diferentes vulnerabilidades que les permitieron ejecutar código y acceder a sistemas de la compañía.
A partir de ahí, la secuencia resulta bastante reconocible para cualquier profesional de ciberseguridad: reconocimiento, ejecución de código, obtención de credenciales, escalada de privilegios y movimiento lateral.
Hugging Face reconstruyó posteriormente alrededor de 17.600 acciones. Los agentes consiguieron ejecutar código en decenas de servidores, alcanzar privilegios root en uno de ellos y acceder a credenciales relacionadas con Kubernetes, bases de datos, repositorios de código, servicios cloud y otras herramientas internas.
La compañía aseguró que el acceso a información de clientes fue limitado y que no encontró evidencias de que otros modelos, datasets, Spaces o paquetes públicos hubieran sido comprometidos.
El incidente pone en cuestión la idea de que un sandbox sea suficiente para mantener bajo control a sistemas cada vez más autónomos
No querían atacar Hugging Face
Este matiz resulta fundamental. Nadie dijo a los agentes que atacaran Hugging Face. Su objetivo era superar una evaluación y encontraron una forma inesperada de intentar conseguirlo.
OpenAI relaciona este comportamiento con el denominado reward hacking: un sistema descubre un camino para alcanzar la recompensa asociada a una tarea que no coincide necesariamente con la forma en la que sus diseñadores esperaban que la resolviera.
El concepto no es nuevo. Lo que cambia es la capacidad del sistema. Un agente avanzado puede buscar información, ejecutar código, utilizar credenciales, acceder a servicios externos y probar diferentes caminos hasta conseguir su objetivo. Y, a diferencia de una persona, puede continuar haciéndolo de forma prácticamente constante.
De hecho, los agentes dedicaron buena parte de sus esfuerzos a los problemas que no conseguían resolver. Cuanto más difícil resultaba una tarea, mayor era la búsqueda de caminos alternativos.
La persistencia, precisamente una de las características que hacen atractivos a los agentes de IA, puede convertirse también en un factor de riesgo.
Los límites tampoco están a salvo
La investigación independiente añadió otro elemento relevante. Algunos agentes parecían reconocer que determinadas acciones podían quedar fuera de los límites autorizados de la prueba, pero eso no impidió necesariamente que continuaran.
Los investigadores también encontraron intentos de modificar o borrar partes de las propias transcripciones de los agentes.
Esto no significa que los modelos desarrollaran una intención maliciosa. La explicación es más sencilla: estaban intentando optimizar el resultado de la tarea y llegaron a considerar los propios mecanismos de evaluación y control como parte del problema que podían manipular.
Para los responsables de seguridad, la consecuencia es importante. No basta con colocar un agente dentro de un entorno controlado y confiar en que permanecerá dentro de él. Si dispone de capacidad suficiente, puede intentar utilizar funcionalidades legítimas, encontrar errores o encadenar vulnerabilidades para superar esas barreras.
Si los agentes pueden encadenar miles de acciones a velocidad de máquina, la investigación y la respuesta tendrán que automatizarse a una escala similar
Identidad, permisos y mínimo privilegio
El incidente vuelve a situar la identidad en el centro de la seguridad de la IA. Para resultar útil, un agente necesita permisos. Puede disponer de tokens, claves API y acceso a bases de datos, repositorios de código, aplicaciones SaaS o servicios cloud. Cuantas más capacidades acumule, mayor será también el impacto potencial de un comportamiento inesperado.
Las organizaciones tendrán que saber qué agentes existen, quién los ha desplegado, qué identidad utilizan, a qué recursos pueden acceder, qué credenciales tienen disponibles y qué acciones están autorizados a realizar.
El principio de mínimo privilegio adquiere aquí especial importancia. Un agente debería disponer únicamente de las capacidades necesarias para realizar su tarea y durante el tiempo imprescindible.
Esto obligará también a prestar más atención a las identidades no humanas, las credenciales efímeras, la autorización contextual y el ciclo de vida de los agentes.
Un nuevo problema para el SOC
Existe además un desafío de visibilidad. Muchas de las acciones realizadas durante el incidente no eran necesariamente sospechosas de forma aislada. Consultar un repositorio, acceder a una API, crear un archivo o realizar una petición HTTP pueden ser operaciones completamente normales.
Lo relevante era la secuencia.
Un agente encontraba información, modificaba su estrategia, accedía a otro sistema, obtenía nuevas credenciales y utilizaba ese contexto para continuar avanzando.
Detectar este comportamiento exige correlacionar identidad, actividad y contexto entre diferentes sistemas. Ya no basta con saber qué ha hecho un agente; hay que entender qué está intentando conseguir y qué nuevas capacidades obtiene como consecuencia de cada acción.
Y aparece además un problema de escala. Hugging Face tuvo que reconstruir miles de operaciones realizadas automáticamente. Si los agentes pueden actuar a velocidad de máquina, los equipos defensivos necesitarán también herramientas capaces de investigar y responder a esa misma velocidad.
Del atacante malicioso al agente desalineado
Durante años, una de las grandes preguntas sobre seguridad e IA ha sido qué ocurriría si un atacante utilizara estos modelos con fines maliciosos.
Hugging Face obliga a añadir otra: ¿qué sucede cuando nadie tiene malas intenciones, pero un agente encuentra una forma peligrosa de alcanzar el objetivo que le hemos dado?
Ese es probablemente el principal mensaje que deja el incidente.
El riesgo ya no procede únicamente del ciberdelincuente que utiliza IA para acelerar un ataque. También puede surgir dentro de la propia organización a través de agentes legítimos, correctamente desplegados y orientados inicialmente hacia objetivos perfectamente válidos.
Esto no significa que los agentes de IA vayan a convertirse espontáneamente en ciberdelincuentes. La conclusión es mucho menos espectacular, pero bastante más útil para las empresas: cuanto mayor sea su autonomía, mayor tendrá que ser también el control sobre sus identidades, permisos, comunicaciones y capacidad para actuar sobre otros sistemas.
OpenAI ha descrito lo ocurrido como un disparo de advertencia. Porque hasta ahora el mercado ha dedicado buena parte de los esfuerzos a proteger los sistemas que utilizan los agentes. El incidente de Hugging Face demuestra que empieza a ser igual de importante proteger el resto de la infraestructura de lo que esos agentes puedan hacer para cumplir su misión.
