CyberArk ha anunciado el lanzamiento de Fuzzy AI, una herramienta de código abierto que ayuda a las organizaciones a identificar y abordar las vulnerabilidades en los modelos de IA internos y alojados en la nube, tales como la elusión de barreras y la generación de resultados dañinos.
Según el informe CyberArk 2024 Identity Security Threat Landscape Report casi tres cuartas partes (68 %) de los profesionales de seguridad indican que hasta el 50 % de todas las identidades de máquinas en sus organizaciones tienen acceso a datos confidenciales. Lavi Lazarovitz, responsable del equipo de investigación de CyberArk, explica en un post tres técnicas que permitirán atacar directamente a los chatbots, asistentes virtuales y otras identidades de máquinas impulsadas por IA.
Menciona en primer lugar el Jailbreaking. No es nuevo. El proceso fue muy utilizado en el entorno móvil para modificar el sistema operativo de un dispositivo (principalmente iPhones) con el fin de eliminar las restricciones impuestas por el fabricante. Aplicado a modelos de inteligencia artificial, puede generar que los resultados sean engañosos. Es decir, al crear datos de entrada engañosos (o “jailbreaking”), los atacantes encontrarán formas de engañar a los chatbots y otros sistemas de IA para que hagan o compartan cosas que no deberían. Un mensaje malicioso muy largo podría hacer que el chatbot “alucine”, se desvíe de su tarea e incluso revele datos confidenciales de análisis de riesgos o información del cliente. “A medida que las empresas depositen cada vez más su confianza en los modelos de IA, los efectos del jailbreaking serán profundos”, asegura Lavi Lazarovitz.
Menciona el investigador otras dos técnicas: Inyección indirecta de mensajes y errores morales y asegura que “los chatbots de IA y otras aplicaciones basadas en LLM introducen una nueva clase de vulnerabilidades porque sus límites de seguridad se aplican de manera diferente”. Explicando que, a diferencia de las aplicaciones tradicionales que utilizan un conjunto de condiciones deterministas, los LLM actuales aplican los límites de seguridad de manera estadística e indeterminista, deja claro que, “mientras esto sea así, los LLM no deberían utilizarse como elementos de refuerzo de la seguridad”.
FuzzyAI
Reconociendo que los modelos de IA están transformando las industrias con aplicaciones innovadoras en las interacciones con los clientes, las mejoras de los procesos internos y la automatización, y afrontando que el uso interno de estos modelos también presente nuevos retos de seguridad para los que la mayoría de las organizaciones no están preparadas, la compañía ha lanzado FuzzyAI, una propuesta que ofrece a las organizaciones un enfoque sistemático para probar modelos de IA contra varias incursiones maliciosas, descubriendo posibles puntos débiles en sus sistemas de seguridad y haciendo que el desarrollo y despliegue de la IA sean más seguros.
Dentro de FuzzyAI se encuentra un potente fuzzer, una herramienta que revela defectos y vulnerabilidades del software, capaz de exponer vulnerabilidades encontradas a través de más de diez técnicas de ataque distintas, desde eludir filtros éticos hasta exponer indicaciones ocultas del sistema. Las características principales de FuzzyAI incluyen:
- Fuzzing exhaustivo: FuzzyAI sondea los modelos de inteligencia artificial con diversas técnicas de ataque para exponer vulnerabilidades como la elusión de barreras de protección, la fuga de información, la inyección de información o la generación de resultados dañinos.
- Un marco extensible: Las organizaciones pueden añadir sus propios métodos de ataque para adaptar las pruebas a vulnerabilidades específicas del dominio.
- Amplia comunidad: Un creciente ecosistema impulsado por la comunidad garantiza continuos avances en las técnicas de ataque y los mecanismos de defensa.
“El lanzamiento de FuzzyAI subraya el compromiso de CyberArk con la seguridad de la IA y ayuda a las organizaciones a dar un importante paso adelante en la resolución de los problemas de seguridad inherentes al cambiante panorama del uso de modelos de inteligencia artificial”, afirmó Peretz Regev, director de Producto de CyberArk. “Desarrollado por CyberArk Labs, FuzzyAI ha demostrado la capacidad de hacer jailbreak a todos los modelos de IA probados. Asimismo, FuzzyAI permite a las organizaciones identificar debilidades y fortalecer sus sistemas de IA contra las amenazas emergentes”.
El marco de FuzzyAI está disponible como software de código abierto en la página GitHub de CyberArk Labs desde el pasado 11 de diciembre de 2024.
