El Reglamento de Inteligencia Artificial de la UE, que entró en vigor el 1 de agosto de 2024, adopta un criterio en función de los niveles de riesgo para regular los sistemas de inteligencia artificial, dividiéndolos en cuatro categorías: riesgo mínimo, propósito general, riesgo alto y prohibido. La fecha límite para que las empresas cumplan los requisitos de la nueva legislación europea es el 2 de febrero de 2025.
El reglamento enumera ocho casos de uso prohibidos de la IA, incluidos los sistemas que emplean técnicas de manipulación cognitiva conductual, la puntuación ciudadana, la actuación policial predictiva, la creación de bases de datos de reconocimiento facial, el reconocimiento de emociones de empleados o estudiantes, el uso de datos biométricos para recopilar información personal sensible (según la definición del RGPD) y el uso de sistemas de identificación biométrica en tiempo real en lugares públicos con fines policiales.
Si bien es importante comprender qué se prohíbe utilizar y cuáles solo pueden considerarse de alto riesgo, el primer paso para cualquier empresa es comprender cómo puede que esté ya utilizando la IA en sus operaciones del día a día.
Descubriendo la inteligencia artificial encubierta
Inventariar y gestionar los activos de TI es un cometido vital para las empresas, pero además de las muchas aplicaciones y servicios en la nube permitidos que utilizan, sus empleados suelen utilizar otras muchas aplicaciones y servicios no supervisados, y esos activos a menudo incorporan IA.
Un Cloud Access Security Broker (CASB) puede identificar aplicaciones gestionadas y no gestionadas en el ecosistema de TI de la empresa y clasificarlas en función de varios criterios, incluido su uso de IA. Una vez identificados todos los sistemas de IA, el mapeo de los flujos de datos en toda la organización puede proporcionar visibilidad sobre qué datos están siendo consumidos por qué aplicaciones de IA.
Con esta información, los CISO y los administradores de TI pueden tomar decisiones más informadas sobre el posible impacto empresarial de incorporar o eliminar varias aplicaciones.
Como parte de este proceso, las políticas de prevención de pérdida de datos (DLP) pueden ayudar a las empresas a etiquetar los datos sensibles y rastrear o impedir su consumo por los sistemas de IA. Las políticas de DLP también pueden etiquetar el contenido generado por IA.
Soluciones de gestión como Cloud Security Posture Management (CSPM) y SaaS Security Posture Management (SSPM) también pueden utilizarse para supervisar los activos de IA y evitar la «desviación de la configuración», garantizando que el uso de aplicaciones y servicios impulsados por IA se mantiene dentro de los parámetros definidos por la propia empresa.
Protección de empleados, clientes y público en general
Algunos ejemplos de usos prohibidos de IA son especialmente importantes para las empresas. Entre ellos figuran la prohibición del reconocimiento de emociones, la puntuación ciudadana y el uso de datos biométricos para obtener información personal de carácter delicado. Una vez más, las políticas de DLP pueden ayudar a identificar este tipo de datos, tal como se definen en el RGPD, incluso cuando han sido generados por un sistema de IA.
En cuanto al reconocimiento de emociones, es importante distinguirla de las herramientas corrientes de análisis de sentimiento que se han utilizado durante muchos años para conocer el estado de ánimo de los empleados y su respuesta a los cambios en la política de la empresa. Aunque los términos se utilizan a menudo indistintamente, el análisis de sentimientos se limita normalmente a detectar una respuesta positiva o negativa, mientras que el reconocimiento de emociones es mucho más precisa, abarca una gama más amplia de emociones concretas y, por tanto, es más probable que se pueda explotar o manipular.
Herramientas de supervisión de personal como User and Entity Behaviour Analytics (UEBA) suelen incorporar IA para construir modelos de referencia del comportamiento normal de los usuarios. Esto se puede utilizar para detectar cuando un comportamiento se desvía de la norma, como posible indicador de peligro. Algunas soluciones UEBA avanzadas también pueden asignar a los usuarios una puntuación de riesgo basada en su uso de los recursos informáticos, y esa puntuación se puede utilizar en tiempo real para modular los privilegios de acceso o incluso remitir a los usuarios a formación adicional sobre la política de la empresa.
Aunque la Ley prohíbe la puntuación ciudadana, probablemente no esté pensada para este tipo de soluciones UEBA, por un par de razones. En primer lugar, la ley sólo prohíbe la puntuación ciudadana si perjudica a una persona en un contexto distinto de aquel en el que se recogieron los datos, o si el perjuicio es desproporcionado en relación con el comportamiento de la persona.
En el caso de UEBA, las puntuaciones de riesgo sólo se utilizan en el contexto del ecosistema informático de la empresa y se limitan a la aplicación de medidas cautelares o disciplinarias normales relacionadas con el uso de los activos de información de la empresa.
Las empresas han de pensar en utilizar una herramienta avanzada de UEBA que les ayude a cumplir la normativa sobre IA. Al analizar las interacciones de los usuarios con los sistemas de IA, las empresas pueden detectar y prevenir mejor las actividades no autorizadas y lesivas.
La puntuación ciudadana, por otro lado, conlleva un mayor peligro de que afecte negativamente a los clientes. Esto puede suceder especialmente en determinados sectores, como el financiero, o cuando los datos generados por la IA se comparten con otras empresas vinculadas. Esta situación no hace sino reforzar la importancia de contar con políticas de DLP para etiquetar los datos generados por IA, y la necesidad de conocer cómo fluyen los datos de los clientes hacia o desde las aplicaciones impulsadas por IA.
Finalmente, pero no por ello menos importante, las empresas deben tener mucho cuidado de que su utilización de la IA no genere contenidos -o dé lugar a opciones de diseño de sitios web o aplicaciones- que puedan interpretarse como manipulativos o con fines de explotación. Por ejemplo, aunque las plataformas de redes sociales no suelen ser responsables de los contenidos que suben sus usuarios humanos, según la legislación de la UE y de Estados Unidos pueden ser responsables del diseño de algoritmos basados en IA que promuevan contenidos peligrosos, especialmente cuando se dirigen a poblaciones vulnerables como niños y jóvenes.
Las empresas, además de formar a sus empleados en el uso ético de la IA, deben ser también conscientes de cómo los actores maliciosos están utilizando nuevas técnicas, como los ataques de “inyección de prompts», para engañar a un sistema de IA para que realice acciones o revele información que infringe la normativa o las políticas de la empresa.
Implementando un software avanzado de protección contra amenazas con la capacidad de identificar y mitigar los peligros para los sistemas de IA, las empresas pueden garantizar que su uso de la IA se mantiene dentro de los límites de la ley.
Neil Thacker, CISO, Netskope
