La expansión de la inteligencia artificial en los entornos empresariales está trasladando parte del trabajo operativo a sistemas automatizados, pero también está creando una nueva exigencia para las organizaciones como es validar que las decisiones y resultados generados por estos sistemas son correctos. Esta es una de las conclusiones del análisis publicado por Shilpi Handa, Associate Research Director de IDC, que sitúa la supervisión de la IA como una capacidad que ganará relevancia a medida que aumente su autonomía.
El debate sobre el impacto de la IA se ha centrado tradicionalmente en qué empleos y tareas pueden ser sustituidos por la automatización. Sin embargo, el avance de los sistemas capaces de generar código, analizar información o tomar determinadas decisiones plantea otro problema. Cuando una actividad deja de ejecutarse de forma habitual por un profesional, también puede reducirse la experiencia necesaria para identificar errores, resultados incorrectos o decisiones que se alejan del contexto esperado.
Este riesgo resulta especialmente relevante en ámbitos donde la precisión y la capacidad de evaluación son críticas. IDC identifica ya esta tendencia en áreas como el desarrollo de software, la abogacía y la ciberseguridad, donde los profesionales utilizan asistentes de IA para generar código, realizar investigaciones o analizar información. La cuestión no reside únicamente en la calidad de las respuestas generadas, sino en mantener dentro de la organización el conocimiento necesario para cuestionarlas y validarlas.
En ciberseguridad, el cambio adquiere una dimensión especialmente significativa. Las plataformas de seguridad están incorporando agentes capaces de clasificar alertas, priorizar incidentes y ejecutar determinadas acciones de manera autónoma. Al mismo tiempo, las herramientas de pentesting y evaluación de vulnerabilidades automatizadas pueden generar un volumen creciente de hallazgos que posteriormente deben ser analizados por especialistas. El reto, por tanto, puede desplazarse desde la capacidad para identificar posibles amenazas hacia la capacidad para determinar cuáles son relevantes y qué respuesta requieren.
Esta evolución puede modificar también el perfil de las competencias que necesitan los equipos de seguridad. La automatización reduce el tiempo dedicado a determinadas tareas operativas, pero aumenta la importancia de capacidades como la evaluación crítica, el análisis contextual, la gestión de excepciones y la toma de decisiones. Para los responsables de seguridad, esto implica considerar no solo qué procesos pueden automatizarse, sino también qué capacidades humanas deben preservarse para supervisarlos adecuadamente.
Handa apunta además a la posible aparición de nuevos servicios especializados en la verificación de decisiones y resultados generados por sistemas de IA. Este tipo de funciones podría adquirir especial relevancia a medida que las organizaciones deleguen en agentes una parte creciente de sus operaciones y necesiten establecer mecanismos para determinar cuándo una decisión puede ejecutarse automáticamente y cuándo debe escalarse a un profesional.
El desafío se extiende al gobierno de la inteligencia artificial. La supervisión humana, la trazabilidad de las decisiones, la definición de responsabilidades y la capacidad de intervenir ante resultados incorrectos se convierten en elementos relevantes dentro de las estrategias corporativas de IA. En Europa, además, la evolución del marco regulatorio introduce requisitos específicos de supervisión para determinados sistemas, lo que incrementa la necesidad de establecer controles sobre su funcionamiento.
Para los CSO, la cuestión plantea un cambio de perspectiva. La seguridad de los sistemas de IA no dependerá únicamente de proteger la tecnología, sino también de garantizar que la organización conserva la capacidad de supervisar aquello que delega en ella. A medida que los agentes asuman más tareas y decisiones, disponer de procesos de control, métricas, mecanismos de escalado y profesionales capaces de interpretar sus resultados será tan importante como la propia implantación de estas tecnologías.
