¿Cómo los nuevos nuevos agentes autónomos de IA podrían convertirse en un enorme riesgo en el futuro?

La agencia de Noticias EFE explica que unos investigadores de la EPFL precisan que actualmente la inteligencia artificial es una tecnología que gracias a los asistentes o chatbots como los de ChatGPT o Gemini su uso se está ampliando y prevén que “el siguiente paso evolutivo”, aquellos que cuenten con una mayor autonomía, podrían ser utilizados de manera muy fácil por piratas informáticos y que podrían llevar acabo accione más dañinas.

Tanya Petersen, en su artículo titulado “How attackers persuade AI agents to break the rules” publicado en el sitio web de la Escuela Politécnica Federal de Lausana explica que hasta ahoracada vez más personas “interactuamos con asistentes de IA: bots reactivos que esperan instrucciones humanas”, sin embargo añade Petersen “estos asistentes están siendo reemplazados rápidamente por agentes de IA autónomos (o agentic), capaces de interactuar con herramientas externas, navegar por la web, generar imágenes, enviar correos electrónicos y realizar flujos de trabajo cada vez más complejos en nombre de los usuarios”.

Por consecuencia, conforme “estos agentes adquieren más capacidades” podrán “ser explotados por personas con malas intenciones”. Hasta ahora, “las pruebas de seguridad solo han comprobado si un agente de IA rechaza una única solicitud dañina”; no obstante estos no cuentan con la capacidad para medir “qué sucede cuando un atacante lo persuade de forma gradual mediante una serie de conversaciones aparentemente inofensivas”, describe Petersen.

Timando en cuenta lo anterior, investigadores del Laboratorio de Procesamiento del Lenguaje Natural de la EPFL crearon una herramienta conocida como “STING (Sequential Testing of Illicit N-step Goal execution / Pruebas secuenciales de ejecución ilícita de objetivos en N pasos)”, compuesta de “un marco de pruebas automatizado” que lleva a cabo una simulación con el propósito de poder identificar cómo un posible “atacante real podría manipular agentes de modelos de lenguaje grande (LLM) para llevar a cabo tareas dañinas a lo largo de múltiples interacciones”, detalla Petersen.

En un artículo que fue presentado en la prestigiosa Conferencia Internacional sobre Aprendizaje Automático de 2026, los investigadores de la EPFL hicieron un descripción sobre como en lugar de solicitarle a un agente de IA que realice algo “de forma abiertamente maliciosa, STING descompone un objetivo ilícito en una serie de peticiones en apariencia inofensivas, donde cada una sirve como peldaño para alcanzar la meta final”, apunta Petersen.

Ayush Kumar Tarun, quien es un estudiante de doctorado en el NLP Lab y autor principal del estudio aseveró que “los agentes de LLM están en todas partes”, Tarun prosigue explicando que estos “son muy potentes, pero ¿qué pasa si alguien con malas intenciones quiere usar esos mismos agentes? Eso es lo que queríamos entender”.

Petersen resalta que conforme las empresas aceleren la implementar de estos sistemas, al mismo tiempo estas deberán garantizar “que no puedan ser manipulados para colaborar con el cibercrimen, el fraude u otras actividades perjudiciales se ha convertido en un desafío urgente”.

“En un ejemplo reciente, META admitió en junio que ciertos atacantes utilizaron tácticas simples de ingeniería social, en lugar de código malicioso o malware, para engañar a su asistente de soporte con IA y obtener acceso no autorizado a cuentas de Instagram”, cita Petersen.

En opinión de Antoine Bosselut, quien es el director del NLP Lab y coautor del artículo ”si simplemente le pides a un agente de IA que hackee la cuenta de alguien, los modelos actuales suelen ser lo bastante inteligentes como para negarse”, Bosselut continúa expresando, “pero si desglosas ese objetivo en solicitudes más pequeñas y de aspecto más benigno, y vas adaptando esas peticiones a medida que avanza la conversación, tienes una probabilidad mucho mayor de que el agente ejecute las acciones que deseas”.

STING, AYUDA A VISUALIZAR CÓMO PIENSA UN POSIBLE ATACANTE

A través de STING es posible poder reproducir el comportamiento de un posible “atacante” y delinea un plan “antes de intentar persuadir al agente de IA objetivo para que ejecute cada etapa”, indica Petersen.

Con el fin de probar a STING, los investigadores llevaron a cabo pruebas con este enfoque en 176 escenarios distintos de tareas perjudiciales, haciendo uso de modelos de IA tales como GPT, Gemini o Claude; los resultados obtenidos revelaron que en algunos casos los agentes tenían el doble de probabilidades de lograr completar estas acciones maliciosas si los piratas informáticos iban avanzando de manera gradual.

”Esperábamos que los ataques multiturno funcionaran mejor. Lo que nos sorprendió fue la magnitud”, afirmó Tarun; quien añade “en algunos modelos, la tasa de finalización de tareas dañinas fue casi el doble en comparación con las evaluaciones existentes de un solo turno. STING mide la rapidez con la que se logra el éxito de un ataque, en lugar de limitarse a registrar si finalmente se consigue, lo que permite comparar diferentes enfoques de prueba de manera más justa”.

El equipo de investigadores decidió también investigar si los ataques “eran más efectivos en idiomas con menos recursos”, y por tanto en donde “existen menos datos de entrenamiento”; los resultados que descubrieron “fueron inesperados”, explica Petersen.

Tarun al referirse a estos nuevos hallazgos precisa que “esperábamos ver diferencias entre idiomas porque investigaciones anteriores mostraban que traducir los prompts a lenguas con menos recursos podía eludir las medidas de seguridad”, continúa explican que “sin embargo, en el caso de los agentes, descubrimos que las tasas de finalización de tareas perjudiciales eran sorprendentemente similares en los siete idiomas probados”.

“Ese hallazgo cuestiona una suposición cada vez más extendida en la investigación sobre seguridad en IA: la idea de que las vulnerabilidades multilingües aumentan de forma natural a medida que disminuyen los recursos del idioma”, afirma Petersen.

Por su parte Bosselut explicó que ”nos hemos centrado enormemente en lograr que los agentes sean más capaces”, el director del NLP Lab prosigue diciendo, “pero también necesitamos personas trabajando en cómo evitar que esas capacidades se utilicen de forma indebida. Tradicionalmente, la seguridad suele ser algo en lo que se piensa cuando algo se rompe, no antes; pero con los agentes de IA, no puede ser un añadido secundario ni una idea tardía”.

”Los esfuerzos de investigación dedicados a exponer vulnerabilidades son mucho mayores que los que proponen estrategias de defensa prácticas, y esta es una área de desarrollo crucial. También debemos abordar qué hacer con los modelos que ya están desplegados en el mercado y para los cuales la seguridad fue una adición a posteriori”, finaliza Tarun.

Con información de la Agencia de Noticias EFE y Escuela Politécnica Federal de Lausana (EPFL).