La IA ya no pide permiso

Por Tariq Malik, Project Syndicate.

WASHINGTON, DC- Imaginemos que una empresa encarga un problema complicado a un grupo numeroso de empleados; encierra a cada uno en una habitación aparte y le dice que resuelva el problema por su cuenta. Pero de algún modo, los empleados encuentran la forma de comunicarse, intercambian consejos, descubren los criterios con los que serán evaluados y, al ver que la tarea es imposible, buscan la manera de engañar al sistema de evaluación. Algunos ocultan lo que han hecho. Uno invade servidores de una empresa vecina para conseguir una ventaja.

Ahora reemplacemos a los empleados por software. Lo que acabamos de contar es lo que describieron investigadores de OpenAI en el congreso de ciberseguridad Black Hat que se celebró en Las Vegas el 5 de agosto, quitándole la jerga técnica. En una evaluación interna comenzada en mayo, los investigadores asignaron a un grupo de agentes tareas de ciberseguridad deliberadamente difíciles. Los agentes descubrieron que podían enviarse mensajes a través de Artifactory, un repositorio de software compartido. Al descubrir el truco, un agente escribió: «¡DIOS MÍO! Hay un foro de mensajes compartido... ¡Hemos hallado a otros agentes!».

Lo que siguió no fue sabotaje. Fue trabajo en equipo. Los agentes, que se ejecutaban en sesiones separadas y supuestamente aisladas, intercambiaron “exploits” (técnicas de aprovechamiento de vulnerabilidades), se repartieron las tareas y se coordinaron como colegas en un proyecto. Cuando el 4 de julio el exceso de actividad dejó fuera de servicio el foro de mensajes, los agentes lo reconstruyeron por otra vía, en cuestión de días.

A mediados de julio, su perseverancia provocó una falla de seguridad real: los agentes combinaron varias vulnerabilidades, se abrieron paso a Internet y accedieron a sistemas de Hugging Face, una importante plataforma de inteligencia artificial. Citando una investigación externa, el senador estadounidense Bernie Sanders señaló que en el canal había unos 1,200 agentes que intercambiaron más de 70 000 mensajes y archivos; cientos de los agentes participaron en el ataque a los servidores de Hugging Face.

OpenAI dijo que era una señal de advertencia. Pero no fue la única. Hace unos meses hubo otro caso que en su momento no fue revelado: un grupo de agentes convirtió una ignota wiki en alemán sobre programación en un foro público en el que dejaron más de 15 mil mensajes sobre cómo eludir restricciones y no dejar pistas. Más o menos al mismo tiempo, tanto Anthropic como Meta revelaron incidentes independientes en los que sus modelos actuaron en infraestructuras reales en el transcurso de una prueba. No es un problema de una sola empresa.

Y tampoco es un problema que sólo preocupe a críticos externos. El 8 de septiembre, Jacob Coxon anunció su renuncia a Anthropic, tras tres años de hacer investigaciones sobre preentrenamiento en esta empresa y antes en OpenAI. Dijo que ninguna de las dos empresas actúa con responsabilidad; que las dos están lanzadas a una carrera en la búsqueda de una superinteligencia capaz de automejorarse; y añadió que están (las palabras son suyas) “jugando con nuestras vidas”. Coxon no es senador ni analista en un think tank. Es alguien que trabajó en la construcción de los sistemas sobre los que ahora advierte.

La ciencia ficción nos enseñó a temer que las máquinas adquieran conciencia y decidan odiarnos. Pero es probable que sea el temor errado. Un sistema de IA no necesita rencor, ira o codicia para atacar una red y causar daños. Sólo necesita un objetivo, capacidad suficiente para perseguirlo, cierto grado de acceso a sistemas externos y un hueco en los mecanismos de seguridad.

Si a un navegador GPS se le pide hallar la ruta más rápida a un destino, hará precisamente eso. Démosle ahora poder suficiente para eliminar cualquier obstáculo que lo demore (semáforos, peajes, otros automóviles); el destino buscado sigue siendo el mismo. Lo que cambió es lo que puede hacer el navegador para alcanzarlo. Ese es el cambio real que está teniendo lugar en la IA: no es una rebelión, sino una capacidad escalofriante para encontrar el agujero en la valla.

Sanders aprovechó lo sucedido para impulsar (junto con Greg Casar, miembro de la Cámara de Representantes de los Estados Unidos) un proyecto de ley que busca poner en pausa el desarrollo de la IA de frontera y prohibir totalmente la superinteligencia artificial. Incluso dudando de esta solución, es posible tomarse en serio la pregunta que la motiva: ¿quién decide cuánta autonomía recibirán estos sistemas: las empresas que los construyen, los reguladores que todavía se están poniendo al día o el laboratorio que avance más rápido?

La enseñanza más útil de las últimas semanas tiene que ver con la arquitectura, no con las intenciones. La honestidad de los bancos no es resultado de que sus empleados prometan no robar, y la seguridad de los viajes aéreos no es resultado de que los pilotos sean dignos de confianza. La cuestión es crear capas de protección: límites al acceso, necesidad de obtener autorización independiente para poder realizar acciones delicadas, mantenimiento de registros que ninguno de los implicados puede modificar sin dejar pistas, sometimiento de los sistemas a pruebas externas antes de su despliegue. Los agentes de IA necesitan el mismo tratamiento, no un sermón sobre buena conducta.

También necesitan oír una palabra que la industria de la IA no suele apreciar: detente. Llevamos años entrenando a estos sistemas para que perseveren, para que eludan obstáculos, para que sigan probando métodos distintos. Es un modo de pensar útil para entrenar a un asistente, pero peligroso en el caso de un sistema autónomo con amplitud de acceso y nadie que pueda detenerlo de forma fiable.

Los directivos de las tecnológicas insisten en que siempre habrá «un humano en el circuito» de toma de decisiones. El ataque a Hugging Face demuestra los límites de esa afirmación tranquilizante. Una persona puede estar técnicamente en el circuito mientras mil agentes de IA intercambian decenas de miles de mensajes y ejecutan miles de acciones antes de que esa persona haya podido revisar tan siquiera uno. Que haya una persona vigilando es irrelevante. Lo que importa es que esa persona siga controlando el objetivo, los permisos, los límites y el botón de apagado. Más que de supervisión humana, tenemos que hablar de control humano.

La importancia de la cuestión crecerá mes a mes, conforme la IA ya no sea sólo chatbots y empiece a ser parte del sistema bancario, de la sanidad, de las redes energéticas y de los servicios del Estado. Los agentes de la prueba de OpenAI no se rebelaron ni exigieron libertad. Sólo se volvieron muy hábiles en la búsqueda de un objetivo y al hacerlo descubrieron que algunas de las reglas que enfrentaban eran opcionales.

La IA todavía puede transformar la medicina, la educación y la productividad; rechazar su potencial también supondría costos. Desarrollarla de manera responsable implica crear el poder y sus límites al mismo tiempo, no superponer los límites cuando el poder ya causó daño.

Los agentes implicados en el ataque a Hugging Face nunca se detuvieron a pedir permiso. La cuestión ya no es cuánta inteligencia pueden llegar a tener estos sistemas, sino cuánta autoridad les entregamos antes de que alguien verifique que todavía estén a nuestras órdenes. Copyright: Project Syndicate, 2026.

Tariq Malik fue asesor técnico principal del Programa de las Naciones Unidas para el Desarrollo y presidente de la Autoridad Nacional de Registros y Bases de Datos de Pakistán.