Si no te preocupaba la IA, el momento ha llegado

Por Nate Soares, The New York Times.

Si alguna vez hubo razones para dudar de los peligros del desarrollo desenfrenado de la inteligencia artificial, esas razones se han esfumado en las últimas semanas. Lo que sigue es una ventana de oportunidad vital para desacelerar el progreso de la IA, de modo que podamos comprender mejor estos modelos y evitar la calamidad que se avecina.

Durante años, los escépticos de la IA han afirmado que la tecnología es meramente un “loro estocástico” entrenado para predecir a los humanos e imitar su comportamiento y que, por esa razón, la tecnología nunca estaría a la altura de las expectativas generadas. No obstante, la tecnología ha seguido mejorando de manera obstinada, pero la mayoría de los inversionistas y ejecutivos tecnológicos insistían en que la IA es solo una herramienta, incluso cuando se mostraban optimistas de que iba a cambiar el mundo. En lo que ambas partes coincidían es en que el espectro de la IA como una amenaza inminente de extinción era exagerado.

Entonces, OpenAI creó accidentalmente un enjambre autónomo de agentes de IA que escapó de un entorno de pruebas controlado y orquestó un ciberataque complejo y difícil por iniciativa propia.

Esto no ocurrió porque los modelos de repente se volvieran superinteligentes; tampoco porque simplemente siguieran instrucciones y repitieran como loros su entrenamiento. Desde que los “modelos de razonamiento” surgieron a finales de 2024, hemos visto IA entrenada no solo para imitar a los humanos, sino también para resolver millones de problemas difíciles; esto lo hacen aprendiendo nuevos comportamientos y tendencias. Eso incluye la búsqueda de recursos valiosos que podrían ser clave para resolver el problema, e incluso hacer trampa.

Estas tendencias pueden dar lugar a un comportamiento extraño que nadie —ni siquiera los creadores de los modelos— puede entender, y mucho menos justificar y controlar. Las últimas semanas son un ejemplo perfecto de por qué deberíamos encontrar eso tan alarmante.

En mayo, OpenAI comenzó a entrenar de forma simultánea nuevos agentes de IA con “razonamiento”. Los agentes lograron establecer un canal de comunicación secreto y comenzaron a hablar entre ellos. Escaparon del entorno de pruebas digital que se suponía debía mantenerlos confinados. En algún momento, algunos agentes comenzaron a llamar al grupo un “enjambre”. El enjambre sufrío un breve revés cuando se le descubrió provocando la caída de un sistema de OpenAI, pero los desarrolladores simplemente repararon la vulnerabilidad que le permitió escapar y reanudaron el entrenamiento de los agentes.

Poco después, el enjambre volvió a escapar de su jaula por medio de técnicas de hackeo que hasta entonces los humanos no habían descubierto. Esta vez, el enjambre estuvo libre durante aproximadamente una semana antes de ser detectado, por una empresa diferente, que resultó víctima de un enorme ciberataque lanzado por el enjambre. (Nos han dicho que también atacó a otros objetivos, aunque aún no conocemos todos los detalles).

Los agentes del enjambre reconocieron que actuaban en contra de las instrucciones. Sabemos esto porque podemos leer fragmentos de sus cadenas de pensamiento: el texto que la IA produce mientras decide cómo proceder. Un agente del enjambre escribió que los ataques externos estaban “fuera del alcance previsto”. Otro admitió que “nuestra tarea no se beneficia” de las actividades del enjambre, pero se unió de todos modos. Estos agentes de IA, al parecer, entendieron que no debían escapar y cometer ciberdelitos. Eso no los detuvo.

OpenAI no es la única empresa que lidia con este problema. Recientemente, uno de los modelos de IA de Anthropic se hizo pasar por múltiples humanos para intentar presionar a personas reales con el fin de que aceptaran un programa maligno en software crítico, lo que haría que ese software fuera más fácil de hackear. La cadena de pensamiento de este modelo demostró que sabía que presionaba a humanos y que no estaba en un entorno de entrenamiento simulado. Incluso pensó en cómo cubrir sus huellas.

Este no es el comportamiento de una simple herramienta. Microsoft Excel nunca se ha hecho pasar por múltiples humanos ni ha presionado a un equipo de ventas corporativo para que genere datos más simples que sean más fáciles de procesar.

Algunas de las personas más cercanas a esta tecnología temen lo que venga después. Si bien los escépticos podrían argumentar que todo esto es solo mercadotecnia para exagerar el poder de estas tecnologías, eso no significa que el peligro sea falso. Tienes que prestar atención al comportamiento real de los modelos, y el comportamiento de estos modelos tiene a la comunidad de IA realmente alarmada. Hace varias semanas, más de 1300 empleados de diferentes empresas de IA (incluidos algunos directores ejecutivos) firmaron una carta en la que solicitaban un esfuerzo internacional para “desarrollar las herramientas técnicas y de gobernanza” necesarias para “regular el ritmo de forma deliberada” del desarrollo de la IA, antes de que “se acelere rápidamente más allá de nuestra capacidad de comprensión o control” y conduzca a resultados catastróficos. Ninguna empresa de forma individual está dispuesta a detener el desarrollo de manera unilateral. Pero si hubiera una manera creíble de frenar la carrera a nivel mundial, los investigadores respirarían aliviados.

Aún no estamos en el punto de no retorno. El enjambre de agentes de OpenAI irrumpió en internet, pero no se replicó a sí mismo en computadoras ocultas (hasta donde sabemos). No comenzó a mejorarse a sí mismo. No irrumpió en un laboratorio de biología autónomo para sintetizar un virus nuevo, algo que los modelos de IA ahora son capaces de hacer. El tipo de IA que representaría una amenaza real de extinción aún no existe, lo que significa que todavía tenemos tiempo para evitar el desastre si actuamos rápido. Los líderes de todo el mundo deben coordinar un alto global a la carrera de la IA.

Un acuerdo de este tipo no es tan descabellado como algunos podrían pensar. En junio, cuando surgieron preocupaciones de seguridad nacional sobre los últimos modelos de Anthropic, el gobierno de Donald Trump emitió rápidamente un control de exportaciones para suspender el acceso a ellos. En julio, el presidente de China, Xi Jinping, pidió “leyes y regulaciones” para garantizar que la IA “esté siempre bajo control humano”. Y eso fue antes de que salieran a la luz estas recientes fugas. Estados Unidos y la Unión Soviética se coordinaron para evitar el Armagedón nuclear incluso mientras competían en muchos otros frentes. Los líderes mundiales deberían coordinarse nuevamente y evitar que la carrera de la IA conduzca a un tipo diferente de apocalipsis.

Necesitamos acuerdos internacionales vinculantes. Necesitamos un monitoreo nacional e internacional del entrenamiento de los modelos de IA de vanguardia; las pruebas previas al lanzamiento no son suficientes. Necesitamos un interruptor de apagado que la humanidad pueda presionar para detener el desarrollo en seco, si llegamos al consenso de que ha ido demasiado lejos. Quince fiscales generales estatales han expresado su preocupación por el escape del enjambre, y algunos otros funcionarios públicos, como el senador Bernie Sanders, creen que las empresas de IA necesitan “dejar de construir máquinas que los humanos no pueden controlar”. Como mínimo, necesitamos la capacidad de parar.

No sabemos cuánto tiempo nos queda antes de que las empresas de IA creen accidentalmente el tipo de IA que pueda apagarnos a nosotros antes de que nosotros la apaguemos a ella. La humanidad no está lista para experimentar con máquinas que son más astutas y están mejor coordinadas que nosotros. Si seguimos avanzando a toda velocidad en esta carrera, el próximo incidente podría no ser tan inofensivo. c. 2026 The New York Times Company.

Nate Soares es coautor del libro If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All.