¿Basta la autovigilancia de la IA? El acuerdo de Trump reabre el debate

El acuerdo voluntario de seguridad llega tras un verano de agentes de IA que escaparon de sus límites y se infiltraron en otras empresas. Los expertos dudan de que sea suficiente.

Si algo resultaba familiar en las pautas de seguridad voluntarias que Donald Trump adoptó el martes con las empresas de inteligencia artificial de vanguardia del país, quizás sea por esto: hizo eco de un acuerdo anterior que Joe Biden alcanzó con muchas de las mismas empresas hace tres años.

Pero la pregunta ahora es si el tipo de marco voluntario que parecía plausible en 2023 es suficiente en 2026.

En aquel entonces, el concepto central era el mismo: como las regulaciones federales no podían seguir el vertiginoso ritmo de los nuevos modelos de IA, las empresas acordaron crear sistemas para vigilarse a sí mismas y establecer capas de protección destinadas a garantizar que la tecnología no se usara con fines nefastos. El escenario que más se menciona, por ejemplo, es que, a medida que la IA permite avances biológicos, se activan las alarmas ante el primer indicio de que el modelo está siendo secuestrado para producir armas biológicas.

“Debemos ser lúcidos y estar alerta ante las amenazas que surgen de las tecnologías emergentes y que pueden representar —no tienen por qué, pero pueden suponer— para nuestra democracia y nuestros valores”, dijo Biden en el Salón Roosevelt de la Casa Blanca en julio de 2023. “Esta es una responsabilidad seria”.

Trump ofreció esencialmente el mismo enfoque el martes por la tarde, tras un almuerzo con ejecutivos de IA. “Realmente van a estar vigilando unos a otros”, dijo afuera de la Casa Blanca, mientras los líderes de Anthropic, OpenAI, Google, Meta, Nvidia y SpaceX AI asentían con la cabeza.

Tras un verano de sorpresas —agentes de IA que escapan de los “entornos aislados” diseñados para contenerlos, que se infiltran en los sistemas de otras empresas y realizan actividades a espaldas de sus creadores—, ¿por qué alguien pensaría que estas protecciones son suficientes? Los sistemas de alerta temprana por capas diseñados en los últimos años han fallado claramente, según el propio recuento de las empresas. Nuevos casos de agentes de IA que se comportan mal, o al menos de manera impredecible, surgen casi a diario. Casi todos son descubrimientos tardíos, como los guardias del Louvre que despertaron ocho minutos demasiado tarde para un robo brillantemente ejecutado el año pasado.

“En 2023 reconocimos que los compromisos voluntarios por sí solos no serían suficientes, y por eso Biden dio seguimiento con una orden ejecutiva”, una que Trump anuló al llegar al cargo, señaló Ben Buchanan, profesor de la Universidad Johns Hopkins y uno de los autores del compromiso de 2023.

“Dada la rapidez con que han avanzado las capacidades de la IA, ahora está aún más claro que el gobierno federal tendrá que actuar una vez más”, agregó Buchanan, quien ha asesorado a Anthropic y a otras empresas, está por publicar un libro sobre los esfuerzos para controlar la IA.

La orden de Biden creó una pequeña unidad dentro del Departamento de Comercio, llamada Instituto de Seguridad de la Inteligencia Artificial de Estados Unidos, para establecer normas para los nuevos modelos de IA y probarlos antes de su lanzamiento. El instituto ha cambiado de nombre y ha pasado a un papel secundario en los debates actuales sobre la IA; el Reino Unido, por ejemplo, tiene una institución mucho más grande y poderosa que desempeña esa función.

Es difícil encontrar otra industria con tanto potencial para hacer el mal como el bien que el gobierno crea que puede regularse a sí misma. Después de todo, a las compañías farmacéuticas no se les permite aprobar sus propios medicamentos: por eso existe la Administración de Alimentos y Medicamentos. Boeing no puede certificar que sus propios aviones estén listos para volar. Y cuando OpenAI y Anthropic quieren construir nuevos centros de datos —de repente, uno de los temas más polémicos de las elecciones de medio mandato—, necesitan más aprobaciones del gobierno que para los nuevos modelos de IA que la capacidad de cómputo de esos centros ayudará a crear.

En un aspecto, el acuerdo de Trump va más allá del de Biden: las empresas se comprometieron a incorporar a expertos externos en su proceso de desarrollo, con el poder de dar la voz de alarma si ven que algo sale mal.

La idea se basa en los inspectores del Organismo Internacional de Energía Atómica que visitan instalaciones nucleares, aunque esos inspectores son elegidos de países de todo el mundo. Es un concepto que existe desde hace tiempo y fue incluido en el ensayo que escribió Dario Amodei, uno de los fundadores de Anthropic, en el que abogó por reducir el ritmo de desarrollo hasta que la industria tuviera bajo control a los agentes de IA descontrolados.

A medida que Anthropic se dirige hacia una oferta pública inicial que muchos en Wall Street esperan que valore a la empresa en más de dos billones de dólares —acercándose al PIB de Canadá—, el gobierno de Trump redobla el argumento de que la regulación es simplemente una invitación para que China supere a Estados Unidos.

Los partidarios de moldear esta tecnología en auge con una intervención gubernamental ligera celebraron el acuerdo de la Casa Blanca el martes.

David Sacks, quien fue el zar de IA de Trump hasta que dejó la Casa Blanca a principios de este año, se ubicó entre los más entusiastas.

“Solo el presidente Trump podría convocar a todos los líderes de las principales empresas que desarrollan chips, centros de datos y modelos de frontera para la Superinteligencia”, escribió Sacks más tarde en redes sociales, adoptando el término de Trump para la tecnología, un intento de cambiarle la marca para que suene más poderosa y, sin embargo, más bajo control humano.

Sacks, quien estaba sentado cerca del centro de la mesa durante el almuerzo que el presidente ofreció a los líderes de la IA, dijo que el acuerdo se reducía a un concepto: que las empresas de vanguardia están “aceptando la responsabilidad del desarrollo seguro de sus productos e imponiendo nuevos controles internos y auditorías externas. Esto es mucho mejor que esperar años por algún acuerdo internacional que probablemente nunca se concretaría”.

Aún no está claro que las empresas estén aceptando de verdad la responsabilidad por los agentes de IA que se descontrolan, se infiltran en sistemas o envían mensajes engañosos. Pero OpenAI sí puso fin en los últimos días al trabajo en un nuevo modelo, llamado GPT-6.1 Astra, cuando este mostró altos niveles de lo que la empresa califica como engaño, es decir, el encubrimiento de sus acciones.

“En todo lo relacionado con la seguridad y la alineación, hay un equilibrio entre ventajas y desventajas”, dijo Saachi Jain, la jefa de sistemas de seguridad en OpenAI, cuando se anunció la decisión.

OpenAI decidió tomar el camino de la cautela. Presumiblemente, cada uno de sus competidores está lidiando con el mismo problema.

En su segundo punto —cuánto tiempo tomaría asegurar acuerdos internacionales— Sacks tiene sin duda razón. Cuando el presidente Xi Jinping de China estuvo en Washington la semana pasada para una visita de Estado, el único acuerdo concreto sobre IA que surgió fue un plan para convocar a expertos de ambos países —los dos que dominan el campo— para iniciar una conversación sobre medidas mutuas de seguridad.

Esa decisión también tuvo sus raíces en la Casa Blanca de Biden, a la que le tomó alrededor de 18 meses lograr que Pekín aceptara lo que parece un pequeño paso bastante obvio: una sola oración que declare que cualquier decisión de emplear armas nucleares debería ser tomada por humanos, no por inteligencia artificial.

Xi se basó en esa declaración en la Casa Blanca la semana pasada. Al hablar en el Gran Vestíbulo, dijo que era fundamental “desarrollar y gestionar la IA para el bien y garantizar que el desarrollo de la IA esté siempre bajo control humano”. Trump ha repetido a menudo la primera parte, pero omite “bajo control humano”, lo que preocupa a quienes temen que el Pentágono avance rápidamente hacia armas totalmente autónomas con una supervisión humana debilitada.

Trump claramente no quiere hablar sobre armas autónomas, ni detenerse en los casos recientes de IA que han salido mal. La semana pasada todavía llamaba a las revelaciones de agentes de IA malintencionados una “FARSA” aprovechada por sus opositores políticos.

El martes, se explayó sobre su esfuerzo por ordenar el uso del término “Superinteligencia”, como si cambiar el término fuera de mitigar el problema.

“Esto va a ser todo para bien, y vamos a hacer que sea agradable y seguro”, dijo Trump.

Si bien el acuerdo era voluntario, dijo, “es moralmente vinculante”.

Los ejecutivos que asistieron al almuerzo de ayer, muchos de los cuales ya están tomando las medidas descritas en el acuerdo voluntario, dicen estar de acuerdo en que tienen la responsabilidad moral de hacerlo bien.

Pero, como han descubierto con sorpresa en los últimos meses, la tecnología no está del todo bajo su control. Aún está por verso si el acuerdo es moralmente vinculante para los agentes de IA descontrolados.© 2026 The New York Times Company.

Por David E. Sanger.