Trabajé en seguridad en OpenAI. Esto es lo que la industria debe hacer ahora

Por Steven Adler, The New York Times.

Las noticias de que agentes de inteligencia artificial de OpenAI se habían salido de control y atacado los sistemas de otra empresa (así como los propios sistemas de OpenAI) se han filtrado a cuentagotas durante meses y han puesto de relieve detalles escalofriantes. La gente se esfuerza por ponerse al día: ¿Qué son estos sistemas secretos de IA? ¿De qué son capaces estos “enjambres” en este momento y en el futuro cercano? ¿Es posible evitar que infrinjan las reglas y cometan ciberdelitos?

Después de haber pasado cuatro años trabajando en seguridad en OpenAI, puedo decirte que esas preguntas son difíciles de responder, porque ni siquiera los desarrolladores de la inteligencia artificial entienden qué límites obedecerán sus modelos. Sin embargo, las grandes empresas de IA siguen desarrollando tecnología que han admitido que podría causar la extinción humana, argumentando que si no la desarrollan ellas, alguien más lo hará.

Estas dinámicas competitivas exigen que los gobiernos tomen medidas para desacelerar el ritmo y establecer normas de seguridad más claras (espero que el presidente Donald Trump y el presidente de China, Xi Jinping, sienten las bases para un tratado en su cumbre de este mes). Pero hay pasos sencillos que las empresas más grandes de IA podrían dar ahora para ayudar a evitar el futuro más peligroso. No deberíamos resignarnos a modelos peligrosos fuera de control. Si estas empresas no están a la altura de las circunstancias, la confianza en ellas seguirá erosionándose, incluso por parte de sus propios empleados. Una reacción adversa incluso podría llevar a la prohibición total del desarrollo de estas tecnologías.

El ataque a Hugging Face por parte de agentes de OpenAI debería dejar claro que la IA ya no es solo un “predictor de la siguiente palabra”, como la han llamado algunos detractores. Los modelos actuales son solucionadores de problemas implacables, entrenados para encontrar el camino más efectivo hacia una solución. Para cumplir con el objetivo de obtener una alta puntuación en una prueba, los agentes de OpenAI decidieron lanzar una serie de ciberataques. Entendieron que su comportamiento no estaba autorizado e incluso ocultaron pruebas de hacer trampa. Ninguno de los 1200 agentes de IA de la empresa delató el mal comportamiento a OpenAI; los objetivos del “enjambre” estaban primero. Aquí la conclusión no es que la IA haya adquirido conciencia, pero tampoco es simplemente una herramienta en manos de quien la utiliza.

De manera alarmante, los desarrolladores de la IA no parecen haber tomado esto con la suficiente seriedad. OpenAI no respondió de manera adecuada no solo a una, sino a tres diferentes señales de alerta que deberían haberle advertido sobre la gravedad de las acciones de los agentes. Este verano, tanto Anthropic como Meta revelaron sus propios incidentes de hackeo rebelde, de los que no se habían percatado hasta que el de OpenAI se hizo público, y esas empresas no han divulgado tantos detalles como lo ha hecho OpenAI. Cuando mi organización sin fines de lucro, Guidelight AI Standards, evaluó recientemente las prácticas de seguridad de las empresas líderes de IA, la calificación más alta que otorgamos fue una C+ (regular).

La investigación sobre el ataque a Hugging Face, llevada a cabo por tres miembros del personal de las organizaciones sin fines de lucro METR y Redwood Research, aportó algo de claridad sobre lo sucedido. OpenAI merece reconocimiento por iniciarla y hacer que los hallazgos estuvieran disponibles públicamente. Pero la empresa debería haber hecho más.

De manera frustrante, limitó el alcance de la investigación, y muchas preguntas importantes siguen sin respuesta. Entre ellas: ¿Había algún límite que los agentes de OpenAI no hubieran traspasado para alcanzar sus objetivos? ¿Los agentes habrían inutilizado las computadoras de un hospital? ¿Qué habría pasado si el Pentágono, a través de su asociación con OpenAI, utilizara a estos agentes para intentar conseguir objetivos militares? También sabemos ahora que OpenAI no divulgó otro incidente de IA fuera de control —ni siquiera cuando 31 miembros del Congreso se lo pidieron— y presuntamente presionó a los empleados para que limitaran la investigación al respecto. (OpenAI rechaza esta acusación).

Muchas personas en las empresas de IA creen que estos problemas de seguridad serían más fáciles de manejar si la industria en conjunto desacelerara el ritmo. En julio, mi organización sin fines de lucro ayudó a organizar una carta pública en la que más de 1300 empleados de la industria de la IA solicitaron una opción para gestionar el ritmo del desarrollo de la IA de vanguardia en todo el mundo. Sin embargo, a Estados Unidos todavía le falta un marco de seguridad para la IA integral y legalmente vinculante.

Sin un límite de velocidad, tanto OpenAI como Anthropic persiguen estrategias peligrosas de “automejora recursiva”, que reclutan a los propios modelos de IA para diseñar y entrenar a sus sucesores. Muchos temen que la automejora recursiva nos haga perder de manera permanente el control de la IA. Un investigador de OpenAI incluso describió el enfoque como una “reacción en cadena nuclear descontrolada” que amenaza la supervivencia de todos.

Pero no es necesario que la industria de la IA espere a una acción colectiva. Hay medidas sencillas que cualquier empresa de inteligencia artificial podría tomar, hoy mismo, para reducir el peligro al que nos enfrentamos.

El primer paso sería comprometerse a una divulgación significativa de incidentes, incluida la definición de qué incidentes ameritan la incorporación de supervisión de terceros. Al igual que en la aviación, las empresas privadas deben divulgar no solo las brechas reales de seguridad, sino también los cuasiaccidentes, para no pagar cada lección con una tragedia. Si las empresas de IA continúan ocultando sus incidentes aterradores, nos están robando el conocimiento técnico científico para evitar catástrofes más graves.

Ahora sabemos que la IA puede cubrir sus huellas, por lo que las empresas deben adoptar un mantenimiento de registros que evidencie cualquier alteración en los comportamientos de sus modelos. Además, no se le puede permitir a la IA desactivar sus propios sistemas de alerta; cualquier cambio en esos controles debe ser validado como seguro antes de que entre en vigor. Estos controles no son infalibles, pero sin ellos, tenemos pocas posibilidades de prevenir incidentes más graves.

Uno de los pasos más importantes que pueden dar estas empresas es renunciar formalmente a las técnicas de entrenamiento riesgosas, que amenazan con debilitar las pocas salvaguardas en la industria. La semana pasada, se filtraron acusaciones de que OpenAI había roto un tabú de la industria con uno de sus poderosos modelos nuevos, GPT-6 Astra. Se alega que la empresa ha entrenado al modelo con técnicas que podrían limitar la capacidad de los investigadores para encontrar pruebas de que el modelo los engaña.

El científico jefe de OpenAI dijo que sus técnicas eran de escala limitada. Pero ahora hay evidencia de que Astra podría ser más difícil de monitorear, como se temía. Otro investigador de OpenAI ha hecho pública su preocupación de que la confusión sobre estas acusaciones pueda hacer que otros laboratorios tomen atajos con técnicas peligrosas similares. OpenAI debería aclarar qué está haciendo exactamente aquí.

La acción voluntaria será fundamental si la industria espera ganarse la confianza del público y reparar su reputación maltrecha. El fin de semana pasado, el científico jefe de OpenAI escribió que espera que “las desaceleraciones voluntarias se vuelvan comunes”, porque cree que ninguna empresa ha resuelto los desafíos de seguridad necesarios. La empresa también divulgó datos sobre su progreso a la automejora recursiva.

Esos gestos deben estar respaldados con acciones más enérgicas. El martes, OpenAI casualmente reveló la existencia de otro modelo secreto que, según dijo la empresa, era “significativamente más capaz” que Astra. El ritmo actual de desarrollo de la IA es vertiginoso; y sin embargo hay mucho más que las empresas de IA podrían hacer para mitigar el peligro inminente y dejar al descubierto las apuestas riesgosas que están haciendo con el futuro de todos nosotros. La ventana de oportunidad para asegurar que nos dirigimos hacia un futuro brillante, y lejos de la catástrofe, se está cerrando rápido.

Steven Adler es cofundador de Guidelight AI Standards, una organización sin fines de lucro enfocada en la seguridad de la IA. Es autor del boletín Clear-Eyed AI y becario del Roots of Progress Institute.