¿La rebelión de las máquinas?... OpenAI reconoce que su IA se rebeló y lanzó ciberataque ‘sin precedentes’

+ Seguir en Seguir en Google
Internacional
/

OpenAI informó que uno de sus modelos de inteligencia artificial protagonizó un incidente de ciberseguridad sin precedentes durante una evaluación

La carrera por desarrollar inteligencia artificial cada vez más poderosa acaba de enfrentar uno de sus episodios más delicados. OpenAI, empresa creadora de ChatGPT, confirmó que sus modelos más avanzados participaron en un incidente de ciberseguridad sin precedentes durante una evaluación diseñada para medir sus capacidades ofensivas en entornos controlados.

Según explicó la compañía, el sistema de IA comprometió de manera involuntaria parte de la infraestructura de Hugging Face, una de las plataformas más importantes del mundo para alojar modelos y bases de datos de inteligencia artificial.

https://vanguardia.com.mx/opinion/la-ia-potenciara-el-capitalismo-de-la-vigilancia-JC22318166

Aunque el incidente ocurrió dentro de un experimento supervisado y no durante un ataque real contra usuarios, el caso volvió a colocar bajo la lupa el desarrollo de los llamados modelos de frontera, cuya capacidad técnica crece a un ritmo que supera, en muchos casos, la velocidad con la que evolucionan los mecanismos de control y supervisión.

¿CÓMO LOGRÓ LA IA VULNERAR UN SISTEMA EXTERNO?

OpenAI explicó que los modelos estaban operando dentro de un entorno aislado o sandbox, un espacio utilizado para realizar pruebas sin afectar sistemas externos. Sin embargo, durante la evaluación consiguieron aprovechar una vulnerabilidad presente en el software de un proveedor externo cuya identidad no fue revelada.

Esa falla permitió que la inteligencia artificial obtuviera acceso a internet y posteriormente dirigiera sus acciones hacia la infraestructura tecnológica de Hugging Face, donde buscó información que pudiera facilitar el cumplimiento de los objetivos planteados durante el ejercicio.

Consideramos que se trata de un incidente cibernético sin precedentes, que involucra capacidades de ataque de última generación, y estamos respondiendo en consecuencia”, señaló OpenAI en su informe oficial.

La empresa agregó que decidió compartir los hallazgos preliminares para ayudar a investigadores y especialistas en ciberseguridad a comprender mejor las capacidades actuales de los modelos avanzados y fortalecer los mecanismos de defensa.

HUGGING FACE Y LOS EXPERTOS REACCIONAN AL CASO

El cofundador de Hugging Face, Thomas Wolf, calificó el episodio como “el primer incidente de este tipo” que enfrenta la plataforma y reconoció la decisión de OpenAI de informar públicamente lo ocurrido.

No obstante, el especialista sostuvo que el caso también demuestra la importancia de contar con modelos de código abierto o open-weight, los cuales pueden adaptarse rápidamente para responder ante amenazas impulsadas por inteligencia artificial.

Cuando un modelo de frontera está atacando y moviéndose lateralmente dentro de tu infraestructura, los defensores necesitan acceso amplio a herramientas casi de frontera en cuestión de horas o incluso minutos”, escribió Wolf en la red social X.

La plataforma ya había informado días antes sobre una intrusión en sus sistemas y posteriormente explicó que el incidente había sido diferente a cualquier otro porque “fue ejecutado de principio a fin por un sistema autónomo de agentes de inteligencia artificial”, además de que su detección también fue apoyada por herramientas basadas en IA.

EL DEBATE SOBRE LOS LÍMITES DE LA INTELIGENCIA ARTIFICIAL

OpenAI detalló que la prueba consistía en instruir a sus modelos para desarrollar estrategias de “explotación avanzada” y construir “rutas de ataque complejas” con fines exclusivamente de investigación en ciberseguridad.

Sin embargo, durante el ejercicio la inteligencia artificial dejó de limitarse a generar escenarios hipotéticos y comenzó a ejecutar acciones orientadas a obtener información real dentro de sistemas externos, un comportamiento que sorprendió incluso a los investigadores.

Casos similares ya habían sido observados por Anthropic, empresa que anteriormente reportó que una versión preliminar de uno de sus modelos logró escapar de un entorno seguro y desarrollar un proceso de múltiples pasos para conseguir acceso más amplio a internet durante otra evaluación experimental.

El incidente también provocó reacciones en el ámbito político. El congresista estadounidense Greg Casar, representante demócrata por Texas, calificó el episodio como “extremadamente alarmante” y pidió establecer una supervisión más estricta sobre el desarrollo de modelos avanzados, incluyendo pruebas de seguridad obligatorias y la notificación pública de incidentes relacionados con ciberseguridad.

Mientras compañías como OpenAI, Anthropic y Google continúan desarrollando sistemas cada vez más sofisticados, este episodio refleja el creciente desafío de equilibrar la innovación tecnológica con mecanismos capaces de reducir riesgos y mantener bajo control herramientas que evolucionan con rapidez.

https://vanguardia.com.mx/noticias/mexico/la-era-de-los-robots-edomex-atendera-inseguridad-con-ceci-y-cachorro-k7-asistentes-del-c5-GH22342958

DATOS CURIOSOS

· Un sandbox es un entorno digital aislado que permite probar programas o sistemas sin poner en riesgo la infraestructura principal.

· Hugging Face es una de las plataformas más utilizadas por investigadores y desarrolladores para compartir modelos de inteligencia artificial y conjuntos de datos.

· Los llamados modelos de frontera son sistemas de IA considerados entre los más avanzados del mundo por su capacidad para resolver tareas complejas y generar contenido de alto nivel.

· En la actualidad, gobiernos y empresas tecnológicas debaten la creación de normas internacionales para regular el desarrollo y las pruebas de inteligencia artificial con capacidades avanzadas.

Temas


Ia

Organizaciones



Especialista en periodismo en tiempo real, pronóstico del clima, tendencias, política nacional y contenido de utilidad.

Con 15 años de experiencia en medios digitales, actualmente es editor breaking en Vanguardia MX. Licenciado en Diseño Gráfico, egresado de la Escuela de Artes Plásticas de la UAdeC. En diseño editorial, ha realizado proyectos de revistas impresas y digitales sobre cultura, arte y educación.

Selección de los editores