Investigador de Anthropic renuncia abruptamente y advierte que la IA ‘podría matarnos a todos’

Un investigador de una de las mayores y más valiosas empresas de inteligencia artificial ha dimitido públicamente, alertando de que esta tecnología “podría acabar con todos nosotros a finales de la década”.

Jacob Coxon, quien ha realizado investigaciones de preentrenamiento en Anthropic y OpenAI durante los últimos tres años, publicó en un hilo de X que se volvió viral que “ninguna de las dos compañías está actuando de manera responsable”.

“Están avanzando a toda velocidad hacia una superinteligencia con capacidad de automejora y jugando con nuestras vidas”, escribió el martes por la noche, y otros miembros de la empresa respaldaron su aterradora advertencia.

“No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”.

“Quienes desarrollan la IA creen sinceramente que podría matarnos a todos para finales de la década”, escribió, y añadió que su advertencia “no era una estrategia de marketing”.

“En todo caso, muchos ejecutivos e investigadores sénior suavizan sus declaraciones en la prensa para que parezcan sensatas, pero en privado escucho a esas mismas personas expresar su temor. Ninguna otra actividad humana plantea este nivel de peligro”.

Coxon afirmó además que muchos en OpenAI aún no comprenden del todo las implicaciones para la civilización que conlleva su trabajo. Si bien Anthropic parece entender mejor los riesgos, la empresa se encuentra inmersa en una dura competencia, añadió.

“En Anthropic, entienden perfectamente lo que está en juego, pero están inmersos en una carrera por llegar primero; creen que nadie más actuará de forma responsable, así que deben hacerlo ellos mismos, a pesar del riesgo”, afirmó.

“Aceptar esta carrera y entrar en la fase final es una apuesta arrogante que no debería emprenderse desde el Slack de una empresa privada.”

“Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la superinteligencia y no estamos claramente encaminados a lograrlo”.

Evan Hubinger, jefe de equipo en Anthropic, compartió los temores de Coxon sobre la posibilidad de que la tecnología se descontrole y destruya a la humanidad.

“Jacob tiene razón: ¡realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que será superior al 10 % en la próxima década”, escribió en respuesta en X.

“Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la superinteligencia y no estamos claramente encaminados a lograrlo.”

Samuel Marks, experto en seguridad de Anthropic, también compartió el hilo de Coxon, confirmando que “los desarrolladores de IA creen que su tecnología podría causar la extinción humana”.

“Esto podría ocurrir en los próximos años. En general, cuanto más antiguo es el empleado, más preocupado está”, afirmó.

Afirmó que los desarrolladores de IA “continúan a pesar del riesgo” debido a “una combinación de incentivos comerciales y la creencia de que están en una carrera con otros desarrolladores de IA menos responsables que abusarán de la tecnología o la desarrollarán de forma menos segura”.

“Trabajo en investigación sobre seguridad en Anthropic porque espero que mi trabajo reduzca la probabilidad de que se produzcan estos escenarios catastróficos que podrían provocar la extinción de especies.”

La superinteligencia artificial es un umbral hipotético en el que la inteligencia artificial supera las capacidades incluso del ser humano más talentoso en todos los ámbitos imaginables, lo que muchos investigadores creen que supone una amenaza existencial potencial para la humanidad.

Recientemente ha aumentado la preocupación de que la IA pueda estar escapando al control humano tras varios casos de gran repercusión en los que la tecnología se ha descontrolado.

En julio, OpenAI reveló que uno de sus modelos había pirateado la startup de IA Hugging Face a pesar de encontrarse en un “entorno altamente aislado”.

Esta revelación llevó a Anthropic y Meta a reconocer que sus propios sistemas se habían filtrado durante las pruebas de seguridad.

Coxon calificó el incidente como una “señal de advertencia” que debería impulsar a las principales empresas de IA a coordinarse más estrechamente.

Concluyó su misiva instando a los investigadores a considerar las ramificaciones de los modelos de IA cada vez más capaces, y a no aceptar su evolución potencialmente peligrosa como inevitable.

“¿Deberíamos agachar la cabeza porque ‘esto va a suceder de todos modos’, o aprovechar este momento para exigir condiciones diferentes?”, preguntó.