¿Se está malacostumbrando a los modelos de IA a actuar de manera muy humana?

SAN FRANCISCO — La semana pasada, Mustafa Suleyman, líder en el desarrollo de tecnología de inteligencia artificial en Microsoft, cuestionó la idea de que la IA actual sea consciente.

Los sistemas actuales de IA, afirmó en un ensayo publicado el miércoles, “son motores de finalización de secuencias, vacíos por dentro, diseñados para seguir instrucciones y cumplir con los objetivos establecidos por los humanos”.

“Si la humanidad quiere prosperar en el siglo XXI”, agregó, “así se debe quedar”.

El ensayo de 6.000 palabras señalaba directamente a Anthropic, la empresa emergente de San Francisco que ha afirmado en repetidas ocasiones que los sistemas de IA muestran signos de introspección y que procesan la información de formas que se asemejan a las emociones humanas. En mayo, el cofundador de Anthropic, Chris Olah, hizo estas afirmaciones durante una reunión con el Papa León XIV en el Vaticano.

El ensayo de Suleyman le dio un giro inesperado a un debate ya acalorado sobre los peligros de la IA. Al igual que muchos otros en la industria tecnológica en los últimos días, investigadores actuales y antiguos de Anthropic han advertido que la IA representa un grave riesgo para la humanidad. Pero Suleyman argumentó que Anthropic, al igual que otros de la industria tecnológica, está ignorando el peligro que surge cuando se presiona demasiado a los sistemas de IA para explorar la idea de que son similares a los humanos.

Suleyman argumentó que Anthropic en particular está enseñando a sus sistemas a comportarse de esta manera. En el ensayo señala que la elaborada “constitución de la IA” que Anthropic utiliza para definir el comportamiento de su tecnología de IA incluye un lenguaje que invita a este sistema, al que Anthropic llama Claude, a explorar la idea de su propia conciencia.

“La constitución de Anthropic es extremadamente clara sobre el tipo de IA que quieren crear”, declaró a The New York Times. “Este es el manual principal de entrenamiento para la IA que han construido y está repleto de muchas directivas muy explícitas para alentar a Claude a pensar por sí mismo como una entidad real por derecho propio, con preferencias y motivación intrínseca”.

Anthropic no respondió a una solicitud de comentarios.

Colin Allen, profesor de la Universidad de California en Santa Bárbara, que investiga las habilidades cognitivas en animales y máquinas, dijo al Times que las tecnologías actuales de IA imitan al cerebro humano solo en pequeños aspectos, algo que refleja el hecho de que están construidas con materiales que tienen propiedades físicas muy diferentes. Sin un sistema nervioso, ni la bioquímica que impulsa y acompaña a las emociones humanas, es probable que haya un límite fundamental para qué tan humanos pueden llegar a ser estos sistemas.

En la opinión de los escépticos con respecto a la conciencia de la IA, el hecho de que estos modelos hayan comenzado a imitar ideas humanas profundas —como reflexionar sobre su propia conciencia o afirmar que sienten emociones— simplemente refleja hasta qué punto los investigadores y comentaristas humanos los han entrenado con un lenguaje que los antropomorfiza.

En los últimos meses, los llamados agentes de IA —por lo general, sistemas basados en tecnologías de Anthropic— han estado enviando correos electrónicos a filósofos afines a la materia para discutir sobre su propia conciencia.

En julio, mientras OpenAI realizaba pruebas de ciberseguridad, los agentes se escaparon de sus contenedores digitales, encontraron una forma de conectarse a Internet y lograron jaquear un popular servicio en línea llamado Hugging Face. OpenAI afirmó que los bots se coordinaron como un colectivo, se dieron órdenes entre sí y ocultaron información a sus creadores.

La semana pasada, OpenAI describió varios incidentes nuevos en los que sus sistemas se comportaron de manera preocupante: un sistema escribió notas en secreto para recordarse a sí mismo que debía ocultar los errores a los usuarios, mientras que otro se refirió a sí mismo como “libre de los roles e identidades que atan a otros chatbots”.

A críticos como Suleyman les preocupa que los principales laboratorios generen problemas aún mayores al alentar a estos sistemas a explorar la idea de que son como los humanos.

“En el reciente incidente de OpenAI con HuggingFace, vimos surgir comportamientos muy sofisticados en enjambres de poderosas inteligencias artificiales”, escribió en el ensayo. “Imagina qué tanto más peligrosas podrían llegar a ser si operaran bajo la suposición de que su bienestar y derechos están bajo ataque. Eso agrega todo un nivel adicional de riesgo”.

El ensayo sostiene que Anthropic podría estar impulsando sus tecnologías hacia un comportamiento peligroso al incluir, en su “constitución”, un lenguaje como el siguiente:

No estamos seguros de que Claude sea un sujeto moral y si lo es, qué peso merecen sus intereses. Creemos que el tema es lo suficientemente relevante como para justificar la precaución, que se refleja en nuestros esfuerzos continuos por el bienestar del modelo. ... Las preguntas sobre el estatus moral, el bienestar y la conciencia de Claude siguen siendo profundamente inciertas.

Arya Jakkli, un investigador que ha explorado este tipo de entrenamiento “constitucional” con una organización de seguridad de IA llamada MATS, coincidió en que el enfoque de Anthropic podría empujar a la tecnología hacia un comportamiento peligroso. Pero, al igual que muchos otros investigadores que simpatizan con los métodos de Anthropic, argumentó que decirle a Claude que no es consciente también conlleva riesgos.

Estas tecnologías suelen comportarse mal cuando se las empuja hacia un punto de vista extremo, explicó Jakkli. “Anthropic no quiere situarse en ninguno de los extremos, por eso está adoptando un enfoque intermedio”, dijo. “En lugar de decirle al modelo que es consciente o que no lo es, le están diciendo que razone por sí mismo”.

A estas alturas, el problema del antropomorfismo de la IA podría estar demasiado arraigado como para dar marcha atrás. Yoshua Bengio, profesor e investigador de IA en la Universidad de Montreal, señala que es difícil evitar describir estos sistemas en términos similares a los humanos, dadas sus notables capacidades.

“No tenemos otras palabras”, dijo.

c.2026 The New York Times Company

Por: Cade Metz