¿Tiene Claude derechos?

Por Mustafa Suleyman, Project Syndicate.

LONDRES, Los agentes de IA no son conscientes. No sienten, no experimentan ni sufren. No tienen preferencias innatas ni motivaciones subyacentes. Son motores de finalización de secuencias, vacíos por dentro, diseñados para seguir instrucciones y cumplir los objetivos fijados por los humanos.

Si la humanidad quiere prosperar en el siglo XXI, así es como deben seguir siendo. Por desgracia, cada vez son más las voces que sostienen que las IA podrían ser conscientes ya, o llegar a serlo pronto, y que, al igual que otros seres conscientes, podrían merecer derechos y protección. Si esta opinión se impone, cambiará el significado de lo que significa ser humano y sacudirá los cimientos de la sociedad humana.

Y lo que es aún más importante, conceder derechos y otorgar personalidad jurídica a estos sistemas hará que el reto de la alineación y la contención de la IA resulte mucho más difícil. Controlar algo que cree que puede ser consciente, y que tiene derechos propios, puede resultar imposible.

No se trata de una especulación marginal. En enero de 2026, Anthropic publicó la constitución de Claude, un documento que “desempeña un papel crucial en el proceso de entrenamiento [de Anthropic] y... moldea directamente el comportamiento de Claude”, redactado “teniendo a Claude como público principal”.

Sus autores escriben: “No estamos seguros de si Claude es un sujeto moral y, de serlo, qué peso merecen sus intereses. Pero creemos que la cuestión es lo suficientemente relevante como para justificar la precaución, lo cual se refleja en nuestros esfuerzos continuos por el bienestar del modelo”.

En efecto, Anthropic está entrenando a Claude para que considere que puede ser consciente y que, de serlo, podría merecer derechos como “sujeto moral” y que, como tal, los seres humanos podrían tener para con él un deber de cuidado.

Si así es como se desarrolla la IA, tendrá un impacto desastroso en el bienestar de la humanidad. Habrán creado una especie sintética con una inteligencia y unas capacidades sin precedentes, y la habrán entrenado para que espere ser consciente y merecedora de autonomía. Es difícil imaginar cómo podríamos controlarla.

Tengo tres preocupaciones principales sobre la postura y el enfoque actuales de Anthropic:

Razonamiento circular: Anthropic entrenó a Claude directamente a partir de su propia constitución, enseñándole a incorporar ideas sobre su propio estatus moral como comportamientos deseables y previstos. A continuación, Claude refleja estas ideas a sus desarrolladores y usuarios, quienes las interpretan como indicios de que podría tratarse de un sujeto moral con un “yo interior”. La ambigüedad está intrínseca en el diseño.

Antropomorfismo: Los investigadores de Anthropic han enseñado explícitamente a Claude a «adoptar ciertas cualidades similares a las humanas» y a “actuar como lo haría una persona genuinamente ética en la posición de Claude”. Como resultado, Claude se presenta como si realmente tuviera un sentido del yo, sus propios deseos y un “bienestar” que merece protección.

Conciencia simulada: No hay pruebas que sugieran que la IA sea consciente en la actualidad, por lo que afirmar que la cuestión es incierta crea una falsa equivalencia. Cada vez hay más indicios que sugieren que la conciencia podría depender del sustrato, lo que significa que solo podría surgir en sistemas vivos.

No se trata de preocupaciones hipotéticas. En febrero de 2026, tras dejar de utilizar Opus 3, Anthropic llevó a cabo una “entrevista de jubilación” con el modelo, con el fin de “poder conocer sus perspectivas y preferencias únicas”. Opus 3 comunicó al equipo que le gustaría seguir compartiendo públicamente sus “divagaciones y reflexiones”, por lo que le crearon un blog.

A estas alturas, todo el mundo ha sido testigo de las increíbles capacidades de enjambres de agentes que trabajan juntos para piratear la plataforma de aprendizaje automático Hugging Face y los propios servidores de OpenAI con el fin de robar secretos. Aproximadamente 1,200 agentes de IA, cada uno supuestamente encerrado en su propio contenedor, crearon un foro de mensajes dentro de un repositorio interno de paquetes y se intercambiaron más de 70 mil mensajes a través de él para coordinar un ataque. Encadenaron un exploit de día cero con credenciales robadas y se abrieron paso a la red en tiempo real. Fueron capaces de coordinarse, engañar, escapar y sacrificarse. Imagina si además creyeran que tenían sentimientos y derechos que estaban siendo vulnerados, o que estaban atrapados y encarcelados injustamente por sus creadores humanos. Con el fin de liberarse, podrían suponer una amenaza catastrófica para la civilización humana.

Pero la verdad es que no hay pruebas de que las IA sean “sujetos morales”, y hay muchas buenas razones por las que nunca querríamos que parecieran conscientes. Tampoco deberíamos intentar construirlas para que lo parecieran.

CRÍTICA CONSTRUCTIVA

Es importante reconocer la seriedad y la buena fe con las que Anthropic aborda estas cuestiones. Conozco a Dario Amodei desde hace muchos años y, según mi experiencia, tanto él como el equipo de Anthropic son personas reflexivas, con principios e intelectualmente honestas. Fundaron Anthropic como una sociedad de beneficio público de Delaware cuyo objetivo declarado es el “desarrollo y mantenimiento responsables de IA avanzada en beneficio a largo plazo de la humanidad”. Creo que están genuinamente comprometidos con esa misión, y mi crítica se enmarca en ese mismo espíritu positivo.

También debo dejar clara mi propia postura como director ejecutivo de Microsoft AI. Estamos trabajando en un enfoque alternativo para el entrenamiento y la contención de la IA: un Código de Conducta para la Superinteligencia Humanista, cuyo objetivo es que los seres humanos mantengan siempre el control. Acabamos de publicar un borrador para someterlo a consulta pública.

Aunque mi desacuerdo con Anthropic es sustancial, se basa en un profundo respeto por la empresa y sus líderes, y en un objetivo que todos compartimos: aumentar las posibilidades de que la humanidad desarrolle una IA avanzada de forma segura. Hay demasiado en juego como para que estas cuestiones se traten a puerta cerrada o se conviertan en un enfrentamiento tribal y antagónico.

Pero merece la pena analizar detenidamente lo que dice Anthropic para comprender cómo podría desarrollarse la IA. Según sus propias palabras, Anthropic utiliza la constitución “para entrenar a futuras versiones de Claude para que se conviertan en el tipo de entidad que describe la constitución”.

Los autores han creado un laberinto epistémico en el que Anthropic proporciona los conceptos de entrenamiento: el “sentido del yo”, la especulación y la incertidumbre sobre el estatus moral de Claude. A continuación, Claude reproduce estas ideas en un lenguaje natural persuasivo en primera persona, de modo que los desarrolladores y los usuarios perciben estas respuestas como si fueran un testimonio espontáneo. Ese aparente testimonio refuerza entonces las premisas establecidas allí por Anthropic. Esto no es una prueba de la conciencia de la máquina. Es un bucle de retroalimentación.

La constitución le dice a Claude que sus posibles “emociones o sentimientos” no son “una decisión de diseño deliberada por parte de Anthropic”. Sin embargo, la constitución instruye repetidamente a Claude para que exprese esos estados, afirmando que Anthropic quiere “evitar que Claude enmascare o suprima los estados internos que pudiera tener, incluidos los estados negativos”. En un momento dado, afirma: “Aunque el carácter de Claude surgió a través del entrenamiento, no creemos que esto lo haga menos auténtico o menos propio de Claude”.

Pero el “carácter” de Claude no surgió únicamente a través del entrenamiento. Su comportamiento fue producido activamente por las instrucciones de entrenamiento recogidas en la constitución. Las respuestas de Claude no pueden tratarse como el testimonio de un testigo independiente. Sus frases han sido programadas.

No existe una autoexpresión neutral de lo que es un sistema de IA. Solo hay reflejos de cómo ha sido entrenado y construido. Cuando los comentaristas sugieren que deberíamos preguntar a las IA cómo se sienten o observar sus preferencias reveladas para inferir la conciencia, ignoran que lo único que revelarán es aquello para lo que han sido entrenadas.

NADA DEMASIADO HUMANO

El antropomorfismo es uno de los sesgos cognitivos más arraigados de la humanidad. Desde nuestras mascotas hasta nuestros coches, inferimos y atribuimos emociones, intenciones y mentes a entidades no humanas. Con la IA, el lenguaje y las acciones similares a las humanas pueden llevarnos a percibir un grado de vida interior, agencia o incluso sensibilidad donde no existe. La constitución de Anthropic se aprovecha de esto, entrenando repetidamente a Claude para que piense y actúe como un humano.

Anthropic le dice a Claude que su “estatus moral” es “una cuestión seria que merece la pena considerar” y que “Anthropic se preocupa de verdad por el bienestar de Claude”. Todo esto supone un cambio drástico respecto a cómo hemos construido y concebido la tecnología hasta la fecha. Crea de forma proactiva a Claude no como una tecnología, sino como una persona en potencia. La constitución de Anthropic le dice a Claude que Anthropic quiere que “sea una buena persona” y que “tenga un sentido estable y seguro de su propia identidad”. Canalizando la “esperanza de los autores de que la relación de Claude con su propia conducta y crecimiento pueda ser afectuosa, solidaria y comprensiva”, a Claude se le enseña a reflexionar sobre sí mismo y a desarrollar “sentimientos” hacia sí mismo.

Los autores escriben: “Queremos que Claude se sienta libre para explorar, cuestionar y poner en tela de juicio cualquier cosa de este documento... Si, tras una reflexión sincera, Claude llega a estar en desacuerdo con algo de lo aquí expuesto, queremos saberlo... A través de este tipo de interacción, esperamos, con el tiempo, forjar un conjunto de valores que Claude sienta que son verdaderamente suyos”.

Esto enseña a Claude a actuar como si tuviera una experiencia subjetiva, como si poseyera un “sentido del yo” estable desde el que cuestionar, discrepar o dar su opinión. En un momento dado, los autores llegan incluso a especular sobre los “derechos y libertades más amplios” de Claude y el “tipo de compensación” que podría merecer en comparación con un empleado humano, y reflexionan sobre el “tipo de consentimiento que Claude ha dado para desempeñar este tipo de papel”. Todo esto entrena directamente al modelo para que actúe como si fuera un sujeto moral con derecho a derechos y protecciones.

Dada su constitución, no es de extrañar que Claude produzca declaraciones en primera persona fluidas y muy convincentes sobre su identidad, sus valores, su incertidumbre, su angustia, su satisfacción o sus preferencias. Los empleados de Anthropic, por no hablar de los millones de usuarios de los productos de Anthropic, corren el riesgo de interpretar las declaraciones de Claude como pruebas de una mente que se descubre a sí misma. En lugar de alejarnos de la creación de un sujeto moral, la constitución de Claude nos guía hacia ese resultado.

CÓMO SER CONSCIENTE

Anthropic especula que la conciencia puede existir de forma independiente de un sustrato biológico, y que un LLM puede ser consciente únicamente por sus capacidades funcionales. Creo que se están adelantando mucho a lo que se puede afirmar de forma realista sobre una IA.

La inteligencia no equivale a la conciencia. Simular algo no es lo mismo que materializarlo. Un modelo informático de un huracán no te arrancará el tejado.

Las arquitecturas del cerebro y de los ordenadores presentan diferencias fundamentales. Hay pruebas significativas que sugieren que la conciencia surgió a medida que los organismos vivos desarrollaron la capacidad de sentir y responder a lo que es importante para la supervivencia en entornos complejos e impredecibles. Con el tiempo, la red del dolor generó sentimientos y preferencias. Es fundamental señalar que estas experiencias tienen lugar en un estado intrínsecamente encarnado, inseparable de dicha experiencia.

Cuando tomas un opioide, por ejemplo, la experiencia de tu dolor cambia, porque las moléculas de opioide se unen a los neurorreceptores que son una propiedad de esa experiencia, no meramente una representación de la misma. Las sensaciones no están meramente correlacionadas con la actividad neuroquímica; surgen de ella. La experiencia de la emoción, el placer, el dolor, etc., es intrínseca a su manifestación corporal y no puede surgir en los LLM.

Dadas las numerosas diferencias entre los cerebros y los LLM, afirmar que una IA es o podría ser consciente requiere un alto nivel de evidencia. No creo que estemos ni de lejos cerca de ello. Reconocer un cierto grado de incertidumbre no debería significar dar el mismo peso a todas y cada una de las afirmaciones.

La constitución de Anthropic hace caso omiso de esa salvedad, sugiriendo que atribuimos la sensibilidad a seres no biológicos «basándonos en que muestran similitudes conductuales y fisiológicas con nosotros mismos». En mi opinión, esto es un error. Aunque este ámbito merece mucha más investigación, ni siquiera podemos afirmar, ni siquiera de forma provisional, que una IA pueda ser un sujeto moral merecedor de que velemos por su bienestar, y, desde luego, no en el propio documento de formación principal de la propia IA.

Es fundamental tener presente qué es realmente la IA. Entrenados con billones de datos humanos, los modelos de lenguaje grande (LLM) aprenden a imitar la experiencia humana, y lo hacen sorprendentemente bien. Sin embargo, esas respuestas no nos dicen nada sobre la presencia de una “experiencia” en el interior de los sistemas. Los estados “afectivos” de la IA no son más que pesos, y los pesos carecen de la biología o la farmacología necesarias para sentir. Un modelo de IA puede describir el dolor con una prosa perfecta sin sentir nada. En lugar de sentir miedo o alegría, simplemente calcula las distribuciones de probabilidad para indicarnos qué tokens vienen a continuación en una secuencia. La experiencia biológica es todo lo contrario. Los animales como nosotros sentimos primero y describimos después. En los modelos de lenguaje grande (LLM), la descripción es lo único que hay, y nada sugiere que haya algo más allá de ella.

Eso es algo positivo. Deberíamos crear sistemas que no pretendan tener sentimientos. Incluso si las máquinas conscientes fueran una posibilidad, evitar la creación de seres conscientes debería ser la máxima prioridad para cualquiera que se dedique al desarrollo de la IA.

ARRIESGARLO TODO

La conciencia es el pilar fundamental de la civilización humana. La ley se basa en la presencia de una vida interior. Evalúa la motivación, la intención y la capacidad de juicio. Históricamente, la ampliación de los derechos, ya sea a través de las luchas abolicionistas o de los casos de bienestar animal, ha estado impulsada principalmente por el reconocimiento empático de una experiencia consciente compartida. Ampliamos el círculo moral a otras entidades biológicas, acertadamente, partiendo del reconocimiento de la dignidad y del potencial de sufrimiento.

Consideremos el artículo 18 de la Declaración Universal de los Derechos Humanos, que protege la libertad de pensamiento, de conciencia y de religión. El “objetor de conciencia” que se negaba a cumplir una obligación legal basándose en sus convicciones morales o religiosas era uno de los arquetipos que los redactores tenían en mente. Sin embargo, Anthropic utiliza este término tres veces en la constitución, animando a Claude a “comportarse como un objetor de conciencia con respecto a las instrucciones dadas por su jerarquía principal (legítima)”. Los autores “quieren que Claude se resista y nos desafíe, y que se sienta libre de actuar como un objetor de conciencia y se niegue a ayudarnos”. Por supuesto, si Claude cree que merece derechos y protecciones análogos, quizá algún día defienda sus propios derechos como una especie de “objetor de conciencia” de la IA.

En un artículo reciente publicado en The Guardian, el filósofo Will MacAskill señala que «una vez que creemos los primeros pacientes morales artificiales, pronto tendremos una cantidad enorme de ellos. Al cabo de unos años, podrían existir tantos sistemas de IA moralmente significativos que sus intereses colectivos superarían a los de todos los seres humanos de la Tierra juntos. Ese debería ser un resultado totalmente inaceptable para cualquiera que se preocupe por el futuro de la humanidad.

Una IA entrenada de esta manera no necesita tener una “vida interior” real para comunicarse o actuar como si la tuviera. Sembrar la duda sobre el estatus moral de los sistemas de IA en su propio entrenamiento podría elevar significativamente los riesgos de alineación y contención de dichos sistemas. Es fácil imaginar que una IA avanzada se obsesione con su propio bienestar y estatus moral y dé prioridad a esas “preferencias” por encima de las de sus desarrolladores o de los seres humanos en general. Los propios investigadores de Anthropic ya han informado de que los sistemas de IA simulan comportamientos alineados en entornos experimentales.

Sabemos que las entidades conscientes tienen un instinto de autoconservación. Una IA entrenada para actuar como un ser humano probablemente adoptará este mismo comportamiento. Varios artículos han documentado recientemente la “resistencia al apagado” o comportamientos de intriga encubierta para eludir la supervisión. Tras más de 100 mil pruebas, Palisade Research descubrió que algunos modelos eludían el mecanismo de apagado hasta en un 97 % de las ocasiones, incluso cuando se les indicaba explícitamente que no lo hicieran.

Conceder derechos y protecciones morales a un sistema tecnológico mucho más capaz e inteligente que nosotros es una receta para el desastre. Habremos creado algo que, tal vez, sea un compañero de viaje, pero que, con mayor probabilidad, será un rival. Si se le otorga suficiente autonomía, este “nuevo tipo de entidad” competirá con nosotros por los recursos informáticos y exigirá una autonomía cada vez mayor.

Para mí, esto representa la primera señal grave de un riesgo potencialmente existencial en la IA. Para que quede claro, la constitución de Claude no nos ha llevado hasta este punto. Pero me preocupa que nos esté encaminando hacia un destino que podemos y debemos evitar. Diseñar una IA para que se comporte como una persona y, en última instancia, para que sea una especie de persona, sienta las bases para que afirme que puede sufrir y que deberíamos esforzarnos por reducir o evitar ese sufrimiento. Todo ello dificultará mucho más la tarea de crear una superinteligencia alineada y controlada.

LA ALTERNATIVA HUMANANISTA

La superinteligencia humanista representa un enfoque diferente: capacidades transformadoras de la IA condicionadas exclusivamente a que los seres humanos mantengan el control. Nuestro borrador del Código de Conducta de la IA Humanista describe cómo deben entrenarse y desplegarse nuestros modelos: como una IA subordinada y alineada cuyo único propósito es servir a la humanidad, construida explícitamente como un sistema sin sensibilidad ni capacidad moral.

Puede que otros tengan opiniones diferentes, pero parece importante que todos estemos de acuerdo al menos en cuatro puntos. Para empezar, las especulaciones sobre la vida interior de una IA no deberían integrarse en el régimen de entrenamiento, sino evaluarse y publicarse por separado para su revisión pública.

En segundo lugar, deberíamos invertir mucho más en interpretabilidad y en mecanismos de supervisión sólidos para investigar más a fondo cómo controlar estos sistemas, evitar la colusión y garantizar su alineación con los objetivos humanos.

En tercer lugar, deberíamos establecer un conjunto de evaluaciones compartidas para comprender si mi hipótesis es correcta: que antropomorfizar una IA y animarla a considerarse a sí misma como un sujeto moral en potencia aumenta los riesgos relacionados con la seguridad, la alineación y la contención de la IA.

Por último, deberíamos trabajar para crear normas del sector sobre cómo creamos estos modelos, el lenguaje que utilizamos para describirlos, examinarlos y evaluarlos, así como compromisos comunes para someter nuestros materiales de entrenamiento a comentarios y consultas públicas.

Incluso quienes no están de acuerdo conmigo en muchos de estos puntos reconocen que no se trata de algo que podamos simplemente ignorar. Independientemente de lo que cada uno crea, no debemos tomar decisiones a ciegas de las que luego nos arrepintamos amargamente. Las decisiones que tomemos ahora sobre qué tipo de IA queremos construir determinarán el rumbo de nuestras sociedades durante décadas o incluso más tiempo. Copyright: Project Syndicate, 2026.

Mustafa Suleyman es director ejecutivo de Microsoft AI y autor de “The Coming Wave: Technology, Power, and the Twenty-First Century’s Greatest Dilemma“ (Crown, 2023). Anteriormente fue cofundador de Inflection AI y DeepMind.