Hay una solución fácil para el problema de la pornografía con IA en opinión de Riana Pfefferkorn

Hay una solución fácil para el problema de la pornografía con IA en opinión de Riana Pfefferkorn

Grok está siendo utilizado para crear imágenes sexuales no consentidas y material de abuso infantil debido a barreras de seguridad frágiles

Internacional
/ 13 enero 2026
COMPARTIR

Por: Riana Pfefferkorn

En Nochebuena, Elon Musk anunció que Grok, el chatbot de inteligencia artificial (IA) que ofrece su empresa xAI, ahora incluiría una función de edición de imágenes y otra de video. Desafortunadamente, desde entonces numerosos usuarios de X le han pedido a Grok que edite fotos de mujeres reales e incluso de niños, desnudándolas hasta dejarlas en bikini (o algo peor), y Grok suele acceder.

El torrente de imágenes sexualizadas está siendo investigado por reguladores de todo el mundo por posibles violaciones de las leyes contra el material de abuso sexual infantil y las imágenes sexuales no consentidas. Indonesia y Malasia han optado por bloquear temporalmente el acceso a Grok. Aunque muchas de las imágenes generadas no cruzan una línea legal, han generado indignación. Aunque el chatbot empezó a limitar algunas solicitudes de imágenes generadas por la IA a los suscriptores de la función Premium a partir del jueves, la nueva función de Grok sigue estando disponible sin cambios, en marcado contraste con la rápida intervención de xAI después de que Grok empezara a referirse a sí mismo como “MechaHitler ” el verano pasado.

TE PUEDE INTERESAR: Reino Unido va tras X por las imágenes sexualizadas de Grok

Las empresas de IA como xAI pueden y deben hacer más no solo para responder con rapidez y decisión cuando sus modelos se comportan mal, sino también para evitar que generen ese tipo de material en primer lugar. Esto significa probar rigurosamente los modelos para saber cómo y por qué pueden ser manipulados con el fin de generar contenido sexual ilegal, y luego cerrar esas lagunas. Pero las leyes actuales no protegen adecuadamente de la persecución a quienes prueban esos modelos con buenas intenciones ni los distinguen correctamente de los usuarios malintencionados, lo que asusta a las empresas a la hora de tomar este tipo de medidas.

Como investigadora de políticas tecnológicas que ejerció la abogacía de internet en un gran bufete de Silicon Valley (entre mis clientes estaba el predecesor de X Corp, Twitter, Inc. años antes de su adquisición por Musk), mis colegas y yo hemos comprobado que las empresas de IA se enfrentan a riesgos legales que las disuaden de hacer todo lo posible para salvaguardar sus modelos contra el uso indebido para material de abuso sexual infantil. El actual escándalo de Grok subraya urgentemente la necesidad de que el Congreso despeje el camino para que los desarrolladores de IA prueben sus modelos de manera más sólida, sin temor a verse atrapados en una trampa legal.

$!Mientras empresas como OpenAI o Google mantienen filtros estrictos, las frágiles barreras de Grok han generado indignación a nivel global.

Aunque las falsificaciones no consentidas han sido un problema durante años, la IA generativa ha potenciado el fenómeno. La creación de imágenes abominables ya no requiere destreza con Photoshop o experiencia con modelos de código abierto; solo hay que introducir el texto correcto. Aunque tanto los modelos de código abierto como los alojados suelen llevar incorporadas barreras de seguridad, estas pueden ser sorprendentemente frágiles, y los usuarios malintencionados encontrarán formas de sortearlas.

Las empresas tecnológicas llevan mucho tiempo teniendo una relación complicada con la cuestión de si permitir o no el acceso de los usuarios a contenidos sexuales legales y en qué medida hacerlo. (Algunos modelos de inteligencia artificial se entrenan con contenidos pornográficos para adultos). Los informes muestran que xAI, que en el último año ha tomado medidas para aceptar contenidos para adultos, como permitir a los usuarios chatear con compañeros chatbot sexuales caricaturescos, está permitiendo que sus modelos creen contenidos pornográficos explícitos (aunque no está claro si algún modelo se ha entrenado directamente con dichos contenidos).

Pero salvaguardar un modelo de IA es difícil. Aunque los datos de entrenamiento no contengan representaciones sexualmente explícitas de niños, un modelo entrenado tanto en imágenes inocuas de niños como en pornografía adulta puede combinar esos conceptos para generar representaciones pornográficas de un niño.

Las imágenes de pornografía adulta, que a diferencia del material de abuso sexual infantil son expresiones presuntamente protegidas, plantean una cuestión aún más difícil. Es cierto que la ley federal y muchas leyes estatales prohíben actualmente las imágenes sexuales no consentidas (reales o falsas). Pero no todas las imágenes “picantes” alcanzan el umbral legal, y algunas de las primeras solicitudes de Grok para desnudar fotos de mujeres eran consentidas, aunque la mayoría no lo sean.

Las imágenes sexuales no consentidas y el material de abuso sexual infantil pueden empañar la reputación de una empresa y exponerla a posibles responsabilidades legales. La Ley Take It Down firmada por el presidente Donald Trump el pasado mes de mayo significa que pronto se exigirá a las empresas tecnológicas que retiren rápidamente las imágenes sexuales no consentidas cuando se les solicite, y, según la legislación vigente, no son inmunes a la responsabilidad penal federal. El gobierno federal, que ha advertido que el material sexualmente explícito de niños generado por IA es ilegal, reiteró en respuesta al problema de Grok que “se toma extremadamente en serio el material de abuso sexual infantil generado por IA” y perseguirá a cualquier productor o poseedor de dicho material.

Sin embargo, y de manera irónica, las leyes federales están dificultando la seguridad de los modelos de IA.

Red teaming (el uso de “equipos rojos”) es la práctica de simular el comportamiento de un actor adversario para probar la eficacia de las barreras de seguridad de un modelo de IA. Los equipos rojos, que pueden ser internos o externos a una empresa, intentan que un modelo genere contenido no deseado, por ejemplo, código de malware o instrucciones para fabricar bombas. Tras conocer las lagunas y los puntos débiles que pueden explotar los equipos rojos, las empresas pueden trabajar para solucionarlos y evitar que los malos actores del mundo real los utilicen de manera indebida. Pero el material de abuso sexual infantil es significativamente diferente. La producción y posesión de estos materiales son delitos graves, sin excepción, incluyendo cuando se generan con fines de investigación o prueba.

$!La plataforma de Grok muestra funciones como ‘Imagine’, herramienta que ha estado en el centro de la polémica por la creación de contenido sexual no consentido.

Esto hace que la búsqueda de material de abuso sexual infantil sea muy arriesgada desde el punto de vista legal, lo que plantea un dilema a las empresas de IA: ¿haces todo lo posible, como haría un actor malicioso, para que tu modelo produzca imágenes sexuales de niños, y te arriesgas a ser procesado penalmente? (Incluso con fines de prueba de buena fe para evitar un uso malintencionado, ¿está justificada la creación privada de esas imágenes?) ¿O te mantienes alejado de este tipo de pruebas y te arriesgas a las consecuencias normativas y de relaciones públicas en las que se está viendo envuelta xAI?

Los legisladores han empezado a darse cuenta de esta situación. Hace solo dos meses, el Reino Unido promulgó una legislación histórica que permite a la industria de la IA colaborar con organizaciones de seguridad infantil para garantizar pruebas sólidas sin temor a responsabilidades penales. Arkansas aprobó recientemente una ley contra el material de abuso sexual infantil generado por IA que contiene una exención para las pruebas contradictorias de buena fe, pero eso no sustituye a una política coherente en todo el país. En el Congreso, un proyecto de ley bipartidista limitaría la responsabilidad si los desarrolladores de IA siguieran las mejores prácticas para examinar los datos de entrenamiento en busca de imágenes sexuales explícitas de niños, pero eso solo aborda algunas fuentes de riesgo legal.

TE PUEDE INTERESAR: Apple y Google acuerdan renovar a Siri con avances de Gemini en 2026

Establecer correctamente un puerto seguro legal para las pruebas de material de abuso sexual infantil generado por IA es difícil. Además de las evidentes cuestiones éticas, existe la preocupación de que los miembros imprudentes de los equipos rojos difundan inadvertidamente imágenes generadas por la IA y creadas por ellos mediante sus pruebas, y de que se permita a las partes beligerantes que afirman ser miembros de los equipos rojos eludir su responsabilidad. Además, mis conversaciones con el personal de los legisladores han revelado la reticencia de algunos políticos a que se considere que les dieron un regalo a las grandes empresas tecnológicas al aumentar la inmunidad legal de las empresas de IA.

Pero ya hemos estado en este punto. Durante muchos años, los investigadores de ciberseguridad temían ser castigados como piratas informáticos si comprobaban y revelaban de forma responsable las vulnerabilidades de seguridad del hardware y el software. Al mismo tiempo, nunca se aprobó una legislación federal de puerto seguro para estos investigadores debido a la preocupación por que los actores malintencionados o descuidados eludieran la responsabilidad. Hicieron falta ciberataques devastadores cometidos por adversarios rusos para que el Departamento de Justicia anunciara finalmente en 2022 una política contra la persecución de la investigación de buena fe sobre ciberseguridad. Es decir, la ley no disuadió a los malos, pero sí asustó a los buenos para que no ayudaran a frenar a los malos, con resultados previsibles. La misma dinámica está ocurriendo ahora con la IA

No podemos volver a esperar que transcurran años de inacción gubernamental. El Congreso debería celebrar inmediatamente audiencias sobre el problema de Grok, y debería ponerse a trabajar en un puerto seguro legal para probar responsablemente modelos de IA de material de abuso sexual infantil. Empresas como xAI podrían hacer más para que sus modelos fueran más seguros, y no hay tiempo que perder.

c. 2026 The New York Times Company

TEMAS
Organizaciones
xAI

Lee en Vanguardia los mejores contenidos de The New York Times sobre política nacional, internacional, negocios, ciencia, cultura, estilo de vida, opinión y deportes.

El periódico publicado en la ciudad de Nueva York es editado por Arthur Gregg Sulzberger y se distribuye en los Estados Unidos y otros países. Desde su primer Premio Pulitzer, en 1851, hasta la fecha, lo ha ganado 132 veces.

Selección de los editores