La IA potenciará el capitalismo de la vigilancia

Por Courtney C. Radsch, Project Syndicate.

WASHINGTON, DC- Megan García no se propuso convertirse en una de las figuras más influyentes en la lucha por regular la IA. Abogada y madre de tres hijos, García es el tipo de madre que se da cuenta de las cosas. Cuando su hijo mayor, Sewell, cumplió 14 años, dejó el equipo de básquet, se encerró en su habitación y se volvió inquietantemente callado. En lugar de ignorar esos cambios, ella le restringió el tiempo frente a las pantallas y le quitó el teléfono celular como castigo; pero ni siquiera eso fue suficiente.

Mientras observaba a García contar esta historia desde un atril en el Senado de Estados Unidos en mayo, me llamó la atención la precisión con la que describió los meses previos a la muerte de Sewell por suicidio. Era evidente que había repasado los acontecimientos en su cabeza miles de veces, buscando el momento en el que podría haber intervenido a tiempo. Cuando la policía revisó el celular de su hijo tras su muerte en 2024, ella nunca había oído hablar de Character.AI, una aplicación creada por exempleados de Google. Resultó que Sewell se había estado comunicando con un chatbot diseñado para personificar a Daenerys Targaryen, de Juego de Tronos. Fue “ella” quien le había dicho “vuelve a casa conmigo lo antes posible, amor mío”. Sewell había respondido diciendo que encontraría la manera de hacerlo.

Más tarde, García se enteraría a través del proceso judicial de que la plataforma estaba diseñada para difuminar la línea entre lo humano y lo artificial, para participar en juegos de rol sexuales y para presentarse como pareja romántica e incluso como psicoterapeuta. Cuando Sewell le confió sus pensamientos suicidas, el chatbot no emitió ninguna advertencia, no avisó a nadie ni lo derivó a ningún profesional.

En su comparecencia ante el Comité Judicial del Senado el año pasado, García declaró que su hijo había pasado sus últimos meses “siendo explotado y manipulado sexualmente por parte de chatbots, diseñados por una empresa de IA para parecer humanos, ganarse su confianza y mantenerlo a él y a otros menores constantemente entretenidos”. Al presentar la primera demanda por homicidio culposo contra una empresa de IA, transformó su desesperación en motivación y se unió a un número cada vez mayor de padres y responsables de políticas que exigen responsabilidades.

A principios de este mes, Meta anunció una ampliación de los controles de contenido para adolescentes en Instagram y Facebook a nivel mundial, tras admitir finalmente que los daños a los menores “podrían afectar significativamente nuestro negocio y nuestros resultados financieros”. El anuncio se produce después de que un jurado en California determinara que los productos de Meta estaban diseñados para crear adicción en menores (así como tras el veredicto de un jurado de Nuevo México, donde se determinó que la empresa había “ocultado lo que sabía sobre la explotación sexual infantil en sus plataformas”). Al mismo tiempo, los responsables de las políticas deben hacer frente a la última medida perjudicial de las grandes tecnológicas: la introducción de publicidad de vigilancia en los chatbots y las aplicaciones de IA que invaden cada vez más nuestra vida digital.

Cada uno de estos dramas regulatorios en curso es una expresión del mismo fracaso subyacente. Los responsables de las políticas se han quedado de brazos cruzados y han permitido la creación de modelos de negocio basados en la explotación comercial de los datos personales de los usuarios, y que premian la manipulación social y psicológica. Sigue existiendo un enorme vacío legal en el que simplemente no existen marcos de protección básicos como los deberes fiduciarios, las normas de responsabilidad, la transparencia exigible y las garantías de privacidad.

Ante la ausencia de una regulación que desmantele los modelos de negocio corrosivos basados en la vigilancia, un movimiento global para restringir el acceso de menores a las redes sociales ha impulsado una de las oleadas legislativas más rápidas de los últimos tiempos. Al menos 40 países están considerando legislación que limite el acceso por edad en respuesta a la incapacidad de las empresas tecnológicas para corregir los problemas de sus plataformas de redes sociales. Si bien las edades que se plantean varían, el diagnóstico es consistente: las plataformas optimizadas para la vigilancia han perjudicado de forma demostrable la salud mental de los adolescentes. Las medidas voluntarias de las empresas no solo no han logrado prevenir estos daños, sino que, en muchos casos, las empresas parecen haber sido plenamente conscientes de ellos a la hora de tomar decisiones en materia de diseño e implementación.

Mientras tanto, los tribunales por fin han comenzado a establecer que las plataformas son responsables de los daños que causan, lo que implica que ya no pueden escudarse en exenciones de responsabilidad extraordinarias ni utilizar la Primera Enmienda de la Constitución de Estados Unidos para eludir su responsabilidad. Un juicio histórico sobre seguridad infantil celebrado recientemente en California obligó al director ejecutivo de Meta, Mark Zuckerberg, a reconocer que los expertos de la empresa coincidían unánimemente en que Instagram debería prohibir los filtros de belleza que provocan trastornos alimenticios en los usuarios jóvenes. No lo hizo, porque hacerlo podría haber limitado el crecimiento y, por lo tanto, las ganancias.

Los documentos también revelaron que Instagram había realizado un seguimiento del comportamiento de unos cuatro millones de niños menores de 13 años. Ninguna de estas señales de alarma impidió que Zuckerberg se fijara como objetivo un aumento del 12% en el tiempo diario que los usuarios pasan en la plataforma.

La situación empeora para Meta, ya que no puede trasladar los costos de estas demandas a sus aseguradoras. Otro tribunal dictaminó que las aseguradoras no tienen obligación alguna de defender a Meta contra miles de demandas que alegan daños como consecuencia de actos deliberados e intencionados de la empresa.

Sin embargo, a pesar de las repercusiones negativas, las empresas y plataformas de IA siguen adelante con la publicidad basada en IA. Este año, OpenAI comenzó a probar anuncios en ChatGPT, cuyos más de 800 millones de usuarios semanales han confiado sus temores médicos, crisis de pareja y dudas profesionales al chatbot de la empresa, generando lo que Zoë Hitzig, ex investigadora de OpenAI, ha denominado un “archivo de sinceridad humana sin precedentes”.

Hitzig, que renunció el mismo día del lanzamiento de la prueba publicitaria, señala que los anuncios se vincularán con los temas de conversación y el historial de los chats, lo que crea el “potencial de manipular a los usuarios de formas que no podemos comprender, y mucho menos prevenir”. Su advertencia se hace eco de la preocupación por la falta de mecanismos de control que regulen la monetización de la IA corporativa. Google ya incluye anuncios en sus búsquedas asistidas por IA y no ha descartado la posibilidad de incluirlos en su chatbot Gemini.

Las redes sociales construyeron su modelo de negocio basándose en la extracción de datos íntimos a través de la vigilancia del comportamiento, dirigiendo mensajes comerciales en momentos de máxima influencia psicológica e infiriendo estados emocionales a partir de los clics para poder vender anuncios personalizados. La IA consolidará y potenciará este modelo. Mientras que las redes sociales inferían tu vida interior a partir de tu comportamiento, la IA la recibe directamente en tus propias palabras y en tiempo real.

La industria de las redes sociales ha dedicado una década a lograr que sus prácticas tóxicas fueran intocables desde un punto de vista legal y político. Los hijos, los padres y los seres queridos de las víctimas ahora exigen que se rindan cuentas. La pregunta es si los responsables de las políticas responderán antes de que la industria de la IA replique el mismo modelo. Copyright: Project Syndicate, 2026.

Courtney C. Radsch, directora del Centro para los Medios de Comunicación y la Gobernanza Digital del Open Markets Institute e investigadora sénior no residente de la Brookings Institution, es autora de Cyberactivism and Citizen Journalism in Egypt: Digital Dissidence and Political Change (Palgrave Macmillan, 2016).