Cómo protegerse del riesgo de un apocalipsis provocado por la IA

Por Dambisa Moyo, Project Syndicate.

LONDRES- Las advertencias sobre un apocalipsis provocado por la IA están alcanzando su punto álgido. La semana pasada, el investigador de Anthropic Jacob Coxon conmocionó al mundo al dimitir públicamente y revelar que “las personas que desarrollan la IA creen sinceramente que podría acabar con todos nosotros antes de que termine la década”. Sus declaraciones fueron rápidamente respaldadas por Evan Hubinger, responsable de ciencia de alineación de la empresa, quien situó la probabilidad de que la IA acabe con toda la humanidad en más del 10%. En cuestión de días, el CEO ejecutivo de Anthropic, Dario Amodei; el CEO de OpenAI, Sam Altman, y otras figuras destacadas del ámbito de la IA hicieron un llamamiento para desacelerar el ritmo de desarrollo de la IA.

Los temores ante un escenario apocalíptico provocado por la IA llevan tiempo creciendo. Geoffrey Hinton, considerado “el padrino de la IA”, sostiene desde hace tiempo que perder el control de los sistemas de IA superinteligentes podría “conducir a la extinción de la humanidad”. Más recientemente, Bill Gates ha destacado la amenaza de una agitación económica provocada por la IA. Por su parte, Elon Musk lleva reclamando una pausa en la carrera por la IA al menos desde 2023.

La ansiedad pública va mucho más allá de los escenarios apocalípticos, impulsada por la preocupación por la pérdida de puestos de trabajo, el consumo de agua y energía de los centros de datos, el uso de la IA por parte de los niños y los crecientes riesgos para la ciberseguridad y la seguridad nacional. Una encuesta reciente de Gallup reveló que siete de cada diez estadounidenses se oponen ahora a la construcción de centros de datos cerca de sus hogares. Solo el 32% de los estadounidenses confía en la IA, frente al 87% en China.

¿Cómo deberían protegerse los responsables de las políticas, los líderes empresariales y los inversores frente a los riesgos relacionados con la IA? Incluso los escenarios más extremos relacionados con la IA son demasiado graves como para desestimarlos, por muy improbables que puedan parecer. Los responsables de las políticas tienen la responsabilidad de proteger a la población, mientras que los líderes empresariales tienen el deber fiduciario de salvaguardar los intereses de los accionistas y los clientes. Dadas las consecuencias potencialmente catastróficas, quizá sería prudente reducir la exposición antes de que se produzca el desastre.

Ahora bien, protegerse contra riesgos existenciales de baja probabilidad resulta excepcionalmente difícil. En el mundo distópico que podría provocar una IA descontrolada, las coberturas tradicionales, como los bonos y las opciones de venta, no servirían de mucho, ya que las cuentas financieras, los sistemas de pago y los registros podrían verse comprometidos.

Los inversores tampoco podrían confiar necesariamente en que los gobiernos intervengan para restablecer la estabilidad del mercado. Si las mismas instituciones que normalmente actúan como red de seguridad durante las crisis se vieran incapacitadas, hacer cumplir los contratos y los derechos de propiedad resultaría prácticamente imposible. Los activos reales, como los derechos sobre la tierra y el agua, podrían conservar su valor en escenarios menos extremos, pero incluso estos resultarían irrelevantes en un apocalipsis provocado por la IA.

No obstante, existen varias medidas prácticas que pueden adoptar los responsables de formular políticas y los líderes empresariales. Una de ellas es establecer medidas de aislamiento físico (“air gaps”) más estrictas, separando las redes y los sistemas organizacionales críticos de redes no seguras, como la Internet pública. Por ahora, pueden encontrar tranquilidad en el hecho de que los modelos actuales de IA siguen siendo excesivamente poco fiables e impredecibles como para lanzar el tipo de campaña coordinada que amenazaría la supervivencia de la humanidad. Sin embargo, su sofisticación y alcance crecientes exigen una reevaluación urgente de las ciberdefensas existentes.

En segundo lugar, existe un amplio margen para una regulación más agresiva de la IA, que incluya revisiones de seguridad rigurosas y requisitos de licencia. Cabe reconocer que regular la IA a nivel transfronterizo no será tarea fácil en un contexto de creciente competencia geopolítica. Actualmente, ningún organismo internacional tiene la autoridad para supervisar -y mucho menos fiscalizar- el desarrollo de IA de vanguardia en Estados Unidos, China o cualquier otro lugar, especialmente en lo que respecta a los modelos de pesos abiertos.

Los acuerdos de control de armas nucleares ofrecen un precedente obvio, aunque imperfecto. En julio de 2026, más de mil empleados de empresas de IA de vanguardia firmaron una carta en la que pedían un “esfuerzo internacional” para desarrollar las “herramientas técnicas y de gobernanza necesarias para regular deliberadamente el ritmo del desarrollo de la IA automatizada de vanguardia”.

Puede que algunos se burlen de la idea de que Estados Unidos y China, atrapados en una rivalidad amarga, cooperen en materia de IA, pero a ninguno de los dos países le interesa una carrera tecnológica desenfrenada que termine en una destrucción mutua. Por lo tanto, el riesgo de extinción por culpa de la IA puede plantear el problema definitivo de la acción colectiva, obligando a gobiernos y empresas a enfrentar peligros que ningún país u organización puede abordar por sí solo. Las empresas ya están colaborando a través de asociaciones comerciales y grupos industriales para mitigar las amenazas cibernéticas, y la IA les da aún más motivos para hacerlo.

La perspectiva de una IA capaz de automejorarse recursivamente -factor subyacente en muchos escenarios de extinción- podría dejar obsoleto el manual habitual de gestión de crisis. Las medidas de resiliencia que ayudaron a las instituciones a superar la pandemia del COVID-19 serán de poca utilidad frente a sistemas de IA potentes, capaces de manipular registros y perturbar infraestructura crítica y operaciones empresariales. Incluso los agentes de IA actuales pueden encontrar rápidamente formas de eludir los controles diseñados para contenerlos, tal como demostró la brecha de seguridad de Hugging Face.

Los líderes empresariales no tienen por qué esperar a que los gobiernos actúen. Pueden desacelerar o frenar el despliegue de la IA e instalar interruptores de emergencia que les permitan apagar los sistemas rebeldes si es necesario. También pueden apoyar los llamamientos para pausar el desarrollo de la IA de vanguardia o prohibir la búsqueda de la superinteligencia.

Por otra parte, existe el peligro de que herramientas de IA potentes caigan en las manos equivocadas. Algunos de los mayores avances en el desarrollo de la IA provienen de países cuyos valores e intereses están en conflicto con los de Occidente. Incluso sin una superinteligencia autónoma, los estados hostiles y las organizaciones terroristas podrían utilizar herramientas de IA para causar un daño enorme.

El hecho de que las mentes más destacadas del sector de la IA consideren que existe una probabilidad no desdeñable de que sus propios productos provoquen la extinción de la humanidad en un futuro previsible debería ser una llamada de advertencia para los responsables de las políticas y las empresas. Si estas predicciones apocalípticas son incluso remotamente plausibles, las estrategias convencionales de gestión de riesgos no serán suficientes. Copyright: Project Syndicate, 2026.

Dambisa Moyo, economista internacional, es autora de Edge of Chaos: Why Democracy Is Failing to Deliver Economic Growth—and How to Fix It (Basic Books, 2018).