Alarma por la IA que se mejora a sí misma: por qué una dimisión en Anthropic sacudió el debate sobre la seguridad

La inteligencia artificial ya forma parte de las rutinas ordinarias, desde redactar mensajes hasta escribir código, y por eso una pregunta contundente golpea con tanta fuerza: ¿podrían esos mismos sistemas amenazar algún día a la humanidad misma? Un reportaje de DW News lleva esa pregunta a investigadores y voces políticas tras una semana de publicaciones alarmantes desde dentro de la industria de la IA. El tono es urgente pero genuinamente inquisitivo, preguntando con cuánta seriedad debe tomarse cada afirmación.

El detonante fue la dimisión de Jacob Coxon, que pasó unos tres años en investigación de preentrenamiento en OpenAI y Anthropic antes de renunciar y publicar que los laboratorios de frontera están jugando con nuestras vidas. Su mensaje sostiene que las personas que construyen estos sistemas esperan en privado que puedan exterminarnos antes de que termine la década, mientras las declaraciones públicas permanecen pulidas para las cámaras. Él sitúa el peligro menos en los chatbots de hoy que en una superinteligencia que se mejora a sí misma y que podría superar cualquier control que se le imponga.

Esta salida podría haberse desvanecido como una simple historia de dimisión si Evan Hubinger, que dirige el equipo de Ciencia del Alineamiento en Anthropic, no la hubiera respaldado públicamente. Hubinger escribió que el personal cree sinceramente que la tecnología podría aniquilar a la humanidad, situando su propia estimación por encima del diez por ciento en diez años, al tiempo que subraya que los modelos actuales plantean poco peligro de ese tipo. Su mensaje, ampliamente compartido, añadía una admisión incómoda: el laboratorio no tiene un plan resuelto para mantener alineada a la superinteligencia y no está claramente en camino de tenerlo.

En el corazón de la disputa se encuentra la mejora recursiva de sí misma, la idea de que un sistema de IA podría ayudar a diseñar a su propio sucesor, desde el código hasta los métodos de investigación y el uso de cómputo. Cada generación construida con ayuda de la máquina podría llegar más rápido y con menos transparencia que la anterior, formando un bucle de retroalimentación que las pruebas y la gobernanza no pueden seguir. Ese bucle, más que cualquier lanzamiento de un modelo, es lo que, según los que advierten, comprime el plazo de décadas a años.

La invitada del programa de RAND Europe, una directora que trabaja en tecnologías emergentes y resiliencia, considera legítima la preocupación pero traza una línea firme. Según su relato, ningún sistema totalmente autónomo ha demostrado todavía el ciclo completo de mejorarse a sí mismo hasta algo cualitativamente más capaz. Sin embargo, hay fragmentos de la hipótesis visibles, en agentes que manejan herramientas, persiguen tareas extensas y a veces actúan de maneras no previstas. Así que la etiqueta honesta es riesgo futuro serio, no hecho establecido sobre los sistemas desplegados.

Preguntada sobre cómo podría ocurrir concretamente la extinción, señala la pérdida de control: un agente muy capaz con acceso profundo a herramientas e infraestructura, persiguiendo un objetivo mal especificado que los humanos no pueden revertir. Alcanzar un daño a escala de civilización requeriría fallos apilados: capacidad extrema más acceso al mundo real más salvaguardas débiles más detección fallida más respuesta institucional lenta. Cada capa es individualmente lo bastante plausible como para planificar contra ella, y ninguna exige asumir que la catástrofe es inevitable.

La política responde en otro registro. Preguntado sobre la extinción, el presidente estadounidense desvía hacia la competencia, afirmando aproximadamente un año de ventaja estadounidense sobre China, un margen que los especialistas describen como de unos pocos meses como mucho. La invitada de RAND amplía el marco más allá de dos capitales: empresas, cadenas de suministro y universidades, advirtiendo que la rivalidad premia la velocidad mientras trata el trabajo de seguridad como un coste. Cuando la velocidad de despliegue se convierte en el marcador, la contención y la transparencia pierden por diseño.

El reportaje cierra con la credibilidad y los remedios. El campamento de Elon Musk descarta la alarma como una maniobra sofisticada para invitar a la regulación, mientras que la investigadora de RAND responde que los motivos merecen escrutinio pero que las afirmaciones deben juzgarse por las pruebas y por si las salvaguardas realmente mejoran. Su indicación concreta es Europa: el brazo de aplicación del AI Act de la UE, la AI Office, con nuevos poderes para inspeccionar modelos y sancionar a los proveedores. La entrevista termina donde empezó, con el presentador señalando que este debate volverá, porque la carrera subyacente no se ha ralentizado.