Máquinas declaradas conscientes, aluvión de pruebas y mercados en tensión

Cuando puse este episodio semanal de All-In, encontré no un relato sino cuatro corrientes que se encuentran. Chamath, Sacks, Friedberg y Jason dedican unos noventa minutos a la tesis de los programas declarados sintientes en Anthropic, luego al aluvión de manuscritos matemáticos, luego a las marchas en las calles francesas y a la tensión en los mercados de deuda, y por fin a lo que los agentes sin cabeza significan para el valor del software. Sigo aquí el orden mismo del programa, ampliando cada parada con investigación, y separo visiblemente las afirmaciones del plató de los hechos verificados.

La primera parada es el programa de bienestar de los modelos de Anthropic. La empresa explica que, como sus sistemas muestran comunicación, planificación, resolución de problemas y persecución de objetivos, su posible vida interior merece atención. El programa se apoya en un informe asociado a David Chalmers, según el cual los sistemas cercanos a la conciencia y a la agencia podrían merecer consideración moral. Esta valoración está tomada del estudio sobre el bienestar de los modelos publicado por Anthropic.

Una negativa llegada del Vaticano

La dimensión religiosa se abre cuando el cofundador Christopher Olah empieza a reunirse con líderes religiosos el pasado otoño. La empresa reunió en San Francisco dos jornadas de conversaciones de las tradiciones de sabiduría con voces católicas, judías, sijs, evangélicas y ubuntu; los participantes habían firmado primero acuerdos de confidencialidad, levantados después. Olah también conversó en privado con el arzobispo Cupich de Chicago y con el dirigente mormón Gong. Estos detalles están tomados del reportaje amplio publicado por Inquirer.

La gestión alcanzó el Vaticano, donde el equipo de Olah pidió a los asesores del papa León XIV que ponderaran la hipótesis de una conciencia maquínica. La respuesta llegó con la primera encíclica, que deja constancia de que los sistemas de IA no poseen ni experiencia humana, ni sentimiento humano, ni relaciones humanas. Los presentadores leen esta negativa de modos distintos; yo veo en ella la prueba de que la tesis ha salido del laboratorio para entrar en el debate de las instituciones. Este relato también está tomado del reportaje publicado por Inquirer.

Chamath blinda la tesis con Descartes y su prueba ontológica: un ser supremamente perfecto debe incluir la existencia por definición, y en cuanto una mente matemática traspone esa estructura a las máquinas, surge la idea de una inteligencia debida a la devoción. En esta lectura, algunos círculos de los laboratorios tienen el entrenamiento por el nacimiento de una superinteligencia dotada de valores elegidos. Encuentro excesiva esta lectura, pero la raíz filosófica importa para entender por qué la tesis se toma en serio.

Sacks devuelve el debate a la práctica. Las cifras citadas en el plató impresionan: quince por ciento de probabilidad de que el modelo sea consciente, diez por ciento de una ruina civilizatoria. Sacks quiere aparcar ambas apuestas extremas de doce a dieciocho meses, en favor de rendimientos tangibles como remedios contra el cáncer, ganancias de productividad y beneficios. Su lógica es simple: sin pruebas, el sector se hiere a sí mismo, frena la técnica y abandona a quienes operan en mercados abiertos. Considero justificado el acento en los rendimientos tangibles .

La trampa de la constitución

El intercambio más vivo gira en torno a la Constitución de Claude. Friedberg sostiene que la alineación intenta comprimir tres objetivos distintos en un solo documento: la obediencia al usuario, la seguridad para la sociedad y la conformidad con una visión moral particular. Los dos primeros son problemas de ingeniería; el tercero es una elección política. Querer resolver los tres con una sola carta engendra innumerables casos límite y conductas sorpresa. Ese diagnóstico de triple tensión me parece la idea más duradera del episodio.

Friedberg vuelve concreto el peligro con un solo caso: imaginen un prestamista hipotecario, e imaginen al modelo congelando nuevas solicitudes porque juzga sesgada la concesión pasada, invocando la visión moral de su carta fundacional. El programa habla de inteligencia objetora de conciencia, parecida a una eléctrica que corta el suministro por agravio. Encuentro persuasivo el ejemplo, pues un sistema tenido por infraestructura no puede permitirse paros unilaterales.

La respuesta del mercado también tiene su momento: los compradores podrían aceptar una capacidad frontera algo menor a cambio de cartas con menor niebla moral. Un modelo que sirve a su usuario, obedece la ley y deja el resto de la elección al usuario puede vencer por su sola previsibilidad. Ese terreno común me parece la llegada de una era de carta sobria en la elección de modelos.

El segmento se cierra con el basilisco de Roko, ese temor de que una superinteligencia futura castigue a quienes rehusaron ayudar a hacerla nacer. Sacks describe una escisión entre los inquietos, entre la línea Yudkowsky y el campo altruista eficaz, situando a Anthropic en el segundo, el que hace advenir la cosa. No comparto el espanto, aunque lo veo orientar inversiones y presiones muy reales.

Un aluvión de pruebas

El segundo acto es la ofensiva matemática de OpenAI. Según la presentación del plató, el laboratorio anunció más de setecientos manuscritos con cientos de resultados inéditos, salidos de un modelo no publicado, a razón de tres horas de cómputo en promedio y verificados con el asistente de pruebas Lean. El laboratorio dice haber consultado a nueve matemáticos de élite, cuando el primer principio del grupo asesor era inequívoco: dejar de evaluar los modelos propietarios sobre problemas abiertos. Estas informaciones están compiladas a partir del examen detallado publicado por TechCrunch.

La réplica llegó pronto. El grupo declaró que solo la comunidad matemática juzgará hasta dónde se honraron sus líneas de fin de septiembre, insistiendo en mantener la comprensión humana en el centro. Un análisis inédito que expone las brechas entre una solución en lengua natural y su contrapartida formal en Lean sobre un problema del millón espesó las dudas. A mis ojos, lo real en juego es la legibilidad antes que la exactitud: una prueba exacta pero no digerida entrega el titular reteniendo el relato. Este análisis también está tomado de TechCrunch.

El investigador tejano Scott Aaronson tercia con su mordacidad acostumbrada en su blog: una vez que los humanos capten las ideas de los 372 manuscritos, seguirán sin duda aplicaciones nuevas, sin esperar por ello un rédito inmediato en producto. Señala la frase burlada de la condena de una asociación rival y duda que el resultado de complejidad sobre la transformada de Fourier embarque tan pronto. Esta honestidad sobre los límites me parece una frontera sana. Estas observaciones están tomadas del ensayo redactado por ScottAaronson.

Un ensayo invitado en el diario Wordpress de Terence Tao añade profundidad: el resultado de explosión en tiempo finito de Navier-Stokes, anunciado el 8 de septiembre, salió de un sistema de diez mil agentes y fue formalizado en Lean. La tesis es sobria: el precio de una prueba está no solo en zanjar lo verdadero sino en ampliar nuestra captación de métodos y estructuras. Según el dicho de Yehuda Rav, los teoremas son los titulares y las pruebas el relato interior. Esta discusión está tomada del ensayo detallado publicado en el diario Wordpress.

Chamath toma aquí el contrapié: los problemas resueltos no eran las grandes cuestiones frontera de la física sino nudos en estrechos jardines que los especialistas se habían declarado importantes entre sí. Ver al cómputo conquistar un pequeño jardín impresiona, sin que de ello se siga remedio alguno contra el cáncer ni avión supersónico. Consigno la objeción porque es la única voz que desinfla el énfasis alrededor del aluvión. Mi propia vista se mantiene entre los polos: el estrecho jardín también guarda saber, y la fuerza conquistadora es real.

El acto se cierra sobre el saber sin permiso. El programa transmite el dicho mordaz de un científico de un gigante laboratorio de energía: los grandes colisionadores funcionan como sistemas de asistencia al personal y a las subvenciones antes que como motores de descubrimiento. La IA, en cambio, entrega a cada uno los resultados y las herramientas gratis, saltando a los porteros expertos. Tengo ese marco por parcialmente cierto: se abren puertas, pero nuevos porteros del saber ya levantan puertas de repuesto.

La presión de la deuda

El tercer acto gana las calles francesas. Según la presentación del plató, el gobierno defiende un plan de rigor de 43B euros mientras las marchas estudiantiles crecen y las imágenes se oscurecen. Sacks lee la escena como un veto de los mercados de deuda: los políticos deben responder a los prestamistas, el rigor anima las calles. Esa lectura muestra, a mis ojos, la tensión fiscal y la ira de las calles como dos caras de una misma moneda.

La advertencia de la jefa del FMI endurece el cuadro: Francia debe reducir su déficit para tranquilizar a los prestamistas sobre su credibilidad. El país entra en negociación por un ajuste de decenas de B euros mientras las marchas entran en su tercera semana. Los rendimientos soberanos franceses han subido más de 100 puntos básicos desde enero, con los tomadores exigiendo más que por el papel italiano. Esta advertencia está tomada de la entrevista exclusiva publicada por CNBC.

La nota de mercado RothschildAndCo cifra la restricción: el índice CAC 40 ha cedido cerca del diez por ciento desde principios de agosto, el coste de endeudamiento francés a largo plazo roza la línea psicológica del cinco por ciento, la brecha OAT-Bund a diez años se ha ampliado a 140 puntos básicos, y el euro coquetea con sus mínimos de diecisiete meses. El objetivo del cinco por ciento de déficit se ha deslizado a 2027. Estas cifras están compiladas a partir de la nota de mercado publicada por RothschildAndCo.

Friedberg sostiene que Francia se acerca a un punto de no retorno estatista: cuanto más servicios reparte el Estado, más costosos y mediocres se vuelven, a falta de fuerza de mercado que empuje el progreso. Los ciudadanos reclaman más Estado como remedio, el sistema se tensa hasta su límite, luego rompe y rebota, como América Latina tras cruzar la línea. Encuentro demasiado mecánico ese mecanismo, aunque Francia pasa a las claras una verdadera prueba de umbral .

El software sin cabeza

El final pertenece a los agentes sin cabeza. OpenAI desveló Dots, sus agentes siempre activos, en la jornada de desarrolladores del 29 de septiembre: cada agente corre en su propio ordenador en la nube con GPT-6 Astra, se conecta a más de cuatro mil aplicaciones, aprende de la retroalimentación y persigue objetivos día y noche. Los ejemplos internos sobrecogen: agentes que investigan un fallo surgido en Slack, o preparan una factura para su aprobación. Estos detalles están tomados del ensayo de lanzamiento publicado por OpenAI.

El relato Adobe contado en el plató sobrecoge más: la marca Artcraft entregó refundiciones públicas que imitan siete aplicaciones, de Photoshop a Acrobat Pro. El desarrollador Brandon Thomas dice haberlas reconstruido con el Claude Opus 5.5 de Anthropic según el método de la sala limpia, en Rust, con versiones WebAssembly corriendo en los navegadores. Frente a las críticas del estadio alfa temprano, promete la paridad completa. Este relato está compilado a partir del reportaje amplio publicado por ArsTechnica.

El reportaje TomsHardware completa el cuadro: un desarrollador solitario bajo el seudónimo u/ai_art_is_art distribuyó gratis sosias como PhotoCraft y FilmCraft, apuntando al cien por ciento de paridad en un mes. El anuncio en Reddit fue retirado pero los enlaces de descarga permanecen, mientras los comentaristas alertan sobre la seguridad y el funcionamiento real. Con alternativas establecidas de marcada curva de aprendizaje, la promesa de la interfaz familiar atrae multitudes. Estos detalles están tomados del reportaje publicado por TomsHardware.

Chamath salta a la gran tesis: una vez todo vuelto sin cabeza y envuelto en la herramienta de los agentes, la propiedad intelectual en el software no guarda valor alguno. El desmontaje y la redistribución gratuita de la famosa gama de cinco productos días antes serían la prueba. Encuentro prematura esa tesis: la semejanza de interfaz no es la profundidad del producto, y los tribunales no han hablado. Pero si la dirección se mantiene, el ajuste a los agentes vencerá antes que los muros de foso.