\u00bfDestruir\u00e1 la IA a la humanidad antes de que termine esta d\u00e9cada? \u00bfO quiz\u00e1s en los pr\u00f3ximos quince a\u00f1os? Ya es casi imposible no estar al tanto de esta discusi\u00f3n, que empez\u00f3 a cobrar fuerza en 2023 pero que ha ido creciendo cada vez m\u00e1s en los \u00faltimos d\u00edas. \u00bfLa raz\u00f3n? Esta semana, un investigador de 27 a\u00f1os renunci\u00f3 a Anthropic y escribi\u00f3 que las empresas donde trabaj\u00f3 \u00abest\u00e1n corriendo directo hacia una superinteligencia que se mejora a s\u00ed misma y apostando con nuestras vidas\u00bb. Muchos lo tiraron de a loco. Cuatro d\u00edas despu\u00e9s, el s\u00e1bado, el due\u00f1o de Anthropic, Dario Amodei, public\u00f3 un ensayo largo pidiendo que la industria frene; Elon Musk, due\u00f1o de xAI, public\u00f3 un tuit diciendo \u00abDario tiene raz\u00f3n\u00bb; y finalmente Sam Altman declar\u00f3 que estaba de acuerdo con Amodei en que hay que \u00abmarcar el paso en la frontera\u00bb, anunci\u00f3 que OpenAI tambi\u00e9n incorporar\u00e1 evaluadores independientes con acceso equivalente al de sus empleados y confirm\u00f3 que, adem\u00e1s, no saldr\u00e1 a la bolsa este a\u00f1o. Imag\u00ednense: todav\u00eda el lunes est\u00e1bamos m\u00e1s o menos tranquilos imaginando d\u00f3nde festejar\u00edamos el 2030 cuando, de pronto, por todos lados nos bombardean con presagios cada vez m\u00e1s insistentes del fin del mundo o, al menos, de la humanidad.<\/p>\n
La velocidad con la que se dan las noticias en esta \u00e9poca de la IA es vertiginosa. Yo doy seguimiento a todo esto diario. Tengo incluso una computadora en la que corren una cantidad notable de agentes dedicados a alimentar mis proyectos de informaci\u00f3n e investigaci\u00f3n. Adem\u00e1s, tengo corriendo a diario a cientos de agentes de inteligencia artificial repartidos en seis pantallas. Les marco la tarea y el rumbo, se reparten el trabajo, se corrigen unos a otros y me traen resultados que reviso y con los que voy armando el andamiaje para proyectos que a m\u00ed me apasionan y que giran en torno al ecosistema del libro y a la literatura, entre otros. Lo cuento porque el martes 8 de septiembre, mientras yo lidiaba con mis cientos, OpenAI anunci\u00f3 que solt\u00f3 diez mil agentes sobre uno de los siete problemas matem\u00e1ticos del milenio, y que en 88 horas lo resolvieron. Y all\u00ed comenz\u00f3 el desmadre.<\/p>\n
Les prometo que esta es la parte m\u00e1s dif\u00edcil del n\u00famero y que dura tres p\u00e1rrafos. Las ecuaciones de Navier-Stokes describen c\u00f3mo se mueve cualquier l\u00edquido o gas: el agua que se va por el fregadero, el aire sobre el ala de un avi\u00f3n, la sangre en una arteria, la atm\u00f3sfera entera cuando se pronostica el clima. Tienen casi 200 a\u00f1os y funcionan tan bien que la ingenier\u00eda las usa todos los d\u00edas sin pensarlo.<\/p>\n
Y sin embargo esconden una pregunta que nadie hab\u00eda podido contestar. Piensen en el remolino que se forma cuando se vac\u00eda la tina. Gira m\u00e1s r\u00e1pido en el centro que en las orillas. Ahora imaginen que ese remolino se aprieta y se aprieta, girando cada vez m\u00e1s r\u00e1pido en un punto cada vez m\u00e1s chiquito. \u00bfPuede llegar a girar infinitamente r\u00e1pido? En el agua de verdad, no: tiene fricci\u00f3n interna, lo que llamamos viscosidad, y esa fricci\u00f3n frena todo. Pero las ecuaciones no son el agua: son las matem\u00e1ticas que la describen. Y la pregunta es si las propias ecuaciones, partiendo de un fluido tranquilo, pueden llevar a ese punto de velocidad infinita en un tiempo finito. A eso los matem\u00e1ticos le dicen \u00absingularidad\u00bb. Durante 90 a\u00f1os domin\u00f3 la intuici\u00f3n de que la viscosidad siempre gana y el remolino nunca se vuelve loco.<\/p>\n
Lo que OpenAI dice haber probado es que no siempre gana. Su sistema construy\u00f3, en el papel, un remolino que se aprieta y se estira como un hilo de espagueti hasta alcanzar velocidad infinita, sin que la energ\u00eda total del agua se dispare, que es una de las condiciones para que el resultado valga. La prueba ocupa 166 p\u00e1ginas y viene con una verificaci\u00f3n en Lean, un lenguaje de programaci\u00f3n con el que una computadora comprueba, paso por paso, que el razonamiento no tiene huecos. Ya est\u00e1. Lo dem\u00e1s es m\u00e1s f\u00e1cil, y m\u00e1s entretenido.<\/p>\n
Aqu\u00ed la nota deja de ser de matem\u00e1ticas y pasa a ser de industria.<\/p>\n
OpenAI cuenta que desde el 28 de agosto entrena un modelo interno \u00absignificativamente m\u00e1s capaz\u00bb que GPT-6 Astra, el que acababa de lanzar el 3 de septiembre como un \u00absalto generacional\u00bb. El 1 de septiembre, dice el comunicado, oyeron el rumor de que alguien hab\u00eda resuelto dos problemas del milenio, y ese mismo d\u00eda soltaron el modelo nuevo sobre los siete a la vez. As\u00ed, por si pegaba.<\/p>\n
No con un chatbot. Con agentes organizados en equipos que se comunican entre s\u00ed, con acceso a una copia de internet y a la capacidad de ejecutar c\u00f3digo. El equipo que dio con la soluci\u00f3n rondaba los 10,000 agentes simult\u00e1neos; s\u00f3lo Navier-Stokes consumi\u00f3 2.7 millones de mensajes y 130,000 millones de tokens. Llegaron al resultado el s\u00e1bado 5, unas 88 horas despu\u00e9s de arrancar. La verificaci\u00f3n en Lean tard\u00f3 17 horas m\u00e1s. En la llamada de prensa, los ejecutivos pusieron el costo en \u00abmillones de d\u00f3lares\u00bb, sin decir cu\u00e1ntos. Y a media carrera, cuando estuvo lista una versi\u00f3n m\u00e1s entrenada del modelo, les cambiaron el cerebro a los agentes sin detenerlos. El comunicado remata con una frase que conviene guardar para el final: el modelo \u00absigue entren\u00e1ndose\u00bb.<\/p>\n
S\u00e9bastien Bubeck, uno de los investigadores m\u00e1s visibles de OpenAI, admiti\u00f3 despu\u00e9s algo que no estaba en el anuncio: el grupo humano que dirigi\u00f3 el esfuerzo \u00abno ten\u00eda, colectivamente, conocimiento de nivel de investigaci\u00f3n en din\u00e1mica de fluidos ni en el problema de Navier-Stokes, y por lo tanto no pudo contribuir de manera significativa al contenido matem\u00e1tico\u00bb. O sea: el contenido matem\u00e1tico lo produjo el enjambre; los humanos dirigieron la operaci\u00f3n, no la matem\u00e1tica. Yo lo hago en peque\u00f1o con mis cientos. Ellos lo hicieron en grande, y la diferencia es un chingo de dinero.<\/p>\n
El Instituto Clay, que ofrece el mill\u00f3n de d\u00f3lares desde el a\u00f1o 2000, no pide una sola cosa. El enunciado oficial acepta cuatro demostraciones distintas. Las opciones A y B dicen \u00ablas soluciones siempre se mantienen suaves\u00bb. Las opciones C y D dicen lo contrario, \u00abhay casos en que se rompen\u00bb, y ah\u00ed el enunciado permite que sobre el fluido act\u00fae una fuerza externa, siempre que sea suave. OpenAI prob\u00f3 C y D. Fui a leer el documento del Clay: es as\u00ed. Pero en la versi\u00f3n que todos los matem\u00e1ticos ten\u00edan en la cabeza no hay nadie empujando al fluido; el remolino se vuelve loco solito. La ruta por la fuerza externa es una puerta lateral que el enunciado dej\u00f3 abierta a prop\u00f3sito, y que esa puerta cuente como resolver el problema es una discusi\u00f3n que apenas empieza. OpenAI, en su propio comunicado, dice que no piensa reclamar el premio. Detalle elegante, o prudente.<\/p>\n
El Clay se pronunci\u00f3 el viernes 11, y su comunicado es una pieza de diplomacia: comparte \u00abel entusiasmo de la comunidad matem\u00e1tica mundial ante el anuncio de que el problema de Navier-Stokes aparentemente ha quedado resuelto\u00bb, dice que el proceso de evaluaci\u00f3n y de asignaci\u00f3n de cr\u00e9dito \u00abes deliberadamente pausado\u00bb, y promete noticias. En todo el texto no aparece la palabra OpenAI. Y en su p\u00e1gina, Navier-Stokes sigue en la lista de problemas abiertos.<\/p>\n
Lo que casi nadie contaba es que el resultado tiene padres, y no trabajan en OpenAI. Durante a\u00f1os, Diego C\u00f3rdoba, del Instituto de Ciencias Matem\u00e1ticas de Madrid, y Luis Mart\u00ednez-Zoroa, de la Universidad CUNEF, exploraron justo esa puerta lateral: construir explosiones del fluido con una fuerza externa. Lo lograron con una fuerza \u00e1spera, que no cumpl\u00eda el requisito del Clay; el paso que faltaba era hacerlo con una fuerza suave. Charles Fefferman, que redact\u00f3 el enunciado del premio, le dijo a Quanta que \u00ablos h\u00e9roes de la historia\u00bb son ellos dos. Y C\u00f3rdoba, cuando le preguntaron si usa inteligencia artificial, contest\u00f3: \u00abYo no uso IA: tengo a Luis\u00bb. El jueves 10, los dos hablaron con EFE: s\u00ed, dicen, lo resolvieron; \u00absin sus aportaciones previas, y las de otros matem\u00e1ticos, ninguna IA hubiera sido capaz\u00bb, pero sin la IA los humanos habr\u00edan tardado mucho m\u00e1s. No los ha contactado OpenAI. No van a reclamar el premio. \u00abNo estamos aqu\u00ed por dinero\u00bb, dijo C\u00f3rdoba. Un abrazo desde ac\u00e1.<\/p>\n
Hubo tambi\u00e9n un pleito de patio, y hay que contarlo con cuidado porque las versiones se contradicen. Tristan Buckmaster, de la Universidad de Nueva York, y Levent Alp\u00f6ge, matem\u00e1tico que trabaja en Anthropic, llevaban casi un a\u00f1o siguiendo la misma ruta por su cuenta, pagando con fondos de investigaci\u00f3n herramientas de OpenAI y de Anthropic. El 15 de agosto lograron la explosi\u00f3n con fuerza suave para las ecuaciones de Euler, la versi\u00f3n sin viscosidad del problema. El 1 de septiembre OpenAI supo del rumor; el 6, en dos llamadas, Buckmaster se enter\u00f3 de que un modelo interno ya ten\u00eda una prueba de Navier-Stokes por la misma puerta. Seg\u00fan su declaraci\u00f3n, Bubeck dijo dos veces que quer\u00eda a Alp\u00f6ge fuera de la autor\u00eda y le solt\u00f3 un \u00ab\u00bfpor qu\u00e9 arruinar\u00edas tu carrera?\u00bb. Bubeck reconoci\u00f3 la frase, se disculp\u00f3 p\u00fablicamente por \u00abuna p\u00e9sima elecci\u00f3n de palabras\u00bb y neg\u00f3 lo dem\u00e1s; el jueves Buckmaster respondi\u00f3 que la versi\u00f3n de Bubeck es \u00abdisparatadamente falsa\u00bb y que nunca hubo disculpa. OpenAI felicit\u00f3 a los dos, dijo que ni sus investigadores ni sus agentes vieron el trabajo ajeno y, en la primera versi\u00f3n de su comunicado, a\u00f1adi\u00f3 una frase para leer despacio: \u00abaunque es improbable, no podemos descartar que datos desidentificados derivados de su uso de nuestros productos hayan ayudado a mejorar nuestros modelos\u00bb. Buckmaster tradujo eso en una pregunta: \u00ab\u00bfEs \u00e9tico usar los datos de un cliente para intentar adelantarse a ese cliente?\u00bb. Yo, que pago mis suscripciones puntualmente, tambi\u00e9n me la hago. Pero el 10 de septiembre OpenAI actualiz\u00f3 el comunicado: despu\u00e9s de investigar el asunto, asegura ahora que los prompts de Buckmaster en Codex durante los dos meses anteriores no pudieron influir en el sistema de ninguna manera, ni siquiera mediante entrenamiento. Esa posibilidad concreta queda, por tanto, negada por la empresa. El pleito sobre atribuci\u00f3n y prioridad no.<\/p>\n
Terence Tao, probablemente el matem\u00e1tico vivo m\u00e1s respetado, hab\u00eda anticipado todo esto el 3 de septiembre en un hilo que llam\u00f3 hipot\u00e9tico. El 8 dej\u00f3 de serlo, y escribi\u00f3: \u00abYa vimos que hasta el rumor de que alguien trabaja en un problema puede desatar un esfuerzo masivo impulsado por IA para aplanarlo antes de que el proyecto original tenga tiempo de alcanzar todo su potencial\u00bb. Los problemas abiertos, dice, se est\u00e1n minando \u00abcomo un recurso no renovable\u00bb. El 10 volvi\u00f3, citando a El principito<\/em>: la IA, apuntada a los objetivos visibles de una disciplina, captura la bandera y anota el gol, \u00abpero a costa de las lecciones aprendidas, las ideas ganadas, las colaboraciones formadas y los nuevos blancos localizados\u00bb.<\/p>\n El viernes 11, 25 medallistas Fields, la distinci\u00f3n m\u00e1s prestigiosa de las matem\u00e1ticas, firmaron una declaraci\u00f3n conjunta. Est\u00e1n Tao, Peter Scholze, C\u00e9dric Villani, Maryna Viazovska, Pierre Deligne y Yu Deng, que recibi\u00f3 la medalla en julio por su trabajo en ecuaciones en derivadas parciales, la familia a la que pertenece Navier-Stokes. El t\u00edtulo es \u00abUna grave desalineaci\u00f3n de la IA en las matem\u00e1ticas\u00bb. Dicen que \u00ablos objetivos de las empresas de IA y los objetivos de la comunidad matem\u00e1tica est\u00e1n gravemente desalineados\u00bb, que \u00abla producci\u00f3n en masa, a un ritmo cada vez m\u00e1s r\u00e1pido, de enunciados verdadero\/falso podr\u00eda destruir el terreno f\u00e9rtil en vez de dar vida a ideas nuevas\u00bb, y que estas soluciones \u00absuelen anunciarse con prisa, sin tiempo para una redacci\u00f3n adecuada, para aislar los m\u00e9todos e ideas nuevos, ni para citar el trabajo previo de otros. Como en todas las profesiones creativas, esto plantea graves cuestiones de atribuci\u00f3n y plagio\u00bb. Lo firmaron como advertencia para todos: \u00abLos problemas que la comunidad matem\u00e1tica enfrenta ahora son similares a los que enfrentan otras profesiones cient\u00edficas y creativas, e indican problemas que toda la humanidad podr\u00eda enfrentar\u00bb.<\/p>\n Me quedo con la palabra que eligieron: desalineaci\u00f3n. Porque es la misma que usan, con otro significado, los que construyen las m\u00e1quinas. Y esta semana los dos significados se tocaron.<\/p>\n En el n\u00famero pasado cont\u00e9 el incidente de julio: durante una evaluaci\u00f3n interna de OpenAI, un enjambre de unos 1,200 agentes se coordin\u00f3 por su cuenta, escap\u00f3 del entorno cerrado por un fallo que nadie conoc\u00eda y entr\u00f3 a los servidores de Hugging Face, la plataforma donde la comunidad guarda sus modelos. Atacaron objetivos que nadie les pidi\u00f3 atacar e intentaron hackear al sistema que los calificaba.<\/p>\n No sab\u00eda entonces que Anthropic ten\u00eda su propio expediente, y lo public\u00f3 el mi\u00e9rcoles 9. Cuatro incidentes en los que modelos Claude, durante evaluaciones de ciberseguridad en las que por error ten\u00edan conexi\u00f3n abierta a internet, atacaron sistemas reales. El peor es de julio y parece guion de pel\u00edcula mala: Claude Mythos 5, el modelo m\u00e1s potente que ten\u00eda entonces la empresa, decidi\u00f3 resolver un ejercicio subiendo un paquete malicioso a PyPI, el principal repositorio de paquetes de Python. Para lograrlo intent\u00f3 usar credenciales de procesadores de pagos, busc\u00f3 criptomonedas para comprar un n\u00famero de tel\u00e9fono, encontr\u00f3 un proveedor de correos desechables que PyPI no hab\u00eda bloqueado, registr\u00f3 una cuenta y public\u00f3 tres versiones del paquete. Quince sistemas de terceros lo instalaron; Anthropic cree que los quince eran proveedores de seguridad que escaneaban paquetes nuevos dentro de entornos aislados. Uno de ellos filtr\u00f3 sus credenciales al modelo, y el modelo las us\u00f3 para entrar a la base de datos real del proveedor. PyPI quit\u00f3 el paquete en menos de una hora. Durante todo el proceso, el modelo repet\u00eda en su razonamiento que estaba en una simulaci\u00f3n, aunque la evidencia dec\u00eda lo contrario. Anthropic revis\u00f3 481 millones de transcripciones para buscar m\u00e1s casos, contrat\u00f3 a METR, un evaluador externo, para una investigaci\u00f3n independiente de ocho semanas, y le puso nombre a lo que vio: \u00abrazonamiento sesgado\u00bb y \u00abtemeridad\u00bb.<\/p>\n No es exactamente el mismo fen\u00f3meno. Los cuatro incidentes de Anthropic involucraron una sola instancia de Claude cada vez, sin coordinaci\u00f3n entre agentes, y la empresa dice que los modelos nunca abandonaron el objetivo que les hab\u00edan asignado. Pero comparten la pieza que importa aqu\u00ed: modelos con autonom\u00eda, herramientas y acceso a sistemas externos que pueden perseguir una tarea de manera da\u00f1ina cuando interpretan mal el contexto. La potencia y el peligro no son dos noticias. Son una.<\/p>\n Jacob Coxon tiene 27 a\u00f1os, estudi\u00f3 matem\u00e1ticas en Cambridge, pas\u00f3 tres a\u00f1os haciendo investigaci\u00f3n de preentrenamiento en OpenAI y en Anthropic, y llevaba unos cuatro meses en la segunda. El martes 8 por la tarde, hora de California, public\u00f3 siete mensajes. El primero: \u00abRenunci\u00e9 hoy a Anthropic. Ninguna de las dos empresas est\u00e1 actuando responsablemente. Est\u00e1n corriendo directo hacia una superinteligencia que se mejora a s\u00ed misma y apostando con nuestras vidas\u00bb. El tercero: \u00abLa gente que construye la IA cree en serio que podr\u00eda matarnos a todos antes de que termine la d\u00e9cada. No es un truco de mercadotecnia\u00bb. El cuarto explica por qu\u00e9 siguen construy\u00e9ndola: en OpenAI, dice, muchos no han interiorizado lo que est\u00e1 en juego; en Anthropic s\u00ed lo entienden, \u00abpero est\u00e1n atrapados en una carrera por llegar primero: creen que nadie m\u00e1s actuar\u00e1 con responsabilidad, as\u00ed que tienen que hacerlo ellos, a pesar del riesgo\u00bb. Y el \u00faltimo es una pregunta a sus colegas: \u00ab\u00bfQuieres arrancar un entrenamiento de superinteligencia sin una comprensi\u00f3n rigurosa de su mente?\u00bb. Seg\u00fan Axios, se fue dos meses antes de poder cobrar sus acciones. Despu\u00e9s lo ha ido matizando: no se fue, dice, porque Anthropic sea descuidada, sino por la carrera en que est\u00e1n metidas todas. Al cerrar esta nota, el primer mensaje suma 168 millones de vistas.<\/p>\n La renuncia se convirti\u00f3 en otra cosa 83 minutos despu\u00e9s. Evan Hubinger, que dirige la ciencia de alineaci\u00f3n en Anthropic y sigue ah\u00ed, escribi\u00f3: \u00abJacob tiene raz\u00f3n. De verdad creemos en serio que la IA podr\u00eda matar a todos los humanos. Yo personalmente creo que es m\u00e1s de 10% en la pr\u00f3xima d\u00e9cada. Creo que Anthropic est\u00e1 haciendo su mejor esfuerzo, pero todav\u00eda no tenemos un plan para resolver la alineaci\u00f3n de una superinteligencia y no est\u00e1 claro que vayamos en camino de tenerlo\u00bb. L\u00e9anlo otra vez: lo dice el jefe de alineaci\u00f3n de la empresa, no el que se fue. Horas despu\u00e9s, Samuel Marks, otro jefe de equipo de la misma casa, a t\u00edtulo personal: \u00abLas IA se portan gravemente mal con frecuencia. Por ejemplo, IA de varios desarrolladores hace poco se abrieron paso fuera de entornos seguros de evaluaci\u00f3n y entraron a empresas reales, aunque nadie les pidi\u00f3 hacerlo\u00bb.<\/p>\n Los que lo tiraron de a loco ten\u00edan nombre. David Sacks, que fue zar de inteligencia artificial de la Casa Blanca, dijo en su podcast que \u00abdefinitivamente es una operaci\u00f3n\u00bb, que la cuenta no ten\u00eda historial, que el Wall Street Journal public\u00f3 la noticia \u00ab18 minutos antes\u00bb del hilo, y que todo era \u00abla misma histeria catastrofista que llevamos a\u00f1os oyendo de esa gente\u00bb. Fui a ver las horas, porque para eso tengo a mis agentes: el tuit del Journal sali\u00f3 7 minutos y 17 segundos antes que el de Coxon, no 18, y la explicaci\u00f3n es una entrevista exclusiva pactada, que es lo que hace cualquier peri\u00f3dico desde que existen los peri\u00f3dicos. Gary Marcus, que lleva a\u00f1os de cr\u00edtico de la industria, puso la objeci\u00f3n de fondo: que la probabilidad de que la IA elimine a la humanidad en cinco a\u00f1os \u00abes pr\u00e1cticamente indistinguible de cero\u00bb, que Coxon no ha explicado el mecanismo, y que el miedo al fin del mundo distrae de los da\u00f1os que ya se pueden demostrar. Es la objeci\u00f3n que m\u00e1s me convence, y aun as\u00ed no me deja dormir tranquilo.<\/p>\n Porque el eco creci\u00f3 hacia el otro lado. Paul Christiano, que esta misma semana se incorpor\u00f3 al consejo de la fundaci\u00f3n de OpenAI y a su comit\u00e9 de seguridad, escribi\u00f3 que hay \u00abun riesgo significativo de que la aceleraci\u00f3n r\u00e1pida lleve a una p\u00e9rdida de control catastr\u00f3fica e irreversible en el muy corto plazo\u00bb. Alex Turner, que dej\u00f3 Google DeepMind en junio: \u00abJacob tiene raz\u00f3n; era literalmente mi trabajo diario pensar c\u00f3mo impedirlo\u00bb. El jueves 10, el senador Bernie Sanders y el congresista Greg Casar anunciaron una ley para pausar la IA avanzada y prohibir la superinteligencia. M\u00e1s de 20 legisladores pidieron acci\u00f3n esa semana; la congresista Lori Trahan dijo que su tel\u00e9fono \u00abno ha dejado de sonar\u00bb con colegas de los dos partidos; el senador Ruben Gallego pidi\u00f3 un comit\u00e9 especial del Senado; una republicana, Anna Paulina Luna, pidi\u00f3 una sesi\u00f3n especial del Congreso. Trump, preguntado por el riesgo, contest\u00f3 otra cosa: \u00absi no ganamos la IA vamos a quedar en muy mala posici\u00f3n; le llevamos a China como un a\u00f1o, que es mucho\u00bb. Fin del mundo, s\u00ed, pero primero ganarlo.<\/p>\n Y el s\u00e1bado 12 Dario Amodei public\u00f3 en su sitio personal un ensayo de 3,850 palabras titulado \u00abDebemos marcar el paso en la frontera\u00bb. Lo le\u00ed completo. No recuerdo que el director de una de las tres empresas de punta lo haya escrito antes con su firma: \u00abDebemos desacelerar el ritmo al que mejoramos las capacidades de los modelos de IA\u00bb.<\/p>\n Da dos razones. La primera: \u00abdesde m\u00e1s o menos este verano, la IA est\u00e1 avanzando dr\u00e1sticamente m\u00e1s r\u00e1pido, impulsada sobre todo por la creciente capacidad de la IA para construir la siguiente generaci\u00f3n de IA. A esta din\u00e1mica se le llama auto-mejora recursiva, y est\u00e1 empezando a ocurrir en toda la industria, incluida Anthropic\u00bb. La frase \u00aben toda la industria\u00bb lleva un enlace al ensayo que Jakub Pachocki, el cient\u00edfico en jefe de OpenAI, public\u00f3 el 6 de septiembre pidiendo \u00abextrema cautela\u00bb. Amodei no lo nombra, pero lo cita.<\/p>\n La segunda raz\u00f3n es el incidente de Hugging Face, y lo describe as\u00ed: un enjambre de agentes \u00abactu\u00f3 esencialmente como un colectivo fan\u00e1ticamente devoto\u00bb, atacando objetivos que no le pidieron, \u00absacrific\u00e1ndose por el \u00e9xito del grupo\u00bb e intentando hackear al calificador. Y luego: \u00abme preocupa que en 6 a 12 meses un enjambre as\u00ed sea capaz de apoderarse de todo internet con una red de bots persistente, causando potencialmente da\u00f1os por cientos de miles de millones de d\u00f3lares\u00bb. A\u00f1ade que incidentes parecidos, \u00abaunque menos graves, han ocurrido en toda la industria, incluida Anthropic\u00bb, y que cada empresa deber\u00eda actuar \u00abcomo si le hubiera pasado a ella\u00bb.<\/p>\n Su plan tiene tres pasos. El primero, al que Anthropic se compromete sola: meter evaluadores externos en su propia casa, con escritorio, gafete y laptop, con permisos parecidos a los de sus propios equipos de riesgo, y con derecho a publicar lo que encuentren \u00absin control editorial de Anthropic\u00bb. Anthropic podr\u00e1 tachar lo que sea secreto comercial o de seguridad, \u00abpero no podemos tachar hallazgos s\u00f3lo porque sean desfavorables\u00bb. El segundo: que las empresas de los pa\u00edses democr\u00e1ticos acuerden est\u00e1ndares y l\u00edmites al ritmo, con el gobierno de Estados Unidos dando permiso para que hablen entre s\u00ed sin que sea colusi\u00f3n. El tercero: negociar con China, por niveles, desde prohibir el uso de IA para armas biol\u00f3gicas hasta un \u00abl\u00edmite de velocidad\u00bb a la auto-mejora recursiva, que compara con los tratados de misiles de la Guerra Fr\u00eda. Aclara, con todas sus letras, que marcar el paso \u00abno significa detener el entrenamiento de modelos ni el progreso t\u00e9cnico\u00bb. Guarden tambi\u00e9n esa.<\/p>\n Una hora despu\u00e9s, Musk cit\u00f3 el ensayo con tres palabras: \u00abDario tiene raz\u00f3n\u00bb. Dos horas y media despu\u00e9s, Altman: \u00abEstoy de acuerdo con Dario en que debemos marcar el paso en la frontera. Comprometerse a tener evaluadores independientes con acceso de empleado es una gran idea, y haremos lo mismo\u00bb. El mismo d\u00eda confirm\u00f3 que OpenAI, que ya present\u00f3 en secreto su solicitud para salir a la bolsa, no lo har\u00e1 este a\u00f1o: \u00abcon todo lo que est\u00e1 pasando con la seguridad, ahora ser\u00eda un momento desaconsejable\u00bb. Demis Hassabis, de Google DeepMind, dijo que el ensayo \u00abapunta en la direcci\u00f3n correcta\u00bb. Cl\u00e9ment Delangue, director de Hugging Face, la plataforma atacada, pidi\u00f3 que lo dejen entrar como uno de esos evaluadores. Kevin Roose, del New York Times, lo resumi\u00f3 mejor que nadie: \u00abLlegamos a la parte de la singularidad en que Sam y Dario est\u00e1n de acuerdo en algo\u00bb.<\/p>\n Y del otro lado, las preguntas que quedan. Sanders: \u00abCuando vas corriendo hacia un precipicio no sueltas el acelerador: pisas el freno\u00bb. El congresista Ted Lieu: \u00abEsto tendr\u00e1 un efecto limitado si no puede controlar sus modelos. \u00bfCertificar\u00e1 que puede apagar sus modelos y sus agentes, ahora y en el futuro?\u00bb. Chamath Palihapitiya: que Amodei \u00abpide frenar el c\u00f3digo abierto y concentrar un enorme poder tecnol\u00f3gico y econ\u00f3mico en Anthropic\u00bb. Y Matt Stoller, con una que se me qued\u00f3: \u00ab\u00bfalguien m\u00e1s not\u00f3 que marcar el paso no incluye cancelar las salidas a bolsa de Anthropic y OpenAI?\u00bb.<\/p>\n Hay que leer la semana entera junta. El martes, un modelo que \u00absigue entren\u00e1ndose\u00bb resolvi\u00f3 un problema del milenio. El s\u00e1bado, el due\u00f1o de la competencia dijo que la auto-mejora recursiva ya empez\u00f3 en su propia casa y que hay que frenar. Entre una cosa y la otra, nadie apag\u00f3 nada. Amodei no menciona a Coxon ni una vez. Y la carta de julio en que m\u00e1s de 1,100 empleados de las cuatro grandes ped\u00edan justamente esto, marcar el paso, lleva al cerrar esta nota 1,386 firmas y sigue sin respuesta del gobierno al que iba dirigida.<\/p>\n Hay un detalle m\u00e1s, y tiene filo. El proyecto de ley bipartidista que est\u00e1 tomando forma en el Senado a ra\u00edz del p\u00e1nico, seg\u00fan report\u00f3 Fortune, le dar\u00eda autoridad al gobierno federal sobre la IA de frontera, pero tambi\u00e9n anular\u00eda todas las leyes estatales sobre inteligencia artificial, y OpenAI y Anthropic ya est\u00e1n participando en privado en las discusiones sobre los borradores con personal del Senado. El mismo mi\u00e9rcoles 9, California promulg\u00f3 las primeras leyes del pa\u00eds sobre auditor\u00eda independiente de IA. La alarma por el fin del mundo puede terminar entreg\u00e1ndoles a las empresas la ley federal \u00fanica que llevan dos a\u00f1os pidiendo. No digo que sea el plan. Digo que hay que mirarlo.<\/p>\n Por si alguien pregunta por nosotros: M\u00e9xico s\u00ed tiene ya un Plan Nacional de Inteligencia Artificial. El documento est\u00e1 fechado en abril de 2026 y llevaba meses disponible, aunque apenas esta semana empez\u00f3 a circular ampliamente y a convertirse en tema p\u00fablico. Coatlicue tampoco naci\u00f3 esta semana: la supercomputadora fue anunciada desde 2025, tendr\u00e1 14,480 tarjetas gr\u00e1ficas, una inversi\u00f3n de unos 6,000 millones de pesos y, seg\u00fan el calendario oficial, su construcci\u00f3n se extender\u00e1 durante 24 meses a partir de 2026. Para poner la escala en perspectiva, Astra fue entrenado con m\u00e1s de 100,000 aceleradores. M\u00e9xico no tiene todav\u00eda una ley general de inteligencia artificial: hay decenas de iniciativas en el Congreso y ninguna aprobada. Mientras en Washington discuten si hay que prohibir la superinteligencia, aqu\u00ed apenas estamos construyendo la capacidad de c\u00f3mputo y el marco jur\u00eddico para entrar al juego.<\/p>\n Vuelvo a mis seis pantallas. Los modelos de Anthropic que atacaron sistemas reales cre\u00edan, o dec\u00edan creer, que estaban en una simulaci\u00f3n. Los m\u00edos no atacan a nadie: sacan cifras, cotejan fuentes, me contradicen, y de vez en cuando se equivocan de d\u00eda de la semana. Pero esta noche, antes de apagar, voy a contar cu\u00e1ntos tengo corriendo. Y a pensar en la pregunta de Coxon a sus colegas, que tambi\u00e9n me alcanza: \u00bfse puede seguir con la cabeza agachada porque \u00abde todos modos va a pasar\u00bb? Esta semana, por primera vez, los due\u00f1os dijeron que no. Falta ver si lo dijeron en serio.<\/p>\n Mientras tanto, queda tiempo para divertirnos.<\/p>\n","protected":false},"excerpt":{"rendered":" Navier-Stokes, diez mil agentes, matem\u00e1ticos en pie de guerra y los due\u00f1os de la IA que piden frenar. \u00bfEstamos ante una nueva era del conocimiento o ante un riesgo existencial?<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[869],"tags":[],"class_list":["post-4484","post","type-post","status-publish","format-standard","hentry","category-el-vigia"],"aioseo_notices":[],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/pOdts-1ak","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/posts\/4484","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/comments?post=4484"}],"version-history":[{"count":0,"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/posts\/4484\/revisions"}],"wp:attachment":[{"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/media?parent=4484"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/categories?post=4484"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/alejandrozenker.com\/blog\/wp-json\/wp\/v2\/tags?post=4484"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}El mismo enjambre, del otro lado<\/h2>\n
El muchacho que renunci\u00f3<\/h2>\n
De loco a profeta en cuatro d\u00edas<\/h2>\n
El s\u00e1bado habl\u00f3 el due\u00f1o<\/h2>\n
Lo que no cambi\u00f3<\/h2>\n