Andrej Karpathy: «No estamos construyendo animales, estamos invocando fantasmas»

El refuerzo es terrible. Da la casualidad de que todo lo que teníamos antes es mucho peor.

De hecho, soy optimista. Creo que esto funcionará. Creo que es manejable. Solo sueno pesimista porque cuando veo mi timeline de Twitter, veo todo esto que no tiene sentido para mí. Mucho de esto es, creo, honestamente solo recaudación de fondos.

En realidad no estamos construyendo animales. Estamos construyendo fantasmas. Una especie de entidades espirituales etéreas, porque son completamente digitales y están imitando a los humanos, y es un tipo diferente de inteligencia.

Todo sigue igual porque ya estamos en una explosión de inteligencia, y lo hemos estado durante décadas. Todo se está automatizando gradualmente, y lo ha estado durante cientos de años.

No escribas entradas de blog. No hagas diapositivas. No hagas nada de eso. Más bien, construye el código, arréglalo, haz que funcione. Es la única manera; si no, te faltará conocimiento.

Si tienes un tutor de IA perfecto, quizás puedas llegar extremadamente lejos. Los genios de hoy apenas rascan la superficie de lo que una mente humana puede hacer, creo.

Hoy estoy hablando con Andrej Karpathy. Andrej, ¿por qué dices que esta será la Década de los Agentes y no el Año de los Agentes?

Antes que nada, gracias por invitarme. Estoy emocionado de estar aquí. La cita que acabas de mencionar, «La Década de los Agentes», es en realidad una reacción a una cita preexistente, debería decir, donde creo que algunos de los laboratorios... No estoy realmente seguro de quién dijo esto, pero aludían a que este era el Año de los Agentes con respecto a los LLM y cómo iban a evolucionar. Y creo que eso me hizo reaccionar porque siento que hay demasiadas predicciones exageradas en la industria. Para mí, esto se describe mucho más acertadamente como la Década de los Agentes.

Y tenemos algunos agentes muy tempranos que son, de hecho, extremadamente impresionantes y que uso a diario. Claude y Codex y demás. Pero sigo sintiendo que hay mucho trabajo por hacer. Y entonces creo que mi reacción es que estaremos trabajando con estas cosas por décadas. Van a mejorar, y va a ser algo maravilloso. Pero creo que solo estaba reaccionando a los plazos, supongo, de la implicación.

¿Y qué crees que tomará una década lograr? ¿Cuáles son los cuellos de botella?

Haz que funcione de verdad. En mi mente, cuando hablamos de un agente, supongo, o lo que los laboratorios tienen en mente y lo que quizás yo también tengo en mente, es que deberías pensarlo casi como un empleado o como un becario que contratarías para trabajar contigo.

Por ejemplo, trabajas con algunos empleados aquí. ¿Cuándo preferirías que un agente como Claude o Codex hiciera ese trabajo? Ahora mismo, claro, no pueden. ¿Qué se necesitaría para que pudieran hacerlo? ¿Por qué no lo haces hoy? Y la razón por la que no lo haces hoy es porque simplemente no funcionan. Por ejemplo, no tienen suficiente inteligencia, no son lo suficientemente multimodales, no pueden usar computadoras y todo ese tipo de cosas, y no hacen muchas de las cosas a las que te referiste antes. No tienen aprendizaje continuo. No puedes simplemente decirles algo y que lo recuerden. Y simplemente les falta capacidad cognitiva y no está funcionando, y creo que llevará alrededor de una década resolver todos esos problemas.

Qué interesante. Como un podcaster profesional y como un espectador de la IA desde lejos, es fácil para mí identificar: «Oh, esto es lo que falta, falta el aprendizaje continuo», o «Falta la multimodalidad». Pero realmente no tengo una buena forma de intentar ponerle una fecha límite. Si alguien dice: «¿Cuánto tiempo tomará el aprendizaje continuo?», no tengo una idea previa de que «Este es un proyecto que debería durar cinco años, diez años, cincuenta años». ¿Por qué una década? ¿Por qué no un año? ¿Por qué no cincuenta años?

Supongo que aquí es donde entras un poco en mi propia intuición, y también haciendo una pequeña extrapolación con respecto a mi propia experiencia en el campo, ¿verdad? Supongo que he estado en IA durante casi dos décadas. Quiero decir, van a ser quizás 15 años o así. No tanto. Tuviste a Richard Sutton aquí, que estuvo por aquí, por supuesto, por mucho más tiempo.

Pero sí tengo unos 15 años de experiencia de gente haciendo predicciones, de ver cómo realmente resultaron. Y también estuve en la industria por un tiempo y estuve en investigación, y trabajé en la industria por un tiempo. Supongo que me queda una intuición general de eso. Y siento que los problemas son manejables. Son superables. Pero siguen siendo difíciles. Y si lo promediara, simplemente se siente como una década, supongo, para mí.

Esto es, la verdad, bastante interesante. Quiero escuchar no solo la historia, sino también lo que la gente en la sala sentía que estaba a punto de ocurrir en los diferentes momentos de grandes avances. ¿Cuáles fueron las formas en que sus sentimientos eran demasiado pesimistas o demasiado optimistas? Tal vez, ¿deberíamos repasarlos uno por uno?

Claro.

Es una pregunta enorme, porque hablamos de quince años de cosas que pasaron. La IA es, de hecho, tan maravillosa porque ha habido varios, diría yo, cambios sísmicos que hicieron que todo el campo, de repente, se viera de otra forma. ¿Verdad? Y supongo que he vivido dos o tres de esos. Y sigo pensando que seguirá habiendo algunos, porque vienen con una especie de regularidad casi sorprendente.

Cuando mi carrera empezó, cuando empecé a trabajar en aprendizaje profundo, cuando me interesé en el aprendizaje profundo, esto fue por casualidad, por estar justo al lado de Geoff Hinton en la Universidad de Toronto. Y Geoff Hinton, claro, es la figura del padrino de la IA. Y él estaba entrenando todas estas redes neuronales, y me pareció increíble e interesante. Pero esto no era, digamos, lo principal que todos en la IA estaban haciendo ni de lejos. Esto era un pequeño tema de nicho, al margen. Eso fue quizás el primer, digamos, cambio sísmico dramático que llegó con AlexNet y demás.

Diría que AlexNet, en cierto modo, reorientó a todos, y todos empezaron a entrenar redes neuronales. Pero seguía siendo muy por tarea, por tarea específica. Quizás tengo un clasificador de imágenes o un traductor automático neuronal o algo así. Y la gente, muy lentamente, se interesó en agentes, diría yo.

Y la gente empezó a preguntarse: «Bueno, quizás ya tenemos una marca de verificación junto a la corteza visual o algo por el estilo, pero ¿qué hay de las otras partes del cerebro y cómo podemos obtener un agente o una entidad completa que realmente pueda interactuar en el mundo?». Y yo diría que el cambio en el aprendizaje por refuerzo profundo de Atari, alrededor de 2013 o así, fue parte de ese esfuerzo inicial de agentes, para mí, porque fue un intento de conseguir agentes que no solo percibieran el mundo, sino que también actuaran e interactuaran y obtuvieran recompensas del entorno. Y en ese momento eran juegos de Atari, ¿verdad?

Y, en cierto modo, siento que eso fue un paso en falso, en realidad. Y fue un paso en falso que, de hecho, incluso el primer OpenAI, del que yo formé parte, por supuesto, adoptó porque en aquel momento el espíritu de la época era el de los entornos de aprendizaje por refuerzo, juegos, jugar a juegos, vencer juegos. Había muchos tipos diferentes de juegos, y OpenAI estaba haciendo mucho de eso. Esa fue quizás otra parte prominente de la IA donde quizás por dos o tres o cuatro años todos estaban haciendo aprendizaje por refuerzo en juegos.

Y básicamente fue un pequeño paso en falso. Y lo que intentaba hacer en OpenAI, en realidad, es que siempre sospeché un poco de los juegos como algo que realmente llevaría a la IAG. Porque en mi mente se busca algo como un contable o algo que de verdad interactúe con la realidad, y no entendía cómo los videojuegos, digamos, encajaban ahí. Mi proyecto en OpenAI, por ejemplo, era, en el marco del Proyecto Universe, sobre un agente que utilizaba teclado y ratón para manejar páginas web.

Y realmente quería tener algo que, por ejemplo, interactúe con el mundo digital real, que pueda hacer trabajo de conocimiento. Y resulta que esto era extremadamente temprano, demasiado temprano. Tan temprano que no deberíamos haber estado trabajando en eso. Porque si solo estás tanteando a ciegas, aporreando el teclado y haciendo clic con el ratón, intentando obtener recompensas en estos entornos, tu recompensa será demasiado escasa y simplemente no aprenderás, y vas a quemar un bosque computando. Y nunca vas a lograr que algo despegue realmente. Y lo que te está faltando es este poder de representación en la red neuronal.

Y así, por ejemplo, hoy la gente entrena a esos agentes informáticos, pero lo hacen sobre un gran modelo de lenguaje, y así tienes que conseguir el modelo de lenguaje primero. Tienes que conseguir las representaciones primero, y tienes que hacer eso con todo el preentrenamiento y todo lo de los LLM.

En cierto modo, tengo la sensación de que, en términos generales, era como si la gente siguiera intentando conseguirlo todo demasiado pronto en varias ocasiones, donde la gente, por ejemplo, realmente intenta ir tras los agentes demasiado pronto, diría yo. Y eso fue Atari y Universe, e incluso mi propia experiencia. Y en realidad hay que hacer algunas cosas primero antes de que lleguemos, por así decirlo, a esos agentes.

Y quizás ahora los agentes son mucho más competentes, pero quizás todavía nos faltan algunas partes de esa pila. Pero yo diría que quizás esos son los tres grandes grupos de lo que la gente estaba haciendo: entrenar redes neuronales para cada tarea, probando la primera generación de agentes, y luego quizás los LLM y buscando realmente el poder de representación de las redes neuronales antes de que le añadas todo lo demás encima.

Interesante. Supongo que si tuviera que darle la mejor interpretación a la perspectiva de Sutton, sería que los seres humanos pueden con todo a la vez, ¿verdad? Incluso los animales pueden con todo a la vez, ¿verdad? Los animales son quizás un mejor ejemplo porque ni siquiera tienen el andamiaje del lenguaje. Simplemente son lanzados al mundo y tienen que darle sentido a todo sin etiquetas.

Y la visión para la IAG debería ser algo que, por ejemplo, solo mire datos sensoriales, mire la pantalla del ordenador, y que simplemente entienda lo que pasa desde cero. Es decir, si un humano fuera puesto en una situación similar, tuviera que ser entrenado desde cero, quiero decir, esto es como un humano creciendo o un animal creciendo. Entonces, ¿por qué no debería ser esa la visión para la IA en lugar de, por ejemplo, esto de hacer millones de años de entrenamiento?

Creo que esa es una muy buena pregunta. Sutton estuvo en tu podcast, y yo vi el podcast, y tenía un escrito sobre ese podcast que casi que se adentra un poco en cómo veo yo las cosas. Y la verdad es que siento que soy muy cuidadoso al hacer analogías con animales porque se originaron mediante un proceso de optimización muy distinto.

Los animales han evolucionado, y de hecho vienen con una gran cantidad de hardware de serie. Por ejemplo, mi ejemplo en la publicación fue la cebra. Una cebra nace, y unos minutos después está corriendo y siguiendo a su madre. Eso es algo extremadamente complicado de hacer. Eso no es aprendizaje por refuerzo. Eso es intrínseco.

Y la evolución obviamente tiene alguna forma de codificar los pesos de nuestras redes neuronales en ATCG, y no tengo idea de cómo funciona eso, pero aparentemente funciona. Siento que los cerebros simplemente vinieron de un proceso muy diferente, y yo dudo mucho en inspirarme en ello porque en realidad no estamos ejecutando ese proceso. En mi publicación dije: «En realidad no estamos construyendo animales». Estamos construyendo fantasmas o, digamos, espíritus, o lo que la gente quiera llamar a eso, porque no estamos realizando un entrenamiento basado en la evolución.

Estamos haciendo el entrenamiento básicamente por imitación de los humanos y los datos que han subido a internet. Y así terminas con una especie de entidades espirituales etéreas porque son completamente digitales, y están imitando a los humanos. Y es un tipo de inteligencia diferente. Si imaginas un espacio de inteligencias, estamos partiendo de un punto casi distinto.

No estamos realmente construyendo animales, pero creo que también es posible hacerlos más animalescos con el tiempo. Y creo que deberíamos estar haciendo eso. Perdón, solo un punto más. Siento que Sutton básicamente tiene un... Su marco es: queremos construir animales. Y de hecho creo que eso sería maravilloso. Si logramos que eso funcione, sería realmente increíble. Si existiera un único algoritmo que pudieras simplemente ejecutarlo en la red y que aprendiera absolutamente todo, eso sería verdaderamente increíble.

Casi sospecho que no estoy realmente seguro de que exista, y eso ciertamente no es lo que hacen los animales porque los animales tienen este bucle externo de evolución. Y mucho de lo que parece aprendizaje es en realidad mucha más maduración del cerebro, y creo que en realidad hay muy poco aprendizaje por refuerzo para los animales. Y creo que gran parte del aprendizaje por refuerzo es en realidad más como tareas motoras. No son tareas de inteligencia. En realidad, creo que los humanos no usan realmente el aprendizaje por refuerzo, hablando en términos generales, es lo que diría.

¿Puedes repetir la última frase? Mucha de esa inteligencia no es motora, ¿qué es? Perdón.

Mucha parte del aprendizaje por refuerzo, desde mi perspectiva, serían cosas mucho más motoras, tareas simples, como lanzar un aro, algo así. Pero no creo que los humanos usen el aprendizaje por refuerzo para muchas tareas de inteligencia, como la resolución de problemas y cosas así.

Interesante.

Eso no significa que no debamos hacerlo para investigación, pero siento que es lo que los animales hacen o no.

Voy a tomarme un segundo para digerir eso, porque hay muchas ideas diferentes. Quizás una pregunta aclaratoria que puedo hacer para entender mejor la perspectiva. Creo que sugieres que, mira, la evolución está haciendo el tipo de cosa que hace el preentrenamiento en el sentido de construir algo que luego pueda entender el mundo.

La diferencia, supongo, es que la evolución, en el caso de los seres humanos, debe ser ajustada con una precisión extrema a través de tres gigabytes de ADN, lo cual es muy distinto a los pesos de un modelo. Quiero decir, literalmente, los pesos del modelo son un cerebro, lo cual obviamente no está codificado en el esperma y el óvulo; o sea, eso no existe en el esperma y el óvulo, así que tiene que ser cultivado.

Y además, la información de cada sinapsis en el cerebro simplemente no puede existir en los tres gigabytes que existen en el ADN. La evolución parece estar más cerca de encontrar el algoritmo que luego realiza el aprendizaje a lo largo de la vida. Ahora, quizás el aprendizaje a lo largo de la vida no sea análogo al RL, según tu punto de vista. ¿Es eso compatible con lo que decías, o estarías en desacuerdo con eso?

Creo que sí. Estoy de acuerdo contigo en que hay una compresión milagrosa ocurriendo, porque obviamente los pesos de la red neuronal no se almacenan en los ATCG.

Existe una especie de compresión dramática, y hay algoritmos de aprendizaje codificados que se encargan de hacer parte del aprendizaje en línea. Por eso, estoy completamente de acuerdo contigo en eso.

Básicamente, diría que soy mucho más de mentalidad práctica. No lo abordo desde la perspectiva de «construyamos animales». Vengo de la perspectiva de «construyamos cosas que sean útiles». Así que llevo un casco puesto y solo estoy observando que, miren, no vamos a hacer evolución porque no sé cómo se hace eso. Pero resulta que podemos construir estas entidades fantasma, tipo espíritu, imitando documentos de internet. Esto funciona. Y en realidad es una forma de llevarte a algo que tiene mucho conocimiento e inteligencia incorporados de alguna manera, similar a lo que quizás ha hecho la evolución. Por eso, de alguna manera, llamo al preentrenamiento una especie de evolución cutre. Es como la versión prácticamente posible con nuestra tecnología y lo que tenemos disponible para llegar a un punto de partida donde realmente podamos hacer cosas como el aprendizaje por refuerzo y demás.

Solo para reforzar la otra perspectiva, porque después de hacer esta entrevista y pensarlo un poco, aquí hay un punto importante. La evolución no nos da el conocimiento en sí, ¿verdad? Nos da el algoritmo para encontrar el conocimiento. Y eso parece diferente del preentrenamiento. Entonces, quizás la perspectiva sea que el preentrenamiento contribuye a formar el tipo de entidad que es capaz de aprender de una forma más eficiente. Enseña metaaprendizaje y, por consiguiente, es algo muy similar a lo que sería encontrar un algoritmo. Pero si la evolución nos da conocimiento, y el preentrenamiento también, esa analogía no funciona.

Sí. Es sutil, y creo que tienes razón en oponerte, pero básicamente lo que el preentrenamiento hace es que obtienes el predictor del siguiente token a través de internet y estás entrenando eso en una red neuronal. En realidad, está haciendo dos cosas que no están relacionadas. Número uno, está adquiriendo todo este conocimiento, como yo lo llamo. Número dos, en realidad se está volviendo inteligente. Al observar los patrones algorítmicos de internet, en realidad activa todos estos pequeños circuitos y algoritmos dentro de la red neuronal para hacer cosas como el aprendizaje en contexto y todo este tipo de cosas.

Y en realidad no necesitas ni quieres el conocimiento. De hecho, creo que eso probablemente está frenando las redes neuronales en general, porque en realidad es como hacer que dependan del conocimiento un poco demasiado a veces. Por ejemplo, siento que los agentes, algo en lo que no son muy buenos es salirse de la variedad de datos de lo que existe en internet. Si tuvieran menos conocimiento o memoria, quizás serían mejores. Y lo que creo que debemos hacer de ahora en adelante, y esto sería parte de los paradigmas de investigación, es que necesitamos encontrar formas de eliminar parte del conocimiento y de mantener lo que yo llamo este núcleo cognitivo. Es como una entidad inteligente que está despojada de conocimiento pero que contiene los algoritmos y contiene la magia de la inteligencia, la resolución de problemas, sus estrategias y todo eso.

Hay tantas cosas interesantes ahí. Bien, empecemos con el aprendizaje en contexto. Este es un punto obvio, pero creo que vale la pena decirlo explícitamente y meditar sobre ello. La situación en la que estos modelos parecen más inteligentes, en la que les hablo y digo: «Guau, realmente hay algo al otro lado que me responde pensando en cosas». Si, por ejemplo, comete un error, es como: «Oh, espera, esa no es la forma correcta de pensarlo, me retracto». Todo eso ocurre en contexto. Ahí es donde siento que la verdadera inteligencia se puede ver visiblemente.

Claro.

Y ese proceso de aprendizaje en contexto se desarrolla mediante el descenso de gradiente en el preentrenamiento, ¿verdad? Aprende metaaprendizaje en contexto de forma espontánea, pero el aprendizaje en contexto en sí mismo no es descenso de gradiente. De la misma manera que nuestra inteligencia de por vida como humanos para poder hacer cosas está condicionada por la evolución, pero nuestro aprendizaje real durante nuestra vida ocurre por otro proceso.

No concuerdo del todo, pero sigue con tu idea.

Vale. De hecho, tengo mucha curiosidad por ver cómo falla esa analogía.

Creo que dudo en decir que el aprendizaje en contexto no hace descenso de gradiente, porque no hace un descenso de gradiente explícito. Pero aun así creo que el aprendizaje en contexto es, básicamente, completación de patrones dentro de una ventana de tokens, ¿verdad? Y resulta que hay una enorme cantidad de patrones en internet. Y tienes razón, el modelo aprende a completar el patrón. Y eso está en los pesos. Los pesos de la red neuronal intentan descubrir patrones y completar el patrón. Y hay una especie de adaptación que ocurre dentro de la red neuronal, ¿verdad? Es algo mágico y simplemente surge de internet, simplemente porque hay muchos patrones.

Diré que ha habido algunos artículos que me parecieron interesantes que realmente analizan los mecanismos detrás del aprendizaje en contexto. Y sí creo que es posible que el aprendizaje en contexto ejecute un pequeño bucle de descenso de gradiente internamente en las capas de la red neuronal. Y recuerdo un artículo en particular donde estaban haciendo regresión lineal, de hecho, usando aprendizaje en contexto. Así que básicamente tus entradas a la red neuronal son pares X, Y. X, Y, X, Y, X, Y que resultan estar en una línea. Y luego haces X y esperas la Y. Y la red neuronal, cuando la entrenas de esta manera, de hecho hace regresión lineal. Y normalmente, cuando ejecutas regresión lineal, tienes un pequeño optimizador de descenso de gradiente que básicamente mira X, Y, mira un error, calcula el gradiente de los pesos y hace la actualización unas cuantas veces.

Pues resulta que, cuando observaron los pesos de ese algoritmo de aprendizaje en contexto, de hecho encontraron ciertas analogías con la mecánica del descenso de gradiente. De hecho, creo que el propio artículo fue incluso más contundente porque codificaron directamente los pesos de la red neuronal para llevar a cabo el descenso de gradiente a través de la atención y todos los componentes internos de la red neuronal.

Así que supongo que mi única objeción es que quién sabe cómo funciona el aprendizaje en contexto, pero en realidad creo que probablemente esté haciendo un poco de algún tipo de descenso de gradiente peculiar internamente y creo que eso es posible. Así que supongo que solo estaba objetando que tú dices que no está haciendo descenso de gradiente. Quién sabe qué está haciendo, pero probablemente esté haciendo algo similar a eso, aunque no lo sabemos.

Entonces, vale la pena pensar: si el aprendizaje en contexto y el preentrenamiento están implementando algo como el descenso de gradiente, ¿por qué parece que con el aprendizaje en contexto estamos llegando a algo como el aprendizaje continuo, algo parecido a la inteligencia real, mientras que no tienes esa sensación análoga solo con el preentrenamiento? Al menos, se podría argumentar eso.

Y entonces, si es el mismo algoritmo, ¿qué podría ser distinto? Una forma de verlo es cuánta información llega a almacenar el modelo por cada dato que recibe del entrenamiento. Y si miras el preentrenamiento, creo que si miras Llama 3, por ejemplo, creo que está entrenado con 15 billones de tokens. Y si miras un modelo de 70B, eso sería el equivalente a 0,07 bits por token en lo que ve en el preentrenamiento, en términos de la información en los pesos del modelo comparado con los tokens que lee. Mientras que si miras la caché KV y cómo crece por cada token adicional en el aprendizaje en contexto, es como 320 kilobytes. Así que esa es una diferencia de 35 millones de veces en cuánta información por token es asimilada por el modelo. Me pregunto si eso es relevante en absoluto.

Creo que estoy bastante de acuerdo. La forma en que suelo expresarlo es que cualquier cosa que ocurre durante el entrenamiento de la red neuronal, el conocimiento es solo como un recuerdo difuso de lo que sucedió en el tiempo de entrenamiento, y eso es porque la compresión es drástica. Estás tomando 15 billones de tokens y los estás comprimiendo a tu red final de unos pocos miles de millones de parámetros, así que obviamente hay una cantidad masiva de compresión.

Yo, de alguna manera, me refiero a ello como una vaga reminiscencia de los documentos de internet, mientras que cualquier cosa que ocurre en la ventana de contexto de la red neuronal, cuando introduces todos los tokens y se va construyendo toda esta representación de caché KV, es muy directamente accesible para la red neuronal. Así que comparo la caché KV y aquello que ocurre en tiempo de prueba con una memoria de trabajo. Todo lo que está en la ventana de contexto es muy directamente accesible a la red neuronal, así que siempre hay estas analogías casi sorprendentes entre LLM y humanos, y las encuentro algo sorprendentes porque no estamos intentando construir un cerebro humano. Directamente, solo estamos descubriendo que esto funciona y lo estamos haciendo.

Pero sí creo que cualquier cosa que esté en los pesos es como un recuerdo borroso de lo que leíste hace un año. Cualquier cosa que le des como contexto en el momento de la prueba está directamente en la memoria de trabajo, y creo que esa es una analogía muy poderosa para reflexionar. Así que cuando, por ejemplo, vas a un LLM y le preguntas sobre algún libro y lo que pasó en él, como el libro de Nick Lane o algo así, el LLM a menudo te dará cosas que son más o menos correctas, pero si le das el capítulo completo y le haces preguntas, conseguirás resultados mucho mejores porque ahora está cargado en la memoria de trabajo del modelo. Así que básicamente estoy de acuerdo con tu forma tan extensa de decir que estoy más o menos de acuerdo, y por eso.

Dando un paso atrás, ¿qué parte de la inteligencia humana hemos fallado más en replicar con estos modelos?

Casi siento que es mucho de ello aún. Entonces, quizás una forma de pensarlo, no sé si esta es la mejor manera, pero casi siento que, de nuevo, haciendo estas analogías, imperfectas como son, nos hemos topado con la red neuronal transformer, que es extremadamente potente, muy general. Puedes entrenar transformers con audio o video o texto o lo que quieras, y simplemente aprende patrones, y son muy potentes y funciona muy bien.

Eso, para mí, casi indica que esto es como un trozo de tejido cortical. Es algo así, porque la corteza es famosamente muy plástica también. Se pueden reconectar partes del cerebro, y hubo experimentos un poco espantosos de reconectar, por ejemplo, la corteza visual a la corteza auditiva y este animal aprendió bien, etcétera.

Creo que esto es como tejido cortical. Creo que cuando estamos haciendo razonamiento y planificación dentro de las redes neuronales, básicamente realizando rastros de razonamiento para los modelos de pensamiento, eso es como la corteza prefrontal. Y luego creo que quizás esas sean como pequeñas marcas de verificación, pero aun así creo que hay muchas partes del cerebro y núcleos que todavía no se han explorado. Quizás, por ejemplo, los ganglios basales hacen algo de aprendizaje por refuerzo al afinar los modelos de aprendizaje por refuerzo, mientras que el hipocampo, no es obvio qué sería eso. Algunas partes probablemente no son importantes. Quizás el cerebelo no es importante para la cognición, se cree, así que quizás podamos saltarnos algo.

Pero sigo pensando que existen, por ejemplo, la amígdala, todas las emociones y los instintos, y probablemente un montón de otros núcleos en el cerebro que son muy antiguos que no creo que hayamos realmente replicado. No sé en realidad si deberíamos estar persiguiendo la construcción de un análogo del cerebro humano. De nuevo, soy ingeniero de corazón, pero aún creo que quizás otra forma de responder la pregunta es que no vas a contratar a esto como becario, y le faltan muchas cosas porque viene con muchos de estos déficits cognitivos que todos sentimos intuitivamente cuando hablamos con los modelos. Y por eso, simplemente aún no está del todo ahí, y puedes verlo como que no todas las partes del cerebro están completas aún.

Esto quizás sea irrelevante para la cuestión de reflexionar sobre la velocidad con la que estos problemas serán resueltos. A veces la gente dice, en relación con el aprendizaje continuo: «Mira, la verdad es que ya podrías». Se podría replicar esta capacidad con gran facilidad. De la misma manera que el aprendizaje en contexto emergió de forma espontánea como resultado del preentrenamiento, el aprendizaje continuo a lo largo de horizontes temporales más extensos surgirá de manera espontánea si se incentiva al modelo a recopilar y recordar información a lo largo de horizontes más amplios, o bien horizontes que superen una única sesión. Entonces, si hay algún tipo de RL de bucle externo que tiene muchas sesiones dentro de ese bucle externo, este aprendizaje continuo, donde se autoajusta, donde escribe en una memoria externa o algo así, simplemente surgirá espontáneamente. ¿Crees que las cosas son realmente tan plausibles? No tengo un previo claro de cuán plausible es. ¿Cuán probable es que pase?

No sé si resueno completamente con eso, porque siento que estos modelos, cuando los inicias y tienen cero tokens en la ventana, siempre están reiniciando desde cero donde estaban. Así que no sé realmente en esa cosmovisión cómo se ve, porque, de nuevo, quizás haciendo algunas analogías con los humanos solo porque creo que es más o menos concreto y algo interesante para reflexionar.

Siento que cuando estoy despierto estoy construyendo una ventana de contexto de lo que ocurre en el día, pero siento que cuando duermo algo mágico sucede donde en realidad no creo que esa ventana de contexto se quede. Creo que existe un proceso de destilación en las conexiones neuronales de mi cerebro. Y esto sucede mientras dormimos y otras cosas por el estilo. No tenemos un equivalente para todo eso en los grandes modelos de lenguaje, y eso, para mí, está más relacionado con cuando hablas de aprendizaje continuo y demás, como algo ausente. Estos modelos no tienen realmente esta fase de destilación de tomar lo que sucedió, analizarlo y pensarlo obsesivamente.

Básicamente, haciendo algún tipo de proceso de generación de datos sintéticos y destilándolo de vuelta en los pesos y quizás teniendo una red neuronal específica por persona. Quizás es una LoRA, no es una red neuronal de pesos completos. Es solo pequeña, así que algunos de un pequeño subconjunto disperso de los pesos se cambian.

Pero básicamente sí queremos crear formas de generar individuos con contextos muy largos. No es solo permanecer en la ventana de contexto, porque las ventanas de contexto crecen muchísimo. Quizás tengamos una atención dispersa muy elaborada sobre ello. Pero sigo pensando que los humanos obviamente tienen algún proceso para destilar parte de ese conocimiento en los pesos. Nos lo estamos perdiendo.

Y también creo que los humanos tienen algún tipo de esquema de atención dispersa muy elaborado.

Y creo que estamos empezando a ver algunos indicios tempranos de eso. DeepSeek v3.2 acaba de ser lanzado y vi que tienen algo como una atención dispersa, por ejemplo, y esta es una manera de tener ventanas de contexto muy, muy extensas. Casi siento que estamos rehaciendo muchos de los trucos cognitivos que la evolución ideó a través de un proceso muy diferente. Pero creo que vamos a converger en una arquitectura similar, cognitivamente.

Es interesante. De aquí a diez años, ¿crees que seguirá siendo algo parecido a un Transformer, pero con una atención mucho más modificada y MLPs más dispersas, y cosas por el estilo?

Bueno, la forma en que me gusta verlo es así: pensemos en traducción y variación en el tiempo, ¿verdad? Entonces, hace diez años, ¿dónde nos encontrábamos? En 2015 teníamos redes neuronales convolucionales principalmente. Las redes residuales acababan de aparecer. Notablemente similar, supongo, pero bastante diferente aún. O sea, Transformer no existía.

Todas estas modificaciones más modernas en un Transformer no existían. Así que quizás algunas de las cosas por las que podemos apostar, creo, en diez años, por la equivariancia traslacional, es que seguimos entrenando redes neuronales gigantes con paso hacia adelante y hacia atrás y actualización mediante descenso de gradiente. Pero quizás se ve un poco diferente y es que, simplemente, todo es mucho más grande.

De hecho, recientemente, yo también me remonté hasta el año 1989, lo cual fue un ejercicio bastante divertido para mí hace unos años, porque estaba reproduciendo la red convolucional de Yann LeCun de 1989, que fue la primera red neuronal, que yo sepa, entrenada mediante descenso de gradiente, como las redes neuronales modernas, para el reconocimiento de dígitos.

Y a mí me interesaba: ¿cómo podría modernizar esto? ¿Qué parte de esto son algoritmos? ¿Qué parte de esto son datos? ¿Qué parte de este progreso es cómputo y sistemas? Y pude muy rápidamente reducir a la mitad la tasa de aprendizaje solo conociendo mi trampa, viajar en el tiempo 33 años. Así que si viajo en el tiempo mediante algoritmos 33 años, podría ajustar lo que Yann LeCun hizo en 1989, y podría básicamente reducir a la mitad el aprendizaje, reducir a la mitad el error. Pero para obtener mayores ganancias, tuve que añadir muchos más datos.

Tuve que multiplicar por diez el conjunto de entrenamiento, y luego tuve que añadir más optimizaciones computacionales, tuve que entrenar básicamente por mucho más tiempo, con dropout y otras técnicas de regularización. Y es casi como si todas estas cosas tuvieran que mejorar simultáneamente. Probablemente tendremos muchos más datos. Probablemente tendremos mucho mejor hardware, probablemente tendremos mucho mejores kernels y software. Probablemente tendremos mejores algoritmos. Y es casi como si ninguno de ellos estuviera ganando demasiado. Todos ellos son sorprendentemente iguales.

Y esto ha sido más o menos la tendencia desde hace un tiempo. Para responder quizás a tu pregunta, espero ver diferencias algorítmicamente en comparación con lo que está pasando hoy. Pero también espero que algunas de las cosas que han permanecido por un tiempo muy prolongado probablemente sigan estando ahí. Probablemente siga siendo una red neuronal gigante entrenada con descenso de gradiente. Esa sería mi suposición.

Es sorprendente que todas esas cosas juntas solo redujeran a la mitad el error. Es como si treinta años de progreso fueran... Quizás la mitad es mucho, porque si reduces el error a la mitad, eso en realidad significa que...

Claro.

La mitad es mucho.

Sí, sí. De acuerdo.

Pero supongo que lo que me sorprendió es que todo necesita mejorar en todos los aspectos. La arquitectura, el optimizador, la función de pérdida, y también ha mejorado en todos los aspectos desde siempre. Así que espero que todos esos cambios estén bien, vivos y coleando.

Claro.

Bueno, sí. De hecho, yo estaba a punto de hacerte una pregunta muy similar sobre nanochat. Porque como acabas de codificarlo hace muy poco, cada uno de los pasos en el proceso de construir un chatbot está fresco en tu memoria RAM.

Claro.

Y me pregunto si tú también pensaste algo parecido, como que no hubo un único factor realmente relevante para el paso de GPT-2 a nanochat. ¿Cuáles fueron los aprendizajes más sorprendentes de toda esta experiencia?

¿Hablando de nanochat? nanochat es una especie de repositorio que lancé, ¿fue ayer o anteayer? No lo recuerdo.

Se ve la privación de sueño que hubo en el...

Sí, sí, sí. Bueno, busca ser el repositorio más completo y sencillo que abarque todo el proceso de principio a fin para construir un clon de ChatGPT. Y tienes todos los pasos, no solo cualquier paso individual. Trabajé en todos los pasos individuales en el pasado y publiqué pequeños fragmentos de código que podrían mostrarte cómo se hace en un sentido algorítmico, en código simple. Pero esto se encarga de todo el proceso completo.

Creo que en cuanto a aprender, no es tanto que haya encontrado algo que aprendiera de ello necesariamente. Ya tenía más o menos en mente cómo se construye, y esto es solo un proceso de construirlo mecánicamente y de hacerlo lo suficientemente claro para que la gente pueda aprender de ello y que lo encuentren útil.

Sí. ¿Cuál es la mejor manera para que alguien aprenda de ello? ¿Es como borrar todo el código e intentar reimplementarlo desde cero, o añadirle modificaciones?

Sí, creo que es una gran pregunta. Yo diría que, básicamente, son unas ocho mil líneas de código que te guían por todo el proceso. Quizás lo pondría en el monitor derecho, si tienes dos monitores, lo pones en el derecho. Y si quieres construirlo desde cero, lo construyes desde el principio. No se te permite copiar y pegar. Se te permite referenciar, pero no copiar y pegar. Quizás así es como yo lo haría.

Pero también creo que el repositorio por sí solo es como una bestia bastante grande. Cuando escribes este código, no vas de arriba a abajo. Vas por trozos y haces crecer los trozos, y esa información está ausente, como si no supieras por dónde empezar. Entonces creo que no es solamente un repositorio final lo que se necesita, es más bien la construcción de ese repositorio, que es un proceso de crecimiento complejo y por etapas. Esa parte todavía no existe.

Correcto.

Me encantaría de hecho añadir eso probablemente más tarde esta semana o algo así, de alguna manera. Quizás sea probablemente un video o algo por el estilo. Pero quizás en términos generales, lo que intentaría es que lo construyas tú mismo, pero no te permitas copiar y pegar.

Claro que sí.

Yo creo que hay casi dos tipos de conocimiento, como el conocimiento superficial de alto nivel. Pero la cuestión es que cuando construyes algo desde cero, te ves obligado a aceptar lo que realmente no entiendes y no sabes que no lo entiendes. Y siempre lleva a una comprensión más profunda. Y no es solo la única forma de construir, es como: «Si no puedo construirlo, no lo entiendo». ¿Es una cita de Feynman, creo, o algo por el estilo?

Curioso.

Sí, por supuesto que sí.

Cien por cien, siempre he creído esto muy firmemente, porque hay todas estas microcosas que simplemente no están bien organizadas y realmente no tienes el conocimiento. Solo crees que tienes el conocimiento. Así que no escribas entradas de blog, no hagas diapositivas, no hagas nada de eso; construye el código, organízalo, hazlo funcionar. Es la única manera. De lo contrario, te falta conocimiento.

Tuiteaste que los modelos de codificación en realidad te fueron de muy poca ayuda para armar este repositorio. Y tengo curiosidad por saber por qué fue así.

Sí. El repositorio, supongo que lo construí durante un período de poco más de un mes. Y diría que hay como tres clases principales de cómo la gente interactúa con el código ahora mismo. Algunas personas rechazan completamente todos los LLM y simplemente están escribiendo desde cero. Creo que esto probablemente ya no es lo correcto.

La parte intermedia, que es donde estoy, es que todavía escribes muchas cosas desde cero, pero usas el autocompletado, que está básicamente disponible ahora a través de estos modelos. Así que cuando empiezas a escribir un pequeño trozo, se autocompletará por ti, y puedes simplemente tocar para seguir y la mayoría de las veces es correcto. A veces no lo es y tú lo editas. Pero sigues siendo en gran medida el arquitecto, por así decirlo, de lo que estás escribiendo.

Y luego está el «vibe coding». «Hola, por favor implementa esto o aquello», introduce, y luego deja que el modelo lo haga. Y esos son los agentes. Sí siento que los agentes funcionan en entornos muy específicos, y los usaría en entornos específicos. Pero de nuevo, todas estas son herramientas disponibles para ti, y tienes que aprender para qué son buenas y para qué no, y cuándo usarlas.

Así que los agentes son en realidad bastante buenos, por ejemplo, si estás haciendo cosas rutinarias. Código estándar que es solo copiar y pegar. Son muy buenos para eso. Son muy buenos en cosas que aparecen con mucha frecuencia en internet, porque hay muchísimos ejemplos de ello en los conjuntos de entrenamiento de estos modelos.

Entonces hay características de cosas en las que los modelos funcionarán muy bien. Yo diría que nanochat no es un ejemplo de eso, porque es un repositorio bastante único. No hay tanto código, creo, en la forma en que lo he estructurado. Y no es código repetitivo. Es, de hecho, un código casi intelectualmente intenso y todo tiene que estar muy precisamente organizado.

Y los modelos siempre trataban de... Es decir, tienen tantos déficits cognitivos, ¿no? Por ejemplo, malinterpretan el código porque tienen demasiada memoria de todas las formas típicas de hacer las cosas en internet que yo simplemente no estaba adoptando. Entonces los modelos, por ejemplo, no sé si quiero entrar en todos los detalles, pero siguen pensando que estoy escribiendo código normal y no es así.

Quizás un ejemplo interesante.

Quizás un ejemplo. Tenemos ocho GPUs que están haciendo propagación hacia adelante y hacia atrás. La forma de sincronizar los gradientes entre ellas es usar un contenedor DistributedDataParallel de PyTorch, que automáticamente hace todo el... Al hacer la propagación hacia atrás, empezará a comunicar y sincronizar gradientes.

No utilicé DDP porque no quise usarlo, ya que no es necesario, así que lo descarté. Básicamente escribí mi propia rutina de sincronización que está dentro del paso del optimizador. Y los modelos intentaban que usara el contenedor DDP y estaban muy preocupados por... Vale, esto se está volviendo demasiado técnico, pero no estaba usando ese contenedor porque no lo necesito y tengo una implementación personalizada de algo similar.

¿Y no aceptaron tu implementación?

Sí, no pudieron. No podían superar eso. Y luego seguían intentando arruinar el estilo. Es que son demasiado a la defensiva. Hacen todas estas sentencias try-catch. Siguen intentando crear una base de código de producción, y yo tengo un montón de suposiciones en mi código y está bien. Es que no necesito todo este material extra ahí. Y por eso siento que están inflando la base de código, están inflando la complejidad, siguen sin entender, están usando APIs obsoletas un montón de veces.

Así que es un desastre total, y simplemente no es tan útil. Puedo entrar y limpiarlo, pero no es tan útil. También siento que es un poco molesto tener que escribir lo que quiero en inglés, porque es demasiado teclear. Si simplemente navego a la parte del código que quiero y voy donde sé que el código tiene que aparecer, y empiezo a escribir las primeras tres letras, el autocompletado lo entiende y simplemente te da el código.

Y creo que esto es un ancho de banda de información muy alto para especificar lo que quieres: apuntas al código donde lo quieres y escribes las primeras piezas, y el modelo lo completará. Supongo que lo que quiero decir es que creo que estos modelos son buenos en ciertas partes de la pila.

De hecho, usé los modelos un poco. Hay dos ejemplos donde realmente uso los modelos que creo que son ilustrativos. Uno fue cuando generé un informe, y eso es en realidad más de plantilla, así que de hecho codifiqué parcialmente algo de eso. Eso estuvo bien, porque no es algo de misión crítica y funciona bien.

Y la otra parte es cuando estaba reescribiendo el tokenizador en Rust. En realidad no soy tan bueno en Rust porque soy bastante nuevo en Rust. Hay un poco de programación por intuición cuando escribía parte del código de Rust. Pero tenía una implementación en Python que entiendo completamente, y solo me aseguro de estar haciendo una versión más eficiente de ella, y tengo pruebas, así que me siento más seguro haciendo esas cosas.

Y básicamente lo que hacen es reducir o, mejor dicho, aumentar la accesibilidad a lenguajes o paradigmas con los que quizás no estés tan familiarizado. En ese sentido creo que resultan ser de gran ayuda también. Porque hay una cantidad enorme de código Rust disponible. Y los modelos, de hecho, son bastante buenos en ello. No sé mucho de eso, por eso los modelos son muy útiles ahí.

Bien. La razón por la que creo que esta pregunta es tan interesante es porque la historia principal que la gente tiene sobre la IA explotando y obteniendo superinteligencia bastante rápido es la IA automatizando la ingeniería y la investigación de IA.

Así que verán el hecho de que puedes tener código en la nube y crear aplicaciones completas, aplicaciones CRUD desde cero y dirán: «Si tuvieras esta capacidad dentro de OpenAI y DeepMind y todo lo demás, solo imagina el nivel de mil de ustedes o un millón de ustedes en paralelo encontrando pequeños ajustes arquitectónicos». Y es bastante interesante escucharte decir que esto es en lo que son asimétricamente peores. Y es bastante relevante para las predicciones, si una explosión del tipo AI 2027 es probable que ocurra en un futuro cercano.

Creo que es una buena forma de decirlo, y creo que estás dando en el clavo con por qué mis plazos son un poco más largos. Tienes razón. Creo que no son muy buenos con código que nunca se ha escrito antes. Quizás es una forma de decirlo, que es lo que intentamos lograr al construir estos modelos.

Una pregunta muy ingenua, pero los ajustes arquitectónicos que están añadiendo a nanochat están en algún artículo, ¿verdad? Incluso podrían estar en un repositorio. Entonces, ¿es sorprendente que no puedan integrar eso? Cuando, por ejemplo, añaden embeddings RoPE o algo así, ¿lo hacen de forma incorrecta?

Es duro. Creo que más o menos saben, lo saben, pero no lo saben del todo, y no saben cómo integrarlo del todo en el repositorio, tu estilo, tu código, tu lugar y algunas de las cosas personalizadas que haces, y cómo encaja con todas las suposiciones del repositorio y todo este tipo de cosas. Creo que sí tienen algo de conocimiento, pero no han llegado al punto en que puedan integrarlo, darle sentido y así sucesivamente. Creo que gran parte de esto, por cierto, sigue mejorando.

Entonces creo que el modelo de última generación al que acudo,

Probablemente, es el GPT-5 Pro. Y ese es un modelo muy, muy potente. Así que, si realmente tengo 20 minutos, copio y pego mi repositorio entero y voy al GPT-5 Pro, el Oráculo, para hacerle algunas preguntas. A menudo, no está mal, y es sorprendentemente bueno comparado con lo de hace un año.

Claro que sí.

Pero sí creo que, en general, los modelos no están a la altura. Y siento que la industria se está excediendo. Está dando un salto demasiado grande y está intentando hacer creer que esto es asombroso, y no lo es. Es una chapuza. Y creo que no lo asimilan, y quizás intentan recaudar fondos o algo así. No estoy seguro de qué está pasando, pero estamos en esta etapa intermedia. Los modelos son asombrosos. Todavía necesitan mucho trabajo.

De momento, autocompletado es mi fuerte. Pero a veces, para ciertos códigos, iré a un motor de conocimiento.

Y mira, esta es también otra razón por la que esto es muy interesante. A lo largo de toda la historia de la programación, ha habido muchísimas mejoras en la productividad: compiladores, herramientas de análisis de código, mejores lenguajes de programación, etcétera, que han incrementado la productividad de los programadores, pero no han provocado una explosión. Eso suena mucho a una pestaña de autocompletado. Y esta otra categoría es como la automatización del trabajo del programador. Y resulta interesante que se esté viendo más en la categoría de las analogías históricas, como por ejemplo mejores compiladores o algo por el estilo.

Sí. Y quizás porque esto me lleva a otra idea, que es: me cuesta diferenciar dónde empieza y dónde acaba la IA. Porque veo la IA fundamentalmente como una extensión de la computación de un modo bastante esencial. Y siento que hay una continuidad en esta automejora recursiva o en la aceleración de los programadores desde el principio. Por ejemplo, incluso diría los editores de código.

Así es.

Resaltado de sintaxis.

Así es.

La sintaxis, o la verificación de tipos, incluso de datos. Todas estas herramientas que hemos construido entre nosotros, incluso los motores de búsqueda. ¿Por qué los motores de búsqueda no son parte de la IA? No sé, el ranking es como IA, ¿no? En algún momento Google, incluso desde el principio, se consideraba una empresa de IA haciendo el motor de búsqueda de Google, lo cual me parece muy justo.

Yo lo veo más como un continuo de lo que creo que otras personas lo ven. Me cuesta trazar la línea, y siento que ahora estamos obteniendo un autocompletado mucho mejor, y ahora también estamos obteniendo algunos agentes que son como estas cosas cíclicas, pero a veces se descarrilan. Y lo que está pasando es que el humano está haciendo progresivamente cada vez menos del trabajo de bajo nivel. Por ejemplo, no estamos escribiendo el código ensamblador porque tenemos compiladores.

Claro.

¿Verdad? Por ejemplo, los compiladores toman mi lenguaje de alto nivel en C y escriben el código ensamblador. Así que nos estamos abstrayendo muy, muy lentamente. Y hay lo que yo llamo un control deslizante de autonomía, donde cada vez más cosas se automatizan de las que pueden automatizarse en cualquier momento, y nosotros hacemos cada vez menos y nos elevamos en la capa de abstracción sobre la automatización.

Uno de los grandes problemas con el aprendizaje por refuerzo es que la información disponible es increíblemente escasa. Labelbox puede ayudarte con esto, ya que incrementa la cantidad de información de la que tu agente puede aprender en cada episodio.

Por ejemplo, uno de sus clientes quería entrenar a un agente de codificación, así que Labelbox aumentó un IDE con un montón de herramientas adicionales de recolección de datos y contrató a un equipo de ingenieros de software expertos de su red de alineadores para generar trayectorias optimizadas para el entrenamiento. Obviamente, estos ingenieros evaluaron estas interacciones bajo un criterio de aprobado o reprobado, pero también calificaron cada respuesta en diversas dimensiones, como legibilidad y rendimiento, y anotaron su razonamiento para cada calificación que dieron.

Así que, básicamente, están mostrando cada paso que da un ingeniero y cada pensamiento que tienen mientras hacen su trabajo. Y esto es algo que nunca podrías obtener solo de los datos de uso. Labelbox recopiló todas estas evaluaciones, incluyendo las trayectorias de los agentes y las ediciones humanas correctivas, para que el cliente pudiera entrenar.

Este es solo un ejemplo, así que les invito a que exploren cómo Labelbox puede proporcionarles datos de frontera de alta calidad a través de diferentes dominios, modalidades y paradigmas de entrenamiento. Pueden contactarnos en labelbox.com/dwarkesh.

Hablemos un poco sobre el aprendizaje por refuerzo. Ustedes también hicieron cosas muy interesantes al respecto. Conceptualmente, ¿cómo deberíamos abordar la forma en que los seres humanos son capaces de construir un modelo rico y complejo del mundo simplemente al interactuar con nuestro entorno, y de maneras que parecen ser casi independientes de la recompensa final al término de cada episodio?

Si alguien está empezando un negocio, y al final de 10 años descubre si tuvo éxito o fracasó, decimos que ha ganado mucha sabiduría y experiencia.

Claro.

Pero no es porque los registros de actividad de cada cosa que pasó en los últimos diez años estén ponderados al alza o a la baja. Algo mucho más deliberado y rico está sucediendo. ¿Cuál es la analogía de ML y cómo se compara con lo que estamos haciendo con otros ahora mismo?

Sí, quizás lo diría así: los humanos no usan aprendizaje por refuerzo, es quizás lo que quiero decir. Creo que hacen algo diferente, que es, sí, experimentas. El aprendizaje por refuerzo es mucho peor de lo que creo que la persona promedio piensa. El aprendizaje por refuerzo es malo. Da la casualidad de que todo lo que teníamos antes es mucho peor. Porque antes solo imitábamos a la gente, así que tiene todos estos problemas.

En el aprendizaje por refuerzo, digamos que estás resolviendo un problema de matemáticas. Esto es muy simple. Te dan un problema de matemáticas y estás tratando de encontrar la solución. Ahora, en el aprendizaje por refuerzo, vas a probar muchísimas cosas en paralelo primero. Te dan un problema. Intentas cientos de intentos diferentes, y estos intentos pueden ser complejos, ¿verdad? Pueden ser como: «Déjame intentar esto. Déjame intentar aquello. Esto no funcionó. Aquello no funcionó», etcétera. Y luego quizás obtienes una respuesta, y ahora revisas la parte de atrás del libro, y ves: «La respuesta correcta es esta». Y entonces puedes ver que este, este y aquel obtuvieron la respuesta correcta, pero estos otros noventa y siete de ellos no.

Entonces, literalmente lo que hace el aprendizaje por refuerzo es que va a aquellos que funcionaron muy bien, y cada cosa que hiciste en el camino, cada token individual, recibe un peso mayor, como: «Haz más de esto». El problema con eso es que la gente dirá que tu estimador tiene una varianza alta, pero es simplemente ruidoso. Es ruidoso. Básicamente, casi asume que cada pequeña parte de la solución que creaste y que llegó a la respuesta correcta fue lo correcto, lo cual no es verdad. Es como si hubieras tomado caminos equivocados hasta que llegaste a la solución correcta. Cada una de esas cosas incorrectas que hiciste, mientras llegaras a la solución correcta, será recompensada como «haz más de esto». Es terrible.

Claro.

Es solo ruido. Has hecho todo este trabajo solo para encontrar un único... Al final, obtienes un único número que dice: «Lo hiciste bien». Y, basándote en eso, sopesas toda esa trayectoria como si fuera hacia arriba o hacia abajo.

La forma en que lo veo es: estás sorbiendo la supervisión con pajita, porque has hecho todo este trabajo, que podrían ser minutos de despliegue, y estás como sorbiendo los pedacitos de supervisión de la señal de recompensa final con pajita, y lo estás como poniendo... Básicamente, estás transmitiendo eso por toda la trayectoria y usándolo para potenciar o reducir esa trayectoria. Es simplemente estúpido y loco. Un humano nunca haría esto. Primero, un humano nunca haría cientos de despliegues, ¿verdad?

Claro.

En segundo lugar, cuando una persona, digamos, encuentra una solución, tendrá un proceso de revisión bastante complicado, como: «Vale, creo que estas partes las hice bien. Estas partes no las hice tan bien. Debería hacer esto o aquello». Y reflexionan sobre las cosas. No hay nada en los LLM actuales que haga esto. No hay un equivalente. Pero sí veo artículos que están saliendo que intentan hacer esto, porque es evidente para todos en el área. Así que lo veo como el primer aprendizaje por imitación. La verdad, fue sumamente sorprendente, milagroso y asombroso que podamos afinar por imitación en humanos.

Y fue increíble, porque al principio solo teníamos modelos base. Los modelos base son autocompletado. Y no me era obvio en ese momento, y tuve que aprender esto. El artículo que me voló la cabeza fue InstructGPT, porque señalaba que puedes entrenar el modelo preentrenado, que es el autocompletado, y si solo lo ajustas con texto que parece conversaciones, el modelo se adaptará muy rápidamente para volverse muy conversacional. Y conserva todo el conocimiento del preentrenamiento.

Y esto me voló la cabeza, porque no entendía que estilísticamente puede ajustarse tan rápido y convertirse en un asistente para un usuario a través de solo unos pocos ciclos de ajuste fino con ese tipo de datos. Es muy milagroso para mí que eso funcionara. ¡Qué increíble! Y eso fue como dos, tres años de trabajo. Y entonces llegó el RL. Y el RL te permite hacerlo un poco mejor que el aprendizaje por imitación, ¿verdad? Porque puedes tener estas funciones de recompensa y puedes subir la pendiente según las funciones de recompensa. Algunos problemas tienen respuestas correctas, puedes subir la pendiente sin obtener trayectorias expertas para imitar. Así que eso es asombroso.

Y el modelo puede hallar soluciones que el humano jamás idearía.

Sí, entiendo.

Así que esto es increíble, y sin embargo sigue siendo estúpido. Creo que necesitamos mucho más. Y entonces vi un artículo de Google ayer que intentaba tener esta idea de reflexión y revisión en mente. ¿Cuál era el artículo de banco de memoria o algo así? No lo sé. De hecho he visto varios artículos en esta línea. Así que espero que haya una actualización importante en cómo hacemos los algoritmos para los LLM, que vendrá en ese ámbito. Y luego creo que necesitamos tres, cuatro o cinco más. Algo por el estilo, diría yo.

Pero eres tan bueno creando frases tan evocadoras. «Chupar la supervisión con una pajita» es algo tan bueno. Entonces, ¿estás diciendo que tu problema con la recompensa basada en resultados es que tienes esta enorme trayectoria, y luego, al final, estás intentando aprender cada cosa posible sobre lo que deberías hacer y lo que deberías aprender del mundo de ese único resultado final?

Dado que esto es obvio, ¿por qué la supervisión basada en procesos, como alternativa, no ha sido una forma exitosa de hacer que los modelos sean más capaces? ¿Qué nos ha estado impidiendo usar este paradigma alternativo?

La supervisión por procesos se refiere a que no habrá recompensa solo al final, después de diez minutos de trabajo. No te diré si lo hiciste bien o mal. Te diré en cada paso del camino lo bien que lo estás haciendo. La razón por la que no tenemos eso es que no es sencillo, es complicado hacerlo bien. Porque tienes soluciones parciales y no sabes cómo asignar el crédito. Cuando obtienes la respuesta correcta, es solo una coincidencia de igualdad con la respuesta. Muy simple de aplicar.

Si haces básicamente supervisión de procesos, ¿cómo asignas, de forma automatizada, el crédito parcial? No es obvio cómo se hace. Muchos laboratorios, creo, están intentando hacerlo con estos jueces LLM. Básicamente, haces que los LLM intenten hacerlo. Le pides a un LLM: «Oye, mira la solución parcial de un estudiante. ¿Qué tan bien crees que lo está haciendo si la respuesta es esta?». Y ellos intentan ajustar la instrucción. La razón por la que creo que esto es un poco complicado es bastante sutil, y es el hecho de que cada vez que usas un LLM para asignar una recompensa, esos LLM son cosas gigantes con miles de millones de parámetros y son manipulables.

Y si estás aprendiendo por refuerzo con respecto a ellos, encontrarás ejemplos adversarios para tus jueces de LM, casi garantizado. No puedes hacer esto por demasiado tiempo. Haces quizás 10 o 20 pasos, y quizás funcione. Pero no puedes hacer 100 o 1.000 porque no es obvio. Entiendo que no es obvio, pero básicamente el modelo encontrará pequeñas grietas. Hallará todas estas cosas espurias en los rincones y recovecos del modelo gigante y encontrará una forma de engañarlo.

Un ejemplo que tengo muy presente, creo que esto fue probablemente público, pero básicamente, si estás usando un juez de LM para una recompensa, entonces solo le das una solución de un estudiante y le preguntas si el estudiante lo hizo bien o no. Estábamos entrenando con aprendizaje por refuerzo contra esa función de recompensa, y funcionó muy bien, y luego, de repente, la recompensa creció enormemente. Hubo un salto masivo y lo hizo perfecto. Y lo miras y dices: «Esto significa que el estudiante es perfecto en todos estos problemas, ha resuelto completamente las matemáticas».

Pero en realidad lo que pasa es que cuando miras las terminaciones que obtienes del modelo, son un completo disparate. Empiezan bien, y luego cambian a «el, el, el, el, el, el, el». Es como: «Vale, cojamos dos más tres y hacemos esto y esto y el, el, el, el, el, el, el». Y lo miras y es como: «Esto es una locura. ¿Cómo está obteniendo una recompensa de uno o del cien por cien?».

Y miras al juez LM y resulta que «el, el, el, el, el, el» es un ejemplo adversario para el modelo, y le asigna el cien por ciento de probabilidad. Y es solo porque este es un ejemplo fuera de la muestra para el LLM. Nunca lo ha visto durante el entrenamiento, y estás en el ámbito de la pura generalización. Nunca lo ha visto durante el entrenamiento, y en el ámbito de la pura generalización puedes encontrar estos ejemplos que lo quiebran.

Estás básicamente entrenando al modelo de lenguaje grande para ser un modelo de inyección de prompts.

Ni siquiera eso. La inyección de prompts es demasiado sofisticada. Estás encontrando ejemplos adversarios, como se les llama. Estas son soluciones sin sentido, que son obviamente erróneas, pero el modelo las considera asombrosas.

Si consideras que este es el principal cuello de botella para que el aprendizaje por refuerzo sea más funcional, entonces eso exigirá que los grandes modelos de lenguaje sean mejores jueces si quieres lograr esto de una forma completamente automatizada. Y entonces, ¿será simplemente una especie de enfoque tipo GAN donde se tuvo que entrenar a los modelos para que fueran más robustos?

Creo que los laboratorios probablemente están haciendo todo eso. Lo obvio es que «el, el, el» no debería obtener el cien por ciento de recompensa. Toma «el, el, el, el», ponlo en el conjunto de entrenamiento del juez del LM y di: «Esto no es el cien por ciento. Esto es el cero por ciento». Puedes hacer esto. Pero cada vez que haces esto, obtienes un nuevo LLM, y aún tiene ejemplos adversarios. Hay infinidad de ejemplos adversarios. Y creo que probablemente si iteras esto unas cuantas veces, será cada vez más difícil.

Encontrar ejemplos adversarios. Pero no estoy cien por ciento seguro porque esta cosa tiene un billón de parámetros o algo por el estilo. Así que apuesto a que los laboratorios lo están intentando. En realidad no... Sigo pensando que necesitamos otras ideas.

Interesante. ¿Tienes alguna noción de qué forma podría tener la otra idea?

Esta idea de una solución de revisión incluida en ejemplos sintéticos, de tal manera que cuando entrenas con ellos te vuelves mejor y lo metaaprendes de alguna manera. Creo que hay algunos artículos que estoy empezando a ver surgir. Solo estoy en una etapa de leer resúmenes, porque muchos de estos artículos son solo ideas.

Alguien tiene que realmente hacerlo funcionar a escala de un laboratorio de LLM de vanguardia, con total generalidad. Porque cuando ves estos artículos, surgen y son un poco confusos. Son ideas geniales, pero en realidad no he visto a nadie que demuestre convincentemente que esto es posible. Dicho esto, los laboratorios de LLM son bastante herméticos. Así que quién sabe qué están haciendo ahora.

Supongo que veo una forma no fácil, pero sí puedo conceptualizar cómo podrías entrenar con ejemplos sintéticos o problemas sintéticos que tú mismo has creado. Pero parece haber otra cosa que los humanos hacen; quizás el sueño sea esto, quizás soñar despierto sea esto. Lo cual no es necesariamente inventar problemas falsos, sino simplemente reflexionar.

Y no estoy seguro de cuál sería la analogía en ML para soñar despierto o dormir. Pero solo al reflexionar, no he encontrado un nuevo problema. Quiero decir, obviamente, la analogía más básica sería un ajuste fino en fragmentos de reflexión, pero siento que en la práctica eso probablemente no funcionaría tan bien. Así que no sé si tienes alguna opinión sobre cuál sería la analogía de esta cosa.

Sí, creo que nos faltan algunos aspectos ahí. Por ejemplo, cuando estás leyendo un libro, casi siento que actualmente, cuando los LLM leen un libro, lo que eso significa es que estiramos la secuencia de texto y el modelo predice el siguiente token. Y de ahí obtiene algo de conocimiento. Eso no es realmente lo que hacen los humanos, ¿verdad? Cuando lees un libro, casi ni siquiera siento que el libro sea una exposición a la que deba atender y con la que deba entrenar. El libro es un conjunto de indicaciones para mí para hacer generación de datos sintéticos.

O para que te unas a un club de lectura y hables de ello con tus amigos. Y es manipulando esa información como realmente adquieres ese conocimiento. Creo que no tenemos un equivalente de eso, de nuevo, con los LLM. Ellos realmente no hacen eso, pero me encantaría ver durante el preentrenamiento algún tipo de etapa que analice el material y trate de conciliarlo con lo que ya sabe, y lo analice por, digamos, un tiempo, y logre que eso funcione.

Y no hay equivalencia de nada de esto. Todo esto es investigación. Hay razones sutiles, muy sutiles, que creo que son muy difíciles de entender, por las que no es trivial. Así que si puedo describir uno: ¿por qué no generarlo y entrenar sintéticamente?

Entiendo.

Bueno, porque cada ejemplo sintético, como si solo doy una generación sintética del modelo pensando en un libro, lo miras y dices: «Esto se ve genial. ¿Por qué no puedo entrenar con esto?». Bueno, podrías intentarlo, pero el modelo en realidad empeorará mucho si sigues intentándolo. Y eso es porque todas las muestras que obtienes de los modelos están colapsadas silenciosamente. Están silenciosamente... Esto no es obvio.

Si observas cualquier ejemplo individual de ello, ocupan una variedad muy pequeña del espacio posible de, digamos, pensamientos sobre el contenido. Así que los LLM, cuando salen, están lo que llamamos colapsados. Tienen una distribución de datos colapsada. Si intentas tomar una muestra... Una manera fácil de explicarlo es ir a ChatGPT y preguntarle: «Cuéntame un chiste». Apenas conoce tres chistes. No te está ofreciendo toda la amplia gama de chistes posibles. Sabe tres chistes. Están completamente colapsados.

Entonces, básicamente, no estás obteniendo la riqueza, la diversidad y la entropía de estos modelos como lo harías de los humanos. Los humanos son mucho más ruidosos, pero al menos no están sesgados. En un sentido estadístico, no están colapsados silenciosamente. Mantienen una enorme cantidad de entropía. Entonces, ¿cómo se logra que la generación sintética funcione a pesar del colapso y manteniendo la entropía? Es un problema de investigación.

Para confirmar que entendí, ¿la razón por la que el colapso es relevante para la generación de datos sintéticos es porque quieres poder generar problemas o reflexiones sintéticas que no están ya en tu distribución de datos?

Supongo que lo que quiero decir es, digamos que tenemos un capítulo de un libro y le pido a un LLM que piense en ello. Te dará algo que parece muy razonable. Pero si le pregunto diez veces, notarás que todas son exactamente iguales.

Puedes simplemente seguir «escalando», entre comillas, la «reflexión» sobre la misma cantidad de información de la solicitud y luego obtener resultados de eso. Vale.

Sí, así que cualquier muestra individual se verá bien, pero la distribución de ella es bastante terrible. Y es bastante terrible de tal manera que si sigues entrenando con demasiado material propio, en realidad colapsas. De hecho, creo que no hay soluciones fundamentales para esto, posiblemente. Y también creo que los humanos colapsan con el tiempo.

De nuevo, estas analogías son sorprendentemente buenas, pero los seres humanos colapsan a lo largo de sus vidas. Por eso los niños tienen una mente completamente... Aún no se han sobreajustado. Y dirán cosas que te sorprenderán porque puedes ver de dónde vienen, pero no es lo que la gente suele decir.

Y porque todavía no han colapsado. Pero nosotros sí, nosotros colapsamos, y terminamos volviendo a los mismos pensamientos. Terminamos repitiendo una y otra vez las mismas cosas. Y las tasas de aprendizaje bajan, y el colapso sigue empeorando cada vez más. Y entonces todo se deteriora.

¿Has visto este artículo súper interesante que dice que soñar es una forma de prevenir este tipo de sobreajuste y colapso? Que la razón por la que soñar es evolutivamente adaptativo es para ponerte en situaciones extrañas que son muy diferentes a tu realidad cotidiana, para así prevenir este tipo de sobreajuste.

Es una idea interesante. Quiero decir, creo que cuando generas cosas en tu cabeza y luego les prestas atención, es como si estuvieras entrenando con tus propias muestras. Estás entrenando con tus datos sintéticos. Y si lo haces por demasiado tiempo, te descarrilarás y colapsarás demasiado.

Así que siempre tienes que buscar entropía en tu vida. Hablar con otras personas es una gran fuente de entropía, y cosas por el estilo. Así que quizás el cerebro también ha construido algunos mecanismos internos para aumentar la cantidad de entropía en ese proceso. Pero sí, quizás sea una idea interesante.

Esta es una idea muy mal formulada, así que la voy a soltar y dejaré que reacciones a ella. Los mejores aprendices de los que tenemos conocimiento, que son los niños, son extremadamente malos para recordar información. De hecho, en las primeras etapas de la infancia lo olvidarás todo. Eres simplemente amnésico de todo lo que ocurre antes de una cierta fecha. Pero eres extremadamente bueno para aprender nuevos idiomas y aprender del mundo. Y quizás haya algún elemento de poder ver el bosque más allá de los árboles.

Mientras que si lo comparas con el extremo opuesto del espectro, tienes el preentrenamiento de los LLM, que estos modelos regurgitarán literalmente, palabra por palabra, qué es lo siguiente en una página de Wikipedia. Pero su capacidad para aprender conceptos abstractos muy rápidamente, como lo haría un niño, es mucho más limitada.

Y luego los adultos se encuentran en un punto intermedio, donde no poseen la misma flexibilidad que el aprendizaje de la infancia. Pero los adultos sí pueden memorizar datos y mucha información de una forma que resulta mucho más complicada para los niños. Y no sé si hay algo realmente interesante en todo eso.

Creo que hay algo muy interesante en eso. Sí, completamente de acuerdo. Sí creo que los humanos, de hecho, tienen una capacidad mucho mayor, comparado con los LLM, de ver el bosque más allá de los árboles. Y no somos realmente tan buenos memorizando, lo cual es en realidad una ventaja.

Rango, sí.

Bueno, porque no somos tan buenos para memorizar, en realidad nos vemos forzados a encontrar los patrones de una manera mucho más general. Creo que los LLM, en comparación, son extremadamente buenos en la memorización. Pueden recitar pasajes de todas estas fuentes de entrenamiento.

Puedes darles datos completamente sin sentido. Puedes hashear una cantidad de texto o algo así. Obtienes una secuencia completamente aleatoria. Si lo entrenas, incluso solo, creo, una sola iteración o dos, puede de repente regurgitarlo todo. Lo memorizará. No hay forma de que una persona pueda leer una sola secuencia de números aleatorios y recitártela.

No.

Y eso es una característica, no un error, casi, porque te obliga, digamos, a aprender solo los componentes generalizables. Mientras que los LLM se distraen con toda la memoria que tienen de los documentos preentrenados. Y es probable que les resulte muy distractor, en cierto sentido. Por eso, cuando hablo del núcleo cognitivo, en realidad quiero eliminar la memoria, que es de lo que hablamos.

Me encantaría que tuvieran menos memoria, para que tuvieran que buscar las cosas, y que solo mantuvieran los algoritmos para el pensamiento, la idea de un experimento y todo este pegamento cognitivo, digamos, para la acción.

Y esto es también relevante para la prevención del colapso del modelo.

A ver, déjame pensar.

No estoy seguro. Creo que es casi como un eje separado. Es casi como que los modelos son demasiado buenos en la memorización, y de alguna manera deberíamos quitar eso. Y creo que la gente es mucho peor, pero es algo bueno.

¿Cuál es una solución al colapso del modelo? Es decir, hay cosas muy ingenuas que podrías intentar, como la distribución sobre las tiendas debería ser más amplia o algo así. Hay muchas cosas ingenuas que podrías probar. ¿Cuál termina siendo el problema con los enfoques ingenuos?

Sí, creo que es una buena pregunta. Es decir, puedes imaginar regularizar la entropía y cosas así. Supongo que simplemente no funciona tan bien empíricamente.

Porque ahora mismo los modelos están colapsados. Pero debo decir que la mayoría de las tareas que les pedimos en realidad no requieren diversidad. Esa es probablemente la respuesta a lo que está sucediendo. Los laboratorios de vanguardia están intentando hacer que los modelos sean útiles, y siento que la diversidad de los resultados no es tan importante. En primer lugar, es mucho más difícil trabajar y evaluar todo esto. Pero quizás no es lo que realmente capta la mayor parte del valor.

De hecho, se penaliza activamente, ¿no es así? Si eres súper creativo en la vida real, no es algo bueno.

Sí. O, por ejemplo, si recibes mucha ayuda para escribir de los LLM y cosas por el estilo, creo que es probablemente malo porque los modelos te darán esto de forma implícita, todo lo mismo. No exploran muchas formas de responder una pregunta, ¿verdad? Pero siento que esta diversidad no es tan grande... Quizás no tantas aplicaciones lo necesitan, por eso los modelos no la tienen. Pero entonces es un problema con el tiempo de generación sintética, etcétera. Así que nos estamos disparando en el pie al no permitir que esta entropía mantenga el modelo. Y creo que posiblemente los laboratorios deberían esforzarse más.

Y luego, me parece que insinuaste que es un problema de naturaleza muy fundamental. No será algo sencillo de resolver. ¿Cuál es tu intuición con respecto a eso?

La verdad es que no sé si es algo súper fundamental. No sé realmente si mi intención era decir eso. Lo que sí creo es que... No he hecho estos experimentos, pero sí creo que podrías probablemente regularizar la entropía para que sea más alta. Así que estás animando al modelo a darte más y más soluciones. Pero no quieres que empiece a desviarse demasiado de los datos de entrenamiento. Va a empezar a inventar su propio lenguaje. Va a empezar a usar palabras extremadamente raras, así que se va a desviar demasiado de la distribución.

Entonces creo que controlar la distribución es algo complicado. Es que alguien tiene que... Probablemente no es trivial en ese sentido.

¿Cuántos bits debería tener el núcleo óptimo de la inteligencia, si tuvieras que hacer una estimación? Creo que si pusiéramos las sondas de von Neumann... ¿De qué tamaño es que tiene que ser?

Es muy interesante en la historia del campo, porque en un momento todo estaba muy enfocado en escalar, en términos de: vamos a hacer modelos mucho más grandes, modelos de billones de parámetros. Y en realidad lo que los modelos han hecho en tamaño es que han crecido, y ahora en realidad incluso bajan. Sus modelos son más pequeños. E incluso entonces, creo que memorizaron demasiado. Así que creo que tuve una predicción hace un tiempo de que casi siento que podemos obtener núcleos cognitivos que son muy buenos incluso con mil millones de parámetros.

Ya debería ser como... Si hablas con un modelo de mil millones de parámetros, creo, en veinte años, podrás tener una conversación muy productiva. Piensa, y es mucho más parecido a un humano. Pero si le haces una pregunta de hechos, quizás tenga que buscarla. Pero sabe que no sabe y que quizás tenga que buscarla, y simplemente hará todas las cosas razonables.

Me sorprende que creas que tomará mil millones de parámetros. Porque ya tenemos modelos de mil millones de parámetros, o un par de ellos de mil millones, que son muy inteligentes, y es...

Claro que sí, hay modelos que tienen como mil millones de parámetros, ¿verdad? Pero recuerdan tantas cosas, es que...

Sí. Pero me sorprende que en diez años, dado el ritmo al que avanzamos... Bueno, tenemos gpt-oss de 20B, y eso es muchísimo mejor que el GPT-4 original, que era de un billón y pico de parámetros. Así que, dada esa tendencia, me sorprende de verdad que pienses que en diez años el núcleo cognitivo sigue siendo mil millones de parámetros. Yo diría... Me sorprende que no digas que va a ser decenas de millones o millones.

¿Será más?

No, porque creo que los datos de entrenamiento son... El problema es que los datos de entrenamiento son internet, lo cual es terrible. Así que hay muchísimas ganancias por obtener porque internet es terrible. E incluso internet, cuando tú y yo pensamos en internet, piensas en Wall Street Journal o... Eso no es lo que es esto.

Cuando estás viendo un conjunto de datos de preentrenamiento en un laboratorio de vanguardia y miras un documento aleatorio de internet, es basura total. Ni siquiera sé cómo funciona esto en absoluto. Son como símbolos de cotizaciones bursátiles. Es una inmensa cantidad de porquería y desechos de todos los

Rincones de internet. No es como tu artículo del Wall Street Journal, que es extremadamente raro. Entonces, casi siento que, porque el internet es tan terrible, en realidad tenemos que construir modelos muy grandes para comprimir todo eso. La mayor parte de esa compresión es trabajo de memoria en lugar de trabajo cognitivo, pero lo que realmente queremos es la parte cognitiva, en realidad, eliminar la memoria.

Vaya.

Correcto. Entonces, lo que digo es que necesitamos modelos inteligentes que nos ayuden a refinar incluso el conjunto de preentrenamiento, para reducirlo solo a los componentes cognitivos. Y entonces creo que podrías arreglártelas con un modelo mucho más pequeño, porque es con un conjunto de datos mucho mejor y podrías entrenarlo con él. Pero probablemente no se entrena directamente en él, probablemente se destila para un modelo mucho mejor aún, pero...

De acuerdo. Pero ¿por qué la versión destilada sigue siendo mil millones? Es, creo, lo que me pregunto.

Simplemente siento que la destilación funciona muy bien. Así que casi cada modelo pequeño, si tienes un modelo pequeño, es casi seguro que está destilado. ¿Por qué entrenarías en...?

No, no, no. Pero ¿por qué la destilación, en diez años, sigue sin bajar de mil millones?

¿Tú crees que debería ser menos de mil millones? O sea, ¡por favor!, ¿no? En algún momento debería requerir al menos mil millones de perillas para hacer algo interesante. ¿Crees que debería ser aún más pequeño?

Sí. Es que, si observas la tendencia de los últimos años, solo encontrar la fruta más fácil de alcanzar, y pasar de modelos de billones o más... que son literalmente dos órdenes de magnitud más pequeños en cuestión de solo dos años, y tener un rendimiento mucho mejor.

Sí, sí.

Sí, sí.

Me hace pensar que el núcleo de la inteligencia podría ser incluso mucho, mucho más pequeño. Como hay mucho espacio abajo, para parafrasear a Feynman.

Ya me siento contracorriente al hablar de un núcleo cognitivo de mil millones de parámetros y me estás superando. Creo que sí, quizás podríamos reducirlo un poco. Es decir, aún creo que debería ser suficiente. Sí, tal vez pueda ser más pequeño. Pero sí creo que, en la práctica, quieres que el modelo tenga cierto conocimiento. No quieres que esté buscando todo.

Bien.

Así es. Porque entonces no puedes pensar por ti mismo, estás consultando demasiada información constantemente, así que creo que debe haber un currículo básico para el conocimiento. Pero no debe incluir conocimiento esotérico, ¿sabes?

Sí.

Sí. Así que estamos discutiendo lo que plausiblemente podría ser el núcleo cognitivo. Hay una pregunta aparte, que es: ¿cuál será realmente el tamaño de los modelos futuros a lo largo del tiempo? Y me gustaría escuchar sus predicciones. Tuvimos una escala creciente hasta quizás el 4.5, y ahora estamos viendo una escala decreciente o estancada. Hay muchas razones por las que esto podría estar sucediendo, pero ¿tienes alguna predicción sobre el futuro? ¿Aumentará la escala? ¿Los modelos más grandes serán mayores? ¿Serán más pequeños? ¿Serán iguales?

Sí, no sé si tengo una predicción súper fuerte. Sí creo que los laboratorios simplemente están siendo prácticos. Tienen un presupuesto de FLOPs y un presupuesto de costos, y resulta que el preentrenamiento no es donde quieres poner la mayoría de tus FLOPs o tu costo, por eso los modelos se han vuelto más pequeños. Como son un poco más pequeños, la etapa de preentrenamiento es más pequeña, etcétera, pero lo compensan con aprendizaje por refuerzo y todo ese tipo de cosas, entrenamiento intermedio y todo lo que le sigue.

Así que están siendo prácticos en cuanto a todas las etapas y cómo sacar el mayor provecho. Supongo que predecir la tendencia es bastante difícil. Aún espero que haya mucha fruta al alcance de la mano. Esa es mi expectativa básica, mi expectativa fundamental. Y tengo una distribución muy amplia aquí.

¿Esperas que los frutos más fáciles de alcanzar sean similares en su naturaleza a los tipos de cosas que han estado ocurriendo en los últimos dos a cinco años? Por ejemplo, si consideramos nanochat versus nanoGPT, y luego los ajustes arquitectónicos que realizaste, ¿es esa básicamente la clase de avances que esperas que sigan sucediendo, o hay...?

Ajá.

¿No esperas un gran cambio de paradigma?

En general, sí. Espero que los datos mejoren mucho, porque cuando ves los datos promedio, son terribles. Tan malos que ni siquiera sé cómo funciona nada, para ser honesto. Mira el ejemplo promedio en el conjunto de entrenamiento. Como errores de hecho, errores, cosas sin sentido. De alguna manera, cuando lo haces a escala, el ruido se disipa y te quedas con parte de la señal.

Sí.

Así que los conjuntos de datos mejorarán muchísimo. Es que todo mejora: nuestro hardware, todos los kernels para ejecutar el hardware y maximizar lo que obtienes con el hardware, ¿sabes? Así que NVIDIA ajustando lentamente el hardware en sí, los núcleos tensoriales y demás, todo eso tiene que pasar y seguirá pasando. Todos los kernels mejorarán y utilizarán el chip al máximo, todos los algoritmos probablemente mejorarán con la arquitectura de optimización y todos los componentes de modelado de cómo se hace todo y cuáles son los algoritmos con los que estamos entrenando. Así que, de alguna manera, espero que sea todo.

No hay nada que lo domine. Todo, más un veinte por ciento adicional.

Claro. Interesante.

Es más o menos lo que he visto.

Este de aquí es mi gerente general, Max.

Qué bien aquí. Siempre aquí.

Y has estado aquí desde que te incorporaste hace unos seis meses. Pero no...

Hace ocho meses.

Claro. El tiempo pasa tan rápido. Pero cuando te di la bienvenida, yo estaba en Francia, y por eso prácticamente no tuvimos la oportunidad de hablar en absoluto.

Y básicamente me diste un solo inicio de sesión.

Así que te di acceso a mi plataforma Mercury, que es la plataforma bancaria que estaba usando en ese momento para gestionar el podcast.

Así que entré en Mercury pensando que sería el primer paso de muchos, pero me di cuenta de que así manejabas todo el negocio. Incluso muchos de nuestros editores son contratistas internacionales, y habías descubierto cómo configurar pagos recurrentes para una nómina básica.

Mercury hizo tan fluida la experiencia de mis tareas anteriores que ni se me ocurrió hasta que lo señalaste que esta no es la forma natural de gestionar nóminas, facturación o demás.

Sí, yo estaba sorprendido, pero me dije: «Ha funcionado hasta ahora». Así que quizás confíe en ello. Y ahora no puedo pensar en hacer nada más.

Sí, sí.

Bien, lo oíste. Visita mercury.com y aplica en línea en minutos. Genial. Gracias, Max.

Gracias por invitarme.

Tío, lo haces genial.

Me siento muy nervioso, pero muchas gracias.

Mercury es una empresa de tecnología financiera, no un banco. Los servicios bancarios son proporcionados a través de Choice Financial Group, Column N.A. y Evolve Bank and Trust, miembros de la FDIC.

Se han propuesto diversas formas de evaluar cuánto progreso hemos logrado hacia una AGI completa.

Ajá.

Porque si puedes idear una línea, entonces puedes ver dónde esa línea se cruza con la IAG y dónde ocurriría eso en el eje X. Y así la gente ha propuesto que es como el nivel educativo. Teníamos un estudiante de secundaria y luego fueron a la universidad con RL y van a obtener un doctorado...

No me gusta ese.

O luego propondrán la longitud del horizonte, así que quizás puedan hacer tareas que tarden un minuto. Pueden hacerlas de forma autónoma, luego pueden hacer de forma autónoma tareas que tarden a un humano una hora, a un humano una semana, etcétera. ¿Cómo piensas sobre cuál es el eje Y relevante aquí? ¿Cómo deberíamos pensar sobre cómo la IA está progresando?

Supongo que tengo dos respuestas para eso. Primero, casi me siento tentado a rechazar la pregunta por completo. Porque, de nuevo, veo esto como una extensión de la informática. ¿Hemos hablado de cómo medir el progreso en la informática? ¿O cómo se mide el progreso en la informática, desde los años 70 o lo que sea? ¿Cuál es el eje X?

En cierto modo, siento que toda la cuestión resulta un tanto divertida desde esa perspectiva. Pero supongo que me gustaría decir que cuando la gente habla de la inteligencia artificial y la IAG original, y de cómo nos referíamos a ella cuando OpenAI comenzó, la IAG era un sistema al que uno podía acudir que es capaz de realizar cualquier tarea que sea económicamente valiosa, cualquier tarea que tenga valor económico.

Claro que sí.

A rendimiento humano o mejor. Bien, esa era la definición, y en ese momento estaba bastante contento con eso. Y siento que me he apegado a esa definición para siempre, y luego la gente ha inventado todo tipo de otras definiciones, pero siento que me gusta esa definición.

Ahora, número uno, la primera concesión que la gente siempre hace es quitar todo lo físico, porque hablamos de trabajo de conocimiento digital. Siento que es una concesión importante comparada a la definición original, que era cualquier tarea que un humano puede hacer. Puedo levantar cosas, etcétera. La IA no puede hacer eso, claro.

Pero lo aceptaremos. ¿Qué porcentaje de la economía estamos quitando al decir: «Solo trabajo de conocimiento»? En realidad no sé los números. Siento que es alrededor del diez al veinte por ciento, si tuviera que adivinar, es solo trabajo de conocimiento. Como alguien podría trabajar desde casa y realizar tareas. Algo así. Sigo pensando que es un mercado realmente grande. ¿Cuál es el tamaño de la economía y qué representa el 10, 20 %? Estamos hablando todavía de unos cuantos billones de dólares, incluso en Estados Unidos, de cuota de mercado casi, o trabajo.

Así que sigue siendo un ámbito muy, muy, muy amplio. Pero supongo que, volviendo a la definición, lo que me preguntaría es: ¿hasta qué punto es cierta esa definición? ¿Hay trabajos o muchas tareas, si pensamos en las tareas? Bueno, no trabajos, sino tareas. Es un poco difícil. Porque el problema es que la sociedad se va a reestructurar en función de las tareas que componen los trabajos, según lo que sea automatizable o no. Pero hoy, ¿qué trabajos son reemplazables por la IA?

Así es.

Un buen ejemplo reciente fue la predicción de Geoff Hinton de que los radiólogos ya no serían un trabajo, y esto resultó estar muy equivocado de muchas maneras, ¿verdad? Los radiólogos siguen vigentes y creciendo, aunque la visión por computadora es muy, muy buena reconociendo todo lo que deben ver en imágenes. Y es un trabajo complejo y caótico, con muchas facetas, tratando con pacientes y todo eso en su contexto. Supongo que en realidad no estoy seguro de que, bajo esa definición, la IA haya logrado un impacto tan significativo todavía.

Pero algunos de los empleos que quizás yo buscaría tienen alguna característica que, creo, los hace muy susceptibles a la automatización, más pronto que tarde. Por ejemplo, los empleados de centros de llamadas suelen mencionarse, y creo que con razón. Porque los empleados de centros de llamadas tienen una serie de propiedades simplificadoras con respecto a lo que es automatizable hoy en día.

Sus trabajos son bastante sencillos. Es una secuencia de tareas y cada tarea parece similar. Como cuando atiendes una llamada con una persona, son diez minutos de interacción o lo que sea. Probablemente un poco más. En mi experiencia, mucho más. Y completas alguna tarea en cierto esquema y modificas algunas entradas de la base de datos o algo por el estilo. Así que sigues repitiendo algo una y otra vez, y ese es tu trabajo.

Básicamente, quieres considerar el horizonte de la tarea, cuánto tiempo lleva realizarla, y luego también quieres eliminar el contexto. No estás tratando con diferentes partes de servicios de empresas o de otros clientes. Es solamente la base de datos, tú y una persona a la que sirves. Y así es más cerrado, es más comprensible y es puramente digital.

Así que yo estaría buscando esas cosas. Pero incluso ahí, en realidad no estoy buscando una automatización completa todavía. Estoy buscando un control deslizante de autonomía, y casi espero que no vayamos a reemplazar a la gente de inmediato. Vamos a estar introduciendo IAs que manejen el ochenta por ciento del volumen. Delegarán el veinte por ciento del volumen a humanos, y los humanos supervisarán equipos de cinco IAs que hagan el trabajo de centro de llamadas más rutinario. Así que estaría buscando nuevas interfaces o nuevas empresas que ofrezcan algún tipo de capa que te permita gestionar algunas de estas inteligencias artificiales que aún no son perfectas.

Sí.

Y entonces esperaría que en la economía muchos trabajos sean mucho más duros que un teleoperador.

Me pregunto con los radiólogos, estoy especulando totalmente, no tengo ni la menor idea de cómo es el flujo de trabajo real de un radiólogo. Pero una analogía que podría ser aplicable es cuando los Waymos fueron lanzados por primera vez: había una persona sentada en el asiento delantero.

Ajá.

Y debías tenerlos allí para asegurar que, si algo salía muy mal, ellos eran el supervisor. Y creo que incluso hoy la gente sigue vigilando para asegurarse de que las cosas van bien. Robotaxi, que acaba de ser desplegado, de hecho todavía tiene una persona dentro.

Y podríamos estar en una situación similar donde, si automatizas el 99 % de un trabajo, ese último 1 % que el humano tiene que hacer es increíblemente valioso porque está creando un cuello de botella en todo lo demás. Y si fuera el caso, como con los radiólogos, donde la persona sentada en la parte delantera del Uber o del Waymo tiene que estar especialmente entrenada durante años para poder proporcionar el último 1 %, sus salarios deberían subir enormemente porque son la única cosa que está creando un cuello de botella en el despliegue a gran escala.

Ajá.

Sí, claro, lo entiendo.

Así que los radiólogos, creo que sus salarios han subido por razones similares. Si eres el último cuello de botella, y no eres fungible, un conductor de Waymo podría ser fungible con otras cosas.

Ajá.

Pues tus salarios suben así, y luego llegan al noventa y ocho por ciento, y así.

Ah, ya veo.

Y luego el último uno por ciento se ha ido. Y me pregunto si estamos viendo cosas similares con la radiología o los salarios de los teleoperadores o algo por el estilo.

Claro.

Sí. Creo que esa es una pregunta bastante interesante. No creo que estemos viendo eso actualmente con la radiología o con otras áreas, en mi entendimiento. Pero creo que la radiología no es un buen ejemplo, básicamente. No sé por qué Geoff Hinton se ensañó con la radiología, porque creo que es una profesión extremadamente desordenada, complicada.

Claro.

Me interesaría mucho más lo que está pasando hoy con los empleados de los centros de llamadas, por ejemplo. Porque esperaría que mucho de lo rutinario fuera automatizable hoy. Y no tengo acceso de primer nivel a eso, pero quizás buscaría tendencias de lo que está pasando con los empleados de los centros de llamadas.

Sí.

Quizás algunas de las cosas que también esperaría es que estén reemplazando con IA, pero entonces yo aún esperaría un año o dos porque potencialmente esperaría que se retractaran y de hecho recontrataran a algunas de las personas.

Sí. Creo que hay pruebas de que eso ya está pasando generalmente en las empresas que adoptan IA. Lo cual me parece bastante sorprendente.

Vale.

Y también me parece que lo que fue verdaderamente sorprendente... De acuerdo, la IAG, ¿no? Una cosa que lo haría absolutamente todo y, de acuerdo, nos quitará el trabajo físico.

Así que, algo que podría hacer todo el trabajo intelectual, y lo que ingenuamente habrías anticipado, que la forma en que esta progresión se daría es: tomarías una pequeña tarea que un consultor está haciendo, la sacarías del cubo. Tomarías la pequeña tarea que un contador está haciendo, la sacarías del cubo. Y luego, simplemente estás haciendo esto en todo el trabajo de conocimiento. Pero en cambio, si creemos que estamos en el camino de la IAG con el paradigma actual, la progresión no es para nada así. Al menos, no parece que los consultores y contadores y lo que sea estén obteniendo una gran mejora productiva.

Es muy parecido a que los programadores están sintiendo cada vez más escalofríos de otra forma en su trabajo. Si miras los ingresos de estas empresas, descontando solo los ingresos normales de chat, que creo, no sé, eso es similar a Google o algo así. Solo mirando los ingresos de las API, está dominado por la programación, ¿verdad? Así que esta cosa que es «general», entre comillas, que podrá hacer cualquier trabajo de conocimiento, está abrumadoramente haciendo solo codificación. Y es una forma sorprendente en la que esperarías que la IAG se despliegue.

Así que creo que hay un punto bastante interesante aquí, porque realmente considero que la programación es, digamos, la primera cosa ideal para estos LLM y agentes. Y eso es porque la programación siempre ha girado fundamentalmente en torno al texto. Son terminales de computadora y texto, y absolutamente todo se basa en texto. Y los LLM, la forma en que son entrenados en internet, aman el texto, y por eso son procesadores de texto perfectos. Y hay todos estos datos ahí fuera, y es simplemente un ajuste perfecto.

Y también tenemos mucha infraestructura preconstruida para manejar código y texto. Por ejemplo, tenemos Visual Studio Code, o tu IDE favorito mostrándote código, y un agente puede conectarse a eso. Así, por ejemplo, si un agente tiene un «diff» donde hizo algún cambio, de repente ya tenemos todo este código que muestra todas las diferencias a una base de código usando un «diff». Así que es casi como si ya hubiéramos preconstruido gran parte de la infraestructura para el código.

Ahora, contrasta eso con algunas de las cosas que no disfrutan de eso en absoluto. Por ejemplo, hay gente intentando construir automatización no para codificar, sino para diapositivas. Vi una empresa haciendo diapositivas. Eso es mucho más difícil. Y la razón es que las diapositivas no son texto. Las diapositivas son pequeños gráficos, y están dispuestas espacialmente, y tienen componentes visuales. Y las diapositivas no tienen esta infraestructura preestablecida. Por ejemplo, si un agente fuera a hacer un cambio diferente en tus diapositivas, ¿cómo te muestra la diferencia? ¿Cómo ves la diferencia? No hay nada que muestre diferencias para las diapositivas. Así que alguien tiene que construirlo. Y es que algunas de estas cosas no son adecuadas para las IA tal como las conocemos, que son procesadores de texto. Y el código, sorprendentemente, sí lo es.

Yo en realidad no estoy seguro si eso solo lo explica, porque yo, en lo personal, he intentado que los modelos de lenguaje grandes sean útiles en ámbitos que son puramente de entrada de lenguaje y salida de lenguaje, como la reescritura de transcripciones, la creación de fragmentos basados en transcripciones, y un largo etcétera. Y podrías decir, bueno, es muy plausible que no hice absolutamente todo lo posible que pude haber hecho. Puse un montón de buenos ejemplos en contexto, pero quizás debí haber hecho algún tipo de ajuste fino, lo que sea.

Así que nuestro amigo en común, Andy Matuschak, me dijo que él de hecho probó cincuenta mil millones de cosas para que los modelos fueran buenos escribiendo prompts de repetición espaciada. De nuevo, una tarea de mucho lenguaje de entrada, lenguaje de salida. Algo que debería ser central en el repertorio de estos LLM.

Ah, ya veo.

Y probó el aprendizaje en contexto, obviamente, con unos pocos ejemplos cortos. Probó, creo, me dijo, un montón de cosas, como ajuste fino supervisado y recuperación, lo que sea. Y simplemente no pudo lograr que hicieran la tarjeta a su entera satisfacción. Así que me parece sorprendente que incluso en dominios fuera del lenguaje, de hecho, es muy difícil sacarles mucho valor económico a estos modelos, separado del código. Y no sé qué lo explica.

Sí, creo que tiene sentido. Es decir, no estoy diciendo que cualquier texto sea trivial, ¿verdad? Sí creo que el código es bastante estructurado. El texto es quizás mucho más florido, y hay mucha más especie de entropía en el texto, diría yo. No sé cómo explicarlo de otra manera.

Y también, el código es difícil, y la gente se siente bastante empoderada por los LLM, incluso a partir de conocimientos muy, muy básicos. Básicamente, no sé si tengo una muy buena respuesta. Obviamente, el texto lo hace mucho, mucho más fácil quizás, es quizás por qué lo digo, pero no significa que todo el texto sea trivial.

¿Qué piensas de la superinteligencia? ¿Esperas que se sienta cualitativamente diferente de los humanos normales o de las empresas humanas?

Supongo que lo veo como una progresión de la automatización en la sociedad, ¿verdad? Y de nuevo, extrapolando la tendencia de la informática. Simplemente, siento que se producirá una automatización gradual de muchas cosas, y la superinteligencia será una especie de extrapolación de eso. Así que sí creo que con el tiempo esperaremos más y más entidades autónomas que hagan gran parte del trabajo digital, y luego, eventualmente, incluso el trabajo físico, probablemente un tiempo después. Pero básicamente lo considero simplemente automatización, hablando en términos generales.

Creo que la automatización incluye lo que los humanos ya pueden hacer, y la superinteligencia aporta cosas que los humanos...

Bueno, pero parte de lo que la gente hace es inventar cosas nuevas, lo que yo simplemente pondría en la automatización, si eso tiene sentido.

Sí. Pero yo diría que quizás, en lugar de algo tan abstracto, más bien, de una forma mucho más cualitativa. ¿Esperas que algo se perciba como «de acuerdo, esto es así», porque esta entidad puede pensar con una velocidad asombrosa o generar una cantidad inmensa de copias, o esas copias pueden volver a fusionarse entre sí, o es, entre comillas, «mucho más inteligente»? Cualquier cantidad de ventajas que una inteligencia artificial podría poseer. La civilización en la que estas IA existan simplemente se sentirá cualitativamente diferente de la civilización humana.

No, yo creo que sí. Es fundamentalmente una automatización, pero será algo extremadamente ajeno. Yo sí creo que se verá realmente muy extraño. Porque, como mencionaste, podemos ejecutar todo esto en un clúster de computadoras, etcétera, y mucho más rápido y todo eso.

Quizás algunos de los escenarios, por ejemplo, que me empiezan a poner nervioso con respecto a cuando el mundo se ve así, es esta especie de pérdida gradual de control y comprensión de lo que está pasando. Y creo que ese es en realidad el resultado más probable. Es que habrá una pérdida gradual de comprensión, y gradualmente superpondremos todo esto en todas partes, y habrá cada vez menos gente que lo entienda. Y luego habrá un escenario de pérdida gradual de control y de lo que ocurre. Eso me parece el resultado más probable de cómo todo esto acabará.

Permítame ahondar un poco en eso. No me queda claro que la pérdida de control y la pérdida de entendimiento sean la misma cosa. Una junta directiva en, digamos, lo que sea, TSMC, Intel, nombra una empresa cualquiera. Son solo, digamos, octogenarios prestigiosos. Tienen muy poca comprensión, y quizás en la práctica no tienen control real. Pero, en realidad, quizás un mejor ejemplo es el presidente de los Estados Unidos.

El presidente tiene un poder de mierda, un poder inmenso. No estoy intentando hacer una declaración positiva sobre el actual gobernante, pero quizás sí lo estoy haciendo. Pero el nivel real de entendimiento es muy diferente del nivel de control.

Sí, me parece que eso es bastante justo. Es una réplica bastante sólida y bien fundamentada. Me imagino que lo que espero es que se pierda una parte de las dos. Sí, exactamente.

¿Por qué? La pérdida de comprensión es obvia, pero ¿por qué la pérdida de control?

Estamos ya muy adentrados en un territorio donde no sé exactamente cómo se vería esto, pero si yo fuera a escribir novelas de ciencia ficción, se parecerían a algo que no sería ni siquiera una sola, digamos, entidad o algo por el estilo, que simplemente, por así decirlo, lo acaparara todo. Pero en realidad, múltiples entidades compitiendo que gradualmente se vuelven más y más autónomas, y algunas de ellas se descontrolan y las otras las combaten y todo este tipo de cosas. Y es como esta olla a presión de actividad completamente autónoma a la que hemos delegado. Yo siento que tendría ese sabor.

No es el hecho de que ellos sean más inteligentes que nosotros lo que está provocando la pérdida de control. Es el hecho de que están compitiendo entre sí y lo que sea que surja de esa competencia lo que nos lleva a perder el control.

No, no siempre.

Básicamente espero que haya muchas de estas cosas que serán herramientas para la gente, y la gente podría... Parte de la población, digamos, actúa en nombre de la gente o algo así. Así que quizás esa gente tenga el control, pero quizás sea una pérdida de control general para la sociedad en el sentido de los resultados que queremos o algo así. Donde hay entidades actuando en representación de individuos, que todavía se perciben, a grandes rasgos, como fuera de control.

Sí, sí. Esta es una pregunta que debí haber hecho antes. Estábamos hablando de cómo, actualmente, parece que al hacer ingeniería o investigación de IA, estos modelos están más en la categoría de un compilador que en la categoría de un reemplazo. En algún momento, si tienes la llamada «IAG», debería poder hacer lo que haces. ¿Y crees que tener un millón de copias tuyas en paralelo resultaría en un gran impulso al progreso de la IA? Básicamente, si eso ocurre, ¿esperas ver una explosión de inteligencia? ¿O incluso una vez que tengamos una verdadera IAG? Y no hablo de los LLM de hoy, sino de una IAG real.

Supongo, lo que quiero decir es, sí, pero es lo de siempre. Porque ya estamos en una explosión de inteligencia y lo hemos estado por décadas. Y cuando miras el PIB, es básicamente la curva del PIB, que es una suma ponderada exponencial sobre tantos aspectos de la industria. Todo se está automatizando gradualmente, lo ha estado por cientos de años. La revolución industrial es automatización, y algunos de los componentes físicos y la construcción de herramientas y todo este tipo de cosas, compiladores, nuestra automatización temprana de software, etcétera. Así que siento que hemos estado mejorando recursivamente y explotando por mucho tiempo.

Quizás otra forma de verlo es: la Tierra, si no consideramos la biomecánica y todo eso, era un lugar bastante aburrido, creo, y se veía muy similar si solo la miras desde el espacio. Y la Tierra está girando y luego estamos en medio de este evento explosivo. Pero lo estamos viendo en cámara lenta. Pero definitivamente siento que esto ya viene ocurriendo desde hace mucho tiempo. Y yo, de nuevo, no veo la IA como una tecnología distinta con respecto a lo que ya ha estado sucediendo por mucho tiempo.

¿Crees que va a continuar hacia esta tendencia hiperexponencial?

Sí, y por eso esto me pareció muy interesante, porque estuve tratando de encontrar la IA en el PIB por un tiempo. Creía que el PIB debería aumentar. Pero luego miré otras tecnologías que pensé que eran muy transformadoras, como quizás computadoras o teléfonos móviles, etcétera. No se pueden encontrar en el PIB.

El PIB sigue la misma curva de crecimiento exponencial. Y es que, por ejemplo, el primer iPhone no tenía la App Store ni muchas de las características y funciones que tiene el iPhone moderno. Y aunque pensamos que 2008, cuando salió el iPhone, fue un cambio sísmico importante, en realidad no lo fue. Todo está tan disperso y tan lentamente se difunde que todo termina promediándose en la misma exponencial. Y es exactamente lo mismo con las computadoras, no puedes encontrarlas en el PIB como: «Oh, ahora tenemos computadoras».

Eso no fue lo que pasó porque es una progresión tan lenta. Y con la IA veremos exactamente lo mismo. Es solo más automatización. Nos permite escribir diferentes tipos de programas que no podíamos escribir antes, pero la IA sigue siendo fundamentalmente un programa. Y es un nuevo tipo de computadora y un nuevo tipo de sistema de computación, pero tiene todos estos problemas, se va a extender con el tiempo y seguirá sumando el mismo exponencial. Y aún tendremos un exponencial que se volverá extremadamente vertical. Y será muy ajeno vivir en ese tipo de entorno.

¿Estás diciendo que lo que pasará es...? Entonces, si observas la tendencia antes de la revolución industrial hasta ahora, tienes un crecimiento hiperexponencial donde pasas de, digamos, 0% de crecimiento a luego, hace 10.000 años, un 0,02% de crecimiento. Y luego, actualmente, estamos en un 2% de crecimiento. Así que eso es un hiperexponencial y estás diciendo que, si graficas la IA ahí, entonces la IA te lleva a un 20% de crecimiento o a un 200% de crecimiento.

Ajá.

O podrías estar diciendo que si miras los últimos 300 años, lo que has visto es tecnología tras tecnología, computadoras, electrificación, vapor, máquinas de vapor, ferrocarriles, etcétera, pero la tasa de crecimiento es la misma. Es del 2%. ¿Entonces estás diciendo que la tasa de crecimiento saltará hiperexponencialmente?

No, básicamente espero esto. La tasa de crecimiento también se ha mantenido más o menos constante, ¿verdad?

Solo en los últimos doscientos, trescientos años. Pero a lo largo de la historia humana ha explotado, ¿verdad? Es como si hubiera pasado de un 0% básicamente a más rápido, más rápido, más rápido, una explosión industrial, un 2%.

Básicamente, lo que quiero decir es que durante un tiempo intenté encontrar o buscar la IA en, digamos, la curva del PIB. Y me convencí de que esto es falso. Y que incluso cuando la gente habla de automejora recursiva y laboratorios y cosas por el estilo, ni siquiera... esto es lo habitual. Claro que va a automejorarse recursivamente, y se ha estado automejorando recursivamente. Los LLM permiten a los ingenieros trabajar mucho más eficientemente para construir la siguiente ronda de LLM.

Y muchísimos más de los componentes están siendo automatizados y ajustados, etcétera. Así que el acceso de todos los ingenieros a Google Search es, en cierto modo, parte de ello. Todos los ingenieros que disponen de un IDE, todos ellos con autocompletado o con código de plantilla, etcétera, todo esto es simplemente parte de la misma aceleración de todo el proceso. Así que es simplemente tan fluido.

Pero solo para aclarar, ¿dices que la tasa de crecimiento no cambiará?

Pues...

La explosión de inteligencia se verá como...

Ajá.

Nos permitió seguir en la trayectoria de crecimiento del 2%, como internet nos ayudó a mantenerla.

Sí, mi expectativa es que se mantenga el mismo patrón.

Solo para presentarte el argumento opuesto, mi expectativa es que esto explote, porque creo que la verdadera IAG, y no me refiero a los bots de codificación de LLM, hablo de un reemplazo real de un humano en un servidor, es cualitativamente diferente de estas otras tecnologías que contribuyen a mejorar la productividad.

Porque es la mano de obra en sí, ¿verdad? Creo que vivimos en un mundo con una escasez de mano de obra muy grande. Si hablas con cualquier fundador de una startup, con cualquier persona, puedes simplemente preguntar: «¿Qué es lo que más necesitas?». Simplemente necesitas gente realmente talentosa.

Y si simplemente tienes miles de millones de personas adicionales que están inventando cosas, integrándose a la sociedad, creando empresas desde cero hasta el final, eso se siente cualitativamente diferente de una sola tecnología. Es como si te preguntaran si tuvieras diez mil millones de personas extra en el planeta.

Quizás un contrapunto. En primer lugar, estoy bastante abierto a que me convenzan de un modo u otro en este punto. Pero sí diré, por ejemplo, la computación es trabajo. La computación era trabajo.

Las computadoras, muchos trabajos desaparecieron porque las computadoras están automatizando mucho procesamiento de información para lo que ya no necesitas un humano. Y así las computadoras son trabajo, y eso se ha visto. Y la conducción autónoma, por ejemplo, también son computadoras haciendo trabajo. Así que supongo que eso ya se ha visto, así que sigue siendo lo de siempre.

Sí. Supongo que tienes una máquina que está escupiendo más cosas así a un ritmo potencialmente más rápido. Y así, históricamente, tenemos ejemplos de cómo cambia el régimen de crecimiento, donde pasaste de un 0,2% de crecimiento a un 2% de crecimiento. Así que me parece muy plausible que, por ejemplo, una máquina que luego esté escupiendo el próximo coche autónomo y el próximo internet y lo que sea.

Sí, entiendo de dónde viene. Al mismo tiempo, siento que la gente asume que tenemos a Dios en una caja y ahora puede hacerlo todo. Y es que simplemente no se verá así. Va a poder hacer algunas cosas, pero fallará en otras cosas.

Claro.

Se irá introduciendo gradualmente en la sociedad y básicamente terminaremos con el mismo patrón, es mi predicción. Porque esta suposición de tener de repente un humano completamente inteligente, totalmente flexible, totalmente general, en una caja, y que podamos aplicarlo a problemas arbitrarios en la sociedad, no creo que tengamos este cambio discreto.

Claro.

Y creo que llegaremos a la misma difusión gradual de esto en toda la industria.

Yo creo que lo que a menudo resulta engañoso en estas conversaciones es que la gente... No me gusta emplear la palabra «inteligencia» en este contexto, porque «inteligencia» implica que piensas: una superinteligencia estará sentada, habrá una única superinteligencia sentada en un servidor y adivinará cómo crear nuevas tecnologías e inventos que causarán esta explosión.

Y eso no es lo que me estoy imaginando cuando me imagino un crecimiento del 20%. Me imagino que hay miles de millones de, básicamente, mentes muy inteligentes parecidas a las humanas potencialmente, o que eso es todo lo que se requiere.

Pero el hecho de que haya cientos de millones de ellos, miles de millones, cada uno individualmente creando nuevos productos, descubriendo cómo integrarse en la economía, justo como si un inmigrante inteligente y con mucha experiencia llegara al país, no necesitarías averiguar cómo integrarlo en la economía. Ellos lo averiguan. Podrían iniciar una empresa, podrían hacer inventos o simplemente aumentar la productividad en el mundo.

Y tenemos ejemplos, incluso en el régimen actual, de lugares que han tenido un crecimiento económico del 10, 20%. Si solo tienes mucha gente y menos capital en comparación con la población, puedes tener a Hong Kong o Shenzhen o lo que sea, que tuvieron décadas de más del 10% de crecimiento.

Y creo que es solo que hay mucha gente muy inteligente que está lista para usar los recursos y hacer este período de ponerse al día porque hemos tenido esta discontinuidad. Y creo que la IA podría ser similar.

Así que creo que lo entiendo, pero sigo pensando que estás presuponiendo algún salto discreto, simplemente un desbloqueo que estamos esperando reclamar, y de repente vamos a tener genios en centros de datos. Y sigo pensando que estás presuponiendo un salto discreto que creo que básicamente no tiene precedentes históricos, que no encuentro en ninguna de las estadísticas y que creo que probablemente no sucederá.

La Revolución Industrial es un salto enorme, ¿no? Pasaste de un 0% o 0,2% de crecimiento a un 2%. Solo digo que verás otro salto así.

Estoy un poco sospechoso. Tendría que mirarlo. Estoy algo sospechoso y tendría que echar un vistazo. Por ejemplo, quizás algunos de los registros no sean muy fiables de antes de la Revolución Industrial o algo por el estilo. Así que soy un poco escéptico al respecto, pero sí, quizás tengas razón. No tengo opiniones muy firmes.

Quizás estás diciendo que este fue un evento singular que fue extremadamente mágico, y estás diciendo que quizás habrá otro evento que será igual de mágico, extremadamente mágico, romperá paradigmas y así sucesivamente.

En realidad, no creo que... Lo crucial, lo más importante de la Revolución Industrial no fue que fuera algo mágico, ¿verdad? Es decir, si te acercaras, lo que verías en 1770 o 1870 no es que hubiera, digamos, una invención clave.

Exactamente.

Pero, al mismo tiempo, se logró llevar la economía a un régimen donde el progreso fue mucho más rápido y lo exponencial se multiplicó por diez. Y espero algo similar de la inteligencia artificial, donde no será como si hubiera un único momento en el que hiciéramos la invención crucial.

Todavía hay un excedente que se está desbloqueando, como si hubiera una nueva fuente de energía. Hay un desbloqueo, en este caso algún tipo de capacidad cognitiva, y hay un excedente de trabajo cognitivo por hacer. Y esperas que ese excedente se llene con esta nueva tecnología cuando cruce el umbral.

Así es.

Sí. Quizás una manera de pensarlo es a través de la historia: mucho crecimiento, o sea, el crecimiento se da porque la gente propone ideas y luego la gente está ahí fuera haciendo cosas para ejecutar esas ideas y generar un resultado valioso.

Y durante la mayor parte de este tiempo, la población no está explotando como motor de crecimiento. Durante los últimos 50 años, la gente ha argumentado que el crecimiento se ha estancado. La población en los países fronterizos también se ha estancado. Creo que volvemos al crecimiento hiperexponencial de la población y la producción.

¿Verdad? Lo siento, crecimiento exponencial poblacional que causa crecimiento hiperexponencial en la producción.

Sí. La verdad es que es muy difícil de saber. Entiendo ese punto de vista, pero no lo siento intuitivamente.

Así que acabamos de obtener acceso a Veo 3.1 de Google y ha sido muy divertido jugar con él. Lo primero que hicimos fue ejecutar una serie de indicaciones a través de Veo 3.0 y 3.1 para ver qué ha cambiado en la nueva versión. Así que aquí está Veo 3.0.

Hola, mi nombre es Max, y me quedé atascado en un mínimo local otra vez.

Está bien, Max, todos hemos pasado por eso. A mí me llevó tres épocas enteras salir de ahí.

Y aquí tienes Veo 3.1.

Hola, me llamo Max, y volví a quedarme atascado en un mínimo local otra vez.

Está bien, Max, todos hemos estado en esa situación. A mí me llevó tres épocas salir de ahí.

La salida de 3.1 es simplemente más coherente y el audio es notablemente de mayor calidad. De hecho, hemos estado usando Veo desde hace un tiempo. Publicamos un ensayo a principios de este año sobre empresas de IA, completamente animado por Veo 2.0, y ha sido realmente asombroso ver lo rápido que estos modelos están mejorando.

Esta actualización hace que Veo sea todavía más útil para darle vida a nuestras ideas y a nuestras explicaciones. Puedes probar Veo ahora mismo en la aplicación Gemini con las suscripciones Pro y Ultra, y también puedes acceder a él mediante la API de Gemini o por medio de Google Flow.

Tú me recomendaste el libro de Nick Lane, y entonces, basándome en esa recomendación, la verdad es que también lo encontré súper interesante, y por eso lo entrevisté. De hecho tengo algunas preguntas sobre la inteligencia y su historia evolutiva.

Ahora que, en los últimos 20 años, haces investigación de IA, quizás tienes un sentido más tangible de lo que es la inteligencia, lo que implica desarrollarla. ¿Estás más o menos sorprendido por el hecho de que la evolución simplemente diera con ello de forma espontánea?

Por cierto, me encantan muchísimo los libros de Nick Lane. Así que estaba escuchando su podcast, de hecho, de camino hacia aquí. Con respecto a la inteligencia y a su evolución, me pareció bastante... Es algo muy, muy reciente, ¿verdad que sí? Me sorprende de verdad que haya evolucionado, sí.

Me parece fascinante pensar en todos los mundos que hay ahí fuera, como si hubiera mil planetas como la Tierra y cómo se ven. Creo que Nick Lane estuvo aquí hablando de las primeras etapas, ¿verdad? O sea, él espera básicamente formas de vida muy similares, a grandes rasgos, y cosas parecidas a bacterias en la mayoría de ellos. Y luego hay algunas interrupciones.

Así es.

Yo esperaría que la evolución de la inteligencia, intuitivamente siento que debería ser un evento bastante raro, y ha habido animales durante... Supongo que quizás deberías basarlo en cuánto tiempo algo ha existido. Por ejemplo, si las bacterias han estado presentes por dos mil millones de años y no ocurrió nada, entonces la transición a un eucariota es probablemente bastante difícil porque las bacterias en realidad aparecieron muy temprano en la evolución, o en la historia de la Tierra.

Y supongo, ¿cuánto tiempo hemos tenido animales? Quizás un par de cientos de millones de años, como animales multicelulares, animales que corren, se arrastran, etcétera, lo que es quizás el 10% de la vida de la Tierra o algo así. O quizás en esa escala de tiempo, en realidad no es tan complicado.

Todavía me parece sorprendente, creo, intuitivamente, que se haya desarrollado. Quizás esperaría solo muchas formas de vida animales, haciendo cosas de animales. El hecho de que puedas obtener algo que crea cultura y conocimiento y lo acumula me resulta sorprendente.

Entonces, de hecho, hay un par de seguimientos interesantes. Si aceptas la perspectiva de Sutton, de que, en realidad, el punto clave de la inteligencia es la inteligencia animal, y que, según sus estudios, si logras entender a la ardilla, habrás recorrido la mayor parte del camino hacia la IAG, entonces la inteligencia de la ardilla, supongo, apareció justo después de la explosión cámbrica.

Hace seiscientos millones de años. Parece que lo que provocó todo eso fue el evento de oxigenación, también hace seiscientos millones de años. Pero inmediatamente, una especie de algoritmo de inteligencia ya estaba ahí para crear la inteligencia, ¿no? Así que es sugerente que la inteligencia animal fuera así. En cuanto hubo oxígeno en el ambiente y el eucariota, podías simplemente obtener el algoritmo.

Quizás fue una especie de accidente que la evolución lo detectó, lo quiso tan rápido, pero no sé si eso sugiere que en realidad, al final, vaya a ser bastante simple.

Sí. Básicamente es tan difícil saberlo, ¿verdad?, con todo esto. Supongo que puedes basarlo un poco en cuánto tiempo ha existido algo o cuánto tiempo parece que algo ha estado estancado. Así que Nick Lane es muy bueno describiendo este cuello de botella muy aparente en bacterias y arqueas.

Durante dos mil millones de años, no sucedió nada. O sea, una diversidad extrema de sustancias químicas, de bioquímica, y sin embargo, nada que crezca para llegar a ser animales. Dos mil millones de años. No sé si hemos visto un equivalente exacto de eso en animales y su inteligencia, a tu punto, ¿verdad? Pero supongo que también podríamos verlo con respecto a cuántas veces creemos que la evolución, la inteligencia ha surgido individualmente. Eso es algo muy bueno para investigar.

Quizás una idea sobre eso es que casi siento que... Existe la inteligencia homínida. Y está, diría yo, la inteligencia de las aves, ¿verdad? Como los cuervos, y otros animales, son extremadamente inteligentes.

Pero, en realidad, sus partes cerebrales son bastante distintas y no tenemos tanta existencia. Así que quizás sea un leve evento de... Hay una leve indicación de que la inteligencia surge varias veces. Y en ese caso, quizás lo esperarías más a menudo o algo así.

Sí. Un antiguo invitado, Gwern, y también Carl Shulman han hecho un punto muy interesante al respecto, que es que su perspectiva es que el algoritmo escalable que los humanos y los primates poseen se originó en las aves asimismo. Y quizás en otros momentos también. Pero los humanos encontraron un nicho evolutivo que recompensaba los incrementos marginales en la inteligencia y también poseía un algoritmo cerebral escalable que permitiera lograr esos aumentos en la inteligencia.

Y así, por ejemplo, si un pájaro tuviera un cerebro más grande, simplemente colapsaría en el aire. Así que es muy inteligente para el tamaño de su cerebro, pero no está en un nicho que recompense un cerebro más grande.

Sí, por supuesto.

Tal vez similar con unos muy listos oftal-...

¿Delfines, etcétera?

Exacto, sí. Mientras que los humanos tenemos manos que nos permiten aprender a usar herramientas. Podemos externalizar la digestión, más energía para el cerebro. Y eso pone en marcha el volante.

Sí, y solo cosas con las que trabajar. Supongo que sería más difícil si fuera un delfín. ¿Cómo lo haces? No puedes tener fuego, por ejemplo, y cosas así. El universo de cosas que puedes hacer en el agua, o sea, bajo el agua, es probablemente menor que lo que puedes hacer en tierra, solo químicamente.

Correcto.

Sí, estoy de acuerdo con este punto de vista de los nichos y lo que se está incentivando. Aún me parece un poco milagroso que... No sé, quizás habría esperado que se centraran en, por ejemplo, animales con músculos más grandes.

Así es.

O sea, pasar por la inteligencia es en realidad un punto de quiebre verdaderamente fascinante.

La forma en que Gwern lo expresó es que la razón por la que fue tan difícil es que hay una línea muy delgada entre estar en una situación donde algo es tan importante de aprender que no solo vale la pena destilar los circuitos exactos correctos directamente de vuelta a tu ADN, frente a que no es lo suficientemente importante como para aprenderlo en absoluto.

Claro.

Tiene que ser algo que sea... Tienes que incentivar la construcción del algoritmo para que aprenda en su vida útil.

Sí, exactamente. Tienes que incentivar cierta adaptabilidad. En realidad quieres ambientes que sean impredecibles. Entonces, la evolución no puede incorporar tus algoritmos en tus pesos.

Muchos animales están básicamente preprogramados en este sentido, y los humanos tienen que resolverlo en el momento de la prueba cuando nacen. En realidad, lo que quieres son este tipo de entornos que cambian muy rápidamente o algo por el estilo, donde no puedes prever qué es lo que funcionará bien. Y así depositas toda esa inteligencia. Creas inteligencia para poder resolverlo en el momento de la prueba.

Quintin Pope tenía esta interesante entrada de blog donde decía que la razón por la que no espera un despegue abrupto es que los humanos tuvieron este despegue abrupto, donde hace sesenta mil años parece que teníamos el tipo de arquitecturas que tenemos hoy. Y hace 10.000 años, la revolución agrícola, la modernidad... ¿Qué es lo que estaba pasando en esos 50.000 años? Tenías que construir esta especie de andamiaje cultural para poder acumular conocimiento a lo largo de generaciones.

Esta es una habilidad que existe de forma gratuita en la manera en que entrenamos la IA, donde si reentrenas un modelo, aún puede... En muchos casos, están literalmente destilados, pero pueden ser entrenados unos sobre otros. Pueden ser entrenados en el mismo corpus de preentrenamiento. No tienen que empezar literalmente desde cero. Así que hay un sentido en el que aquello que a los humanos les tomó mucho tiempo para que este ciclo cultural se pusiera en marcha simplemente viene gratis con la forma en que hacemos el entrenamiento de LLM.

Sí y no, porque los LLM no tienen realmente el equivalente de una cultura, y quizás les estamos dando demasiado e incentivando a no crearla o algo así. Pero supongo, como la mención de la cultura y de un registro escrito al final de pasarse notas entre ellos, no creo que haya un equivalente de eso con los LLM ahora mismo. Así que los LLM no tienen realmente cultura ahora mismo, y es uno de los impedimentos, diría yo.

¿Podrías darme una idea de cómo podría ser la cultura de los LLM?

En el caso más simple, sería como un bloc de notas gigante que el LLM puede editar. Y mientras lee cosas o mientras ayuda con el trabajo, está editando ese bloc para sí mismo. ¿Por qué un LLM no podría escribir un libro para los otros LLM? Eso sería genial. ¿Por qué otros LLM no pueden leer el libro de este LLM e inspirarse o sorprenderse por él o algo así? No hay equivalencia para nada de esto.

¡Qué interesante! ¿Cuándo esperarías que ese tipo de cosas comenzaran a ocurrir? Y una pregunta más general sobre, por ejemplo, los sistemas multiagente y una especie de inteligencia artificial independiente... civilización y cultura.

Creo que hay dos ideas muy potentes en el ámbito de los multiagentes que no han sido realmente exploradas o aprovechadas del todo, o algo así. La primera, diría yo, es la cultura, y los LLM son básicamente un repertorio de conocimiento en expansión para sus propios fines.

El segundo se parece mucho más a la poderosa idea del autojuego. En mi mente, es extremadamente poderosa. Así que la evolución en realidad es mucha competencia, básicamente, impulsando la inteligencia y la evolución. Y en AlphaGo, más algorítmicamente, AlphaGo juega contra sí mismo, y así aprende a dominar el go. Y no hay equivalente de LLM que se autoentrenen.

Pero esperaría que eso también existiera, pero nadie lo ha hecho aún. Por ejemplo, ¿por qué un LLM no puede crear un montón de problemas que otro LLM esté aprendiendo a resolver? Y luego el LLM siempre está intentando presentar problemas cada vez más difíciles. Cosas por el estilo. Creo que hay muchas maneras de organizarlo. Y creo que es un campo de investigación. Pero creo que no he visto nada que convincentemente afirme ambas cosas, como mejoras multiagente.

Sigo pensando que nos encontramos principalmente en el terreno de un único agente individual, pero también pienso que eso va a cambiar. Y en el ámbito de la cultura también incluiría a las organizaciones. Y no hemos visto nada parecido de forma convincente tampoco. Por eso todavía estamos en una etapa muy temprana.

¿Puedes identificar el cuello de botella clave que está impidiendo este tipo de colaboración entre LLM?

A lo mejor, la manera en que yo lo expresaría sería... Sorprendentemente, de nuevo, algunas de estas analogías funcionan y no deberían, pero sorprendentemente lo hacen. Muchos de los modelos más pequeños o los más tontos, los modelos más pequeños de alguna manera se parecen notablemente a un estudiante de kínder. O a un estudiante de primaria o de secundaria, etcétera. Y de alguna manera todavía no hemos «graduado» lo suficiente como para que esto pueda tomar el control.

En su mayoría, sigue siendo... Mi Claude Code o Codex todavía se sienten como en un estado elemental... estudiante de posgrado. Sé que pueden hacer exámenes de doctorado, pero cognitivamente todavía se sienten como un niño de jardín de infancia, un estudiante de primaria. Así que no creo que puedan crear cultura porque todavía son niños.

Son niños prodigio. Tienen memoria episódica... Tienen memoria perfecta de todo esto, etcétera, y pueden crear de forma muy convincente todo tipo de cosas que se ven realmente bien. Pero sigo pensando que no saben realmente lo que hacen, y no tienen realmente la cognición en todas estas pequeñas casillas que aún tenemos que recopilar.

Sí. Has comentado cómo estuviste en Tesla, liderando el desarrollo de la conducción autónoma desde el año 2017 hasta el 2022, y entonces pudiste ver de primera mano el progreso que se hizo desde... Pasamos de demostraciones geniales a tener ahora miles de coches circulando de forma autónoma. ¿Por qué llevó eso una década? ¿Qué es lo que estaba pasando durante todo ese tiempo?

Sí. Diría que una cosa a la que me opondría casi al instante también es que esto ni siquiera está cerca de terminar. De muchas maneras diferentes que les voy a explicar ahora. Realmente creo que la conducción autónoma es algo muy interesante, porque es, sin duda, de donde provienen muchas de mis intuiciones, ya que le dediqué cinco años a este tema. Y tiene toda una historia donde, de hecho, las primeras demostraciones de conducción autónoma se remontan a la década de los ochenta.

Puedes ver una demo de CMU en 1986. Hay un camión que se conduce solo por las carreteras. Pero para avanzar rápidamente, creo que cuando estaba por unirme a Tesla tuve una demostración muy, muy temprana de Waymo, y básicamente me dio un recorrido perfecto en el año dos mil... Dos mil catorce o algo parecido. Así que el coche de Waymo conducía perfectamente hace una década. Nos llevó por Palo Alto porque tenía un amigo que trabajaba allí.

Y pensé que estaba muy cerca, y aun así tardó mucho tiempo. Y sí creo que para ciertos tipos de tareas y trabajos y cosas por el estilo existe una brecha muy grande entre la demostración y el producto, donde la demostración es muy sencilla, pero los productos son realmente muy difíciles. Y es especialmente el caso en situaciones como la conducción autónoma, donde el costo de un fracaso es demasiado alto, ¿verdad? Muchas industrias, tareas y trabajos quizás no tienen esa propiedad, pero cuando sí la tienes, eso definitivamente aumenta los plazos.

Realmente creo que, por ejemplo, en ingeniería de software esa propiedad sí existe. Creo que para mucho código «vibe» no es así, pero si escribes código de producción real, esa propiedad debería existir, porque cualquier error lleva a una vulnerabilidad de seguridad o algo así. Y millones y cientos de millones de números de seguridad social personales de personas, etcétera, se filtran o algo así.

Y por eso creo que es un caso en el que, en el software, la gente debería tener cuidado, como en la conducción autónoma. En la conducción autónoma, si las cosas salen mal, podrías sufrir lesiones. Supongo que hay resultados peores, pero en software casi siento que es realmente ilimitado lo terrible que algunas cosas podrían llegar a ser.

Interesante.

Realmente creo que comparten esa propiedad. Y luego creo que básicamente lo que requiere una gran cantidad de tiempo, y la manera de entenderlo, es que es una marcha de nueves, y cada uno de esos nueves es una cantidad constante de trabajo. Cada nueve por sí solo es la misma cantidad de trabajo. Así que cuando obtienes una demo y algo funciona el noventa por ciento de las veces, eso es solo el primer nueve, y luego necesitas un segundo nueve, un tercer nueve, un cuarto nueve, un quinto nueve.

Y mientras estuve en Tesla por... ¿Fueron cinco años más o menos? Creo que pasamos por quizás tres nueves o dos nueves. No sé qué es, pero múltiples nueves de iteración. Todavía quedan más nueves por alcanzar, y por eso estas cosas tardan tanto.

Y por eso fue definitivamente formativo para mí ver algo que era una demo. Estoy muy poco impresionado por las demos. Así que cada vez que veo demos de cualquier cosa, me siento extremadamente poco impresionado por eso. Funciona mejor si puedes... Si es una demo que alguien preparó y solo te la está mostrando, es peor. Si puedes interactuar con ello, es un poco mejor.

Pero incluso así, no has terminado. Necesitas un producto real que enfrente todos estos desafíos al chocar con la realidad y todos esos distintos patrones de conducta que requieren corrección. Y creo que veremos todo eso desarrollarse. Es una marcha de nueves. Cada nueve es constante. Las demos animan. Aún queda muchísimo trabajo por hacer.

Creo que es una especie de dominio de seguridad crítico, a menos que estés haciendo vibe coding, lo cual es todo muy bonito y divertido. Y por eso creo que esto también reforzó mis plazos desde esa perspectiva.

Es muy interesante oírte decir que el tipo de garantías de seguridad que se necesitan del software en realidad no son tan diferentes a las de la conducción autónoma, porque lo que la gente suele decir es que la conducción autónoma tardó tanto porque el coste de un fallo es tan alto.

Un humano comete un error en promedio cada 400.000 millas o cada siete años. Y si tuvieras que lanzar un agente de codificación que no pudiera cometer un error por al menos siete años, sería mucho más difícil de implementar. Pero supongo que tu punto es que si cometieras un error de codificación catastrófico, como rompiendo un sistema importante cada siete años...

Es muy sencillo.

Y de hecho, en términos de tiempo real, sería mucho menos de siete años porque estás constantemente generando código así, ¿verdad? En términos de tokens serían siete años, pero en términos de tiempo real sería bastante...

Sí, en cierto modo es un problema mucho más difícil. La conducción autónoma es solo una de las miles de cosas que la gente hace. Es casi como un solo nicho, supongo. Mientras que cuando hablamos de ingeniería de software general, es aún más... Tiene más superficie.

Hay otra objeción que la gente suele presentar con respecto a esa analogía. Lo que pasa es que, con la conducción automática, lo que ocupaba una gran parte de ese tiempo estaba resolviendo el problema de construir una percepción básica, de tener una percepción básica que sea robusta, y de construir representaciones, y de tener un modelo que posea cierto sentido común para que pueda generalizar cuando vea algo que está ligeramente fuera de la distribución.

Si alguien está saludando, por ejemplo, por la carretera de esta manera, no necesitas entrenar para ello. El sistema tendrá cierta capacidad de entender cómo reaccionar a algo así. Y estas son cosas que estamos obteniendo gratuitamente con los LLM o VLM hoy. Por tanto, no sabemos cómo resolver estos problemas de representación tan fundamentales. Y ahora, desplegar IA en diferentes dominios será algo así como desplegar un coche autónomo con los modelos actuales en una ciudad diferente, lo cual es difícil, pero no como una tarea que dure diez años.

Sí, básicamente no estoy del todo seguro de si estoy completamente de acuerdo con eso. No sé cuánto estamos obteniendo gratis, y sigo pensando que hay muchas lagunas en la comprensión de lo que estamos obteniendo.

Estamos obteniendo definitivamente una inteligencia más generalizable en una sola entidad. Mientras que la conducción autónoma es una tarea de propósito muy específico que requiere... En cierto sentido, construir una tarea de propósito específico es quizás incluso más difícil en una circunstancia porque no surge de algo más general que estás haciendo a escala, si eso tiene sentido.

Pero sigo pensando que la analogía... Aún no sé si resuena del todo porque los LLM son aún bastante falibles, y sigo pensando que tienen muchas lagunas que aún hay que rellenar. Y no creo que estemos obteniendo una generalización mágica, por así decirlo, completamente de la nada, en cierto sentido. Y el otro aspecto al que quería volver cuando estaba al principio era que los coches autónomos todavía no están ni de lejos terminados.

Los despliegues siguen siendo bastante mínimos, ¿verdad? Incluso Waymo y demás tiene muy pocos coches, y lo están haciendo, a grandes rasgos, porque no son económicos, ¿verdad? Porque construyeron algo que vive en el futuro. Y entonces tuvieron que retrasar el futuro, pero tuvieron que hacerlo antieconómico.

Hay todos estos costos, no solo los marginales de esos coches y su operación y mantenimiento, sino también el CapEx de todo el sistema. Así que hacerlo económico seguirá siendo un trabajo arduo, creo, para ellos.

Y luego también pienso que cuando uno observa estos vehículos, y no hay absolutamente nadie al volante, también me resulta un tanto engañoso porque existen centros de teleoperación sumamente sofisticados de personas realmente involucradas con estos coches. No conozco el alcance completo, pero creo que hay más humanos involucrados de lo que esperarían, y hay gente en algún lugar, básicamente llegando desde el cielo.

Y no sé si están completamente al tanto de la conducción. Creo que a veces sí, pero ciertamente están involucrados y hay gente. Y en cierto sentido, no hemos quitado a la persona. Los hemos trasladado a un lugar donde no los vemos. Todavía creo que quedará trabajo, como mencionaste, al pasar de un entorno a otro. Así que creo que todavía hay desafíos para hacer que la conducción autónoma sea real. Pero sí estoy de acuerdo en que definitivamente ha cruzado el umbral donde se siente como real, a menos que esté realmente teleoperado.

Por ejemplo, Waymo no puede ir a todas las diferentes partes de la ciudad. Mi sospecha es que son partes de la ciudad donde no hay buena señal.

¿Ah, sí?

En fin, básicamente, realmente no sé nada sobre la pila. Solo estoy inventando cosas.

De verdad, dejaste la conducción autónoma por cinco años en Tesla.

Lo siento, olvidé mencionar los detalles de Waymo. De hecho, por cierto, me encanta Waymo y lo uso siempre. Solo creo que la gente, de nuevo, a veces es un poco demasiado ingenua sobre parte del progreso, y sigo pensando que hay una enorme cantidad de trabajo. Y creo que Tesla adoptó, en mi opinión, un enfoque mucho más escalable. Y creo que el equipo lo está haciendo extremadamente bien y va a...

Y estoy en el historial de haber predicho cómo irá esto, que es...

Que Waymo tuvo una ventaja inicial porque puedes empaquetar muchos sensores. Pero sí creo que Tesla está tomando la estrategia más escalable y se va a parecer mucho más a eso.

Entonces, creo que esto todavía tendrá que resolverse, y no lo ha hecho. Pero básicamente, no quiero hablar de la conducción autónoma como algo que tomó una década, porque no tardó. Todavía no ha surtido el efecto deseado, si es que tiene sentido. Porque, uno, el inicio es en 1980, no hace diez años. Y luego, dos, el final no ha llegado todavía.

Sí. El final no está cerca todavía. Porque, cuando hablamos de conducción autónoma, normalmente en mi mente es conducción autónoma a gran escala. La gente no tiene que sacar una licencia de conducir, etcétera.

Tengo curiosidad de plantear otras dos maneras en que la analogía podría ser diferente. Y la razón por la que me interesa esto es porque creo que la pregunta de cuán rápido se despliega la IA, cuán valiosa es en sus primeras etapas, es potencialmente la más importante del mundo ahora mismo, ¿verdad? Si, por ejemplo, estás intentando modelar cómo lucirá el año 2030, esta es la pregunta que debes comprender bien.

Entonces, otra cosa que podrías pensar es, primero, tienes este requisito de latencia con la conducción autónoma donde tienes... No tengo ni idea de cuáles son los modelos reales, pero asumo que tienen como decenas de millones de parámetros o algo así, lo cual no es la restricción necesaria para el trabajo de conocimiento con los LLM. O quizás sí lo sea con el uso de computadoras y otras cosas.

Pero bueno, de todas formas, el otro punto importante, y quizás este sea aún más relevante, en lo que respecta a esta cuestión de la inversión de capital: sí, por supuesto, hay un costo adicional al desplegar una copia adicional de un modelo, pero el gasto operativo que conlleva una sesión, el tipo de OpEx de una sesión, es bastante bajo. Y puedes amortizar el costo de la IA en la propia ejecución del entrenamiento, dependiendo de cómo vaya la escalabilidad de la inferencia y demás. Pero ciertamente no es tanto como construir un coche completamente nuevo para servir a otra instancia de un modelo. Así que, simplemente, los aspectos económicos de desplegarlo más ampliamente resultan mucho más favorables.

Creo que sí. Creo que si te quedas en el mundo de los bits, los bits son un millón de veces más fáciles que cualquier cosa que toque el mundo físico.

Así es.

Definitivamente lo concedo. Los bits son completamente cambiables, arbitrariamente reordenables a una velocidad muy rápida. Así que uno esperaría una adaptación más rápida también en la industria y demás. Y luego, ¿cuál era la primera?

Los requisitos de latencia y qué implica para el tamaño del modelo.

Creo que eso es más o menos correcto. También creo que, si hablamos de trabajo intelectual a gran escala, habrá ciertos requisitos de latencia en la práctica, porque tendremos que generar una gran cantidad de cómputo y que sirva para eso. Y luego, creo que el último aspecto del que quiero hablar muy brevemente también es, digamos, todo lo demás.

Todo lo demás. Entonces, ¿qué piensa la sociedad al respecto? ¿Cuáles son las ramificaciones o cómo funciona legalmente? ¿Cómo funciona en cuanto al seguro? ¿Quién es en realidad...? O sea, ¿cuál es la cuestión...? ¿Dónde están esas capas de la situación y sus aspectos? ¿Qué pasa con...? ¿Cuál es el equivalente de que la gente ponga un cono en un Waymo?

Así es.

Va a haber equivalentes de todo eso. Y por eso casi siento que la conducción autónoma es una analogía muy buena de la que se pueden tomar cosas. Sí, ¿cuál es el equivalente de un cono en un coche? ¿Cuál es el equivalente de un trabajador teleoperado que está escondido? Y casi todos y cada uno de los aspectos que lo conforman.

Sí. ¿Tienes alguna opinión sobre si esto implica que el actual despliegue de inteligencia artificial, que multiplicaría por diez la cantidad de capacidad de cómputo disponible en el mundo en uno o dos años, y quizás más de cien veces para el final de la década? Si el uso de la IA será menor de lo que algunas personas ingenuamente predicen, ¿significa eso que estamos construyendo demasiada capacidad de cómputo? ¿O es una cuestión diferente?

Sí. Como lo que pasó con los ferrocarriles y demás.

¿Con qué? Lo siento.

¿Fueron los ferrocarriles? Lo siento. Fue...

Sí, así es.

Sí. Hay un precedente histórico, ¿no? ¿O fue con la industria de las telecomunicaciones, verdad? Allanando el camino para internet que llegó una década después, y creando toda una burbuja en las telecomunicaciones...

De acuerdo.

La industria a finales de los noventa, algo por el estilo. Sí. Así que no lo sé. Entiendo que estoy sonando muy pesimista en este momento. Solo estoy haciendo eso... En realidad, soy optimista. Creo que esto funcionará. Creo que es factible. Solo parezco pesimista porque cuando entro a mi timeline de Twitter veo todas estas cosas que no tienen sentido para mí.

Y creo que hay muchas razones por las que eso existe, y creo que gran parte de ello es, honestamente, solo una cuestión de cómo se plantean las cosas. Son simplemente estructuras de incentivos. Mucho de ello puede ser la recaudación de fondos. Gran parte es solo la atención, convertir la atención en dinero en internet. Cosas así.

Creo que hay mucho de eso sucediendo, y creo que solo estoy reaccionando a eso. Pero sigo siendo, en general, muy optimista con la tecnología. Creo que vamos a superar todas estas cosas, y creo que ahora ha habido un progreso muy rápido. En realidad no sé si hay un exceso de construcción.

Creo que vamos a poder asimilar y aprovechar lo que, según mi entendimiento, se está construyendo. Porque, de hecho, creo que, por ejemplo, Claude Code o OpenAI Codex y cosas por el estilo ni siquiera existían hace un año, ¿no es cierto? ¿Es correcto? Creo que es más o menos acertado. Esta es una tecnología milagrosa que antes no existía. Yo creo que va a haber una cantidad enorme de demanda, como ya estamos viendo la demanda en ChatGPT y en otras cosas. Así que, sí, no estoy seguro de que haya un exceso de construcción.

Pero supongo que solo estoy reaccionando a algunos de los plazos muy rápidos que la gente sigue diciendo incorrectamente. Y lo he oído muchas, muchas veces a lo largo de mis 15 años en IA, donde personas muy reputadas siguen equivocándose todo el tiempo.

Y creo que quiero que estemos correctamente calibrados, y creo que parte de esto también tiene, por ejemplo, ramificaciones geopolíticas y cosas por el estilo, como algunas de estas preguntas. Y creo que no me gustaría que la gente cometiese errores en esa esfera de cosas. Así que sí quiero que estemos anclados en la realidad de lo que la tecnología es y lo que no es.

Hablemos de educación en Eureka y todo eso. Una cosa que podrías hacer es establecer otro laboratorio de inteligencia artificial y tratar de solucionar esos problemas. Tengo curiosidad por saber qué estás haciendo ahora. Y luego, ¿por qué no la investigación en inteligencia artificial en sí misma?

Supongo que la forma en que lo expresaría es que siento un cierto determinismo en torno a las cosas que están haciendo los laboratorios de IA. Y siento que podría ser de ayuda allí, pero no sé si yo lo mejoraría de manera singular. Pero creo que mi gran temor personal es que muchas de estas cosas suceden en detrimento de la humanidad, y que la humanidad se ve desempoderada por ello.

Y a mí me importan no solo las esferas de Dyson que construiremos y las que la IA construirá de forma autónoma. Me importa lo que les pase a los humanos. Y quiero que los seres humanos estén bien en este futuro, y siento que es ahí donde puedo aportar un valor mucho más único que una mejora incremental en un laboratorio de vanguardia.

Y así, supongo que a lo que más le temo es a algo quizás como lo que se representa en películas como WALL-E o Idiocracy o algo así, donde la humanidad está un poco al margen de todo este asunto. Y quiero que los seres humanos sean mucho, mucho mejores en este futuro. Y entonces, supongo, para mí, es a través de la educación que realmente puedes lograrlo.

¿En qué estás trabajando en este momento?

Sí. Eureka está intentando construir... Creo que la forma más fácil de describirlo es que estamos construyendo una Academia de la Flota Estelar. No sé si viste Star Trek.

No lo he visto, pero bueno.

Vale. La Academia de la Flota Estelar es como esta institución de élite para tecnología puntera, construir naves espaciales y graduar cadetes para que sean los pilotos de las naves espaciales y cosas así. Así que me imagino una institución de élite para el conocimiento técnico y, básicamente, un tipo de escuela que está muy actualizada y es de primer nivel.

Una de las preguntas que tengo para ti es cómo se enseña el contenido técnico o científico. Porque eres uno de los grandes maestros mundiales en esto. Y me da curiosidad cómo lo manejas para el contenido que ya has publicado en YouTube, pero también, si es que es distinto, cómo lo aplicas para tu Eureka.

Sí. Con respecto a Eureka, creo que algo que me resulta muy fascinante de la educación es que la educación cambiará de forma bastante fundamental con las IA como apoyo. Y creo que tendrá que ser reestructurada y modificada hasta cierto punto.

Todavía pienso que estamos en una etapa bastante temprana. Creo que habrá mucha gente que intentará hacer las cosas más obvias, que es tener un LLM y hacerle preguntas, hacer todas las cosas básicas que harías con el prompting en este momento. Creo que es útil, pero aún me parece un poco chapucero, como algo mal hecho. Me gustaría hacerlo correctamente y creo que no existe la capacidad para lo que yo desearía. Lo que yo querría es una experiencia de tutoría real.

Quizás un ejemplo destacado en mi mente es que recientemente estaba aprendiendo coreano. Así que, aprendizaje de idiomas. Y pasé por una fase donde estaba aprendiendo coreano por mi cuenta en internet. Pasé por una etapa en la que de hecho fui parte de una clase pequeña en Corea, aprendiendo coreano con un montón de otras personas, lo cual fue muy divertido. Pero teníamos un profesor y como diez personas aprendiendo coreano. Y luego cambié a un profesor particular. Y supongo que lo que me resultó fascinante es que creo que tuve un muy buen profesor.

Pero si me pongo a pensar en lo que esta tutora hacía por mí, y lo increíble que resultó ser esa experiencia, y lo alto que está el listón para lo que de verdad quiero construir a la larga... Porque ella era extremadamente... Ella al instante, con una conversación muy breve, comprendió mi nivel como estudiante, lo que sé y lo que no. Y pudo indagar exactamente qué tipo de preguntas o cosas hacer para entender mi modelo mental.

Ningún LLM lo hará por ti ahora mismo al cien. Ni de cerca, ¿verdad? Pero una tutora sí lo hará si es buena. Una vez que ella entiende, ella de hecho realmente me dio todo lo que necesitaba en mi actual nivel de capacidad.

Necesito que siempre me desafíen de manera apropiada. No puedo encarar algo que sea demasiado difícil o demasiado trivial. Y un tutor es realmente bueno dándote justo lo que necesitas. Y así, básicamente, sentí que yo era la única limitación para aprender. Como, mi propia... Yo era la única limitación, siempre se me dio la información perfecta. Soy la única limitación. Y me sentí bien porque soy el único impedimento que existe. No es que no pueda encontrar conocimiento o que no esté bien explicado, etcétera. Es solo mi capacidad para memorizar y así sucesivamente. Y esto es lo que quiero para la gente.

¿Cómo lo automatizas?

Muy buena pregunta. Con la capacidad actual, no lo haces. Pero sí creo que con... Y por eso creo que no es realmente el momento adecuado para construir este tipo de tutor de IA. Sigo pensando que es un producto útil y mucha gente lo construirá. Pero sigo sintiendo que el listón está tan alto, y la capacidad simplemente no está ahí.

Pero incluso hoy diría que ChatGPT es un producto educativo extremadamente valioso. Pero creo que para mí fue tan fascinante ver lo alto que está el listón. Y cuando estaba con ella, casi sentí que no hay forma de que pueda construir esto.

Pero lo construyes, ¿no?

Cualquiera que haya tenido un muy buen tutor dice: «¿Cómo lo vas a construir?». Así que supongo que estoy esperando esa capacidad. Yo sí pienso que de muchas maneras en la industria... Por ejemplo, hice consultoría de IA para visión artificial. Muchas veces, el valor que aporté a la empresa fue decirles que no usaran IA. No era como si yo fuera el experto en IA, y me describieron un problema, y yo dije: «No usen IA». Esta fue mi aportación de valor.

Y siento que es lo mismo en la educación ahora mismo, donde siento que para lo que tengo en mente aún no es el momento, pero el momento llegará. Pero por ahora estoy construyendo algo que funciona quizás de forma un poco más convencional, que tiene un componente físico y digital, y así sucesivamente. Pero creo que es obvio cómo debería verse esto en el futuro.

En la medida en que estés dispuesto a decirlo, ¿cuál es esa cosa que esperas que se lance este año o el próximo?

Estoy creando el primer curso. Y quiero que sea un curso muy, muy bueno. Un destino obvio y de vanguardia al que vas para aprender IA en este caso. Porque es justo con lo que estoy familiarizado, así que creo que es un muy buen primer producto para que llegue a ser realmente bueno. Y eso es lo que estoy construyendo.

Y nanochat, que mencionaste brevemente, es el proyecto final de LLM101n, que es una clase que estoy construyendo. Así que eso es una parte realmente grande de ello, pero ahora tengo que desarrollar muchos de los intermedios, y luego tengo que contratar un pequeño equipo de asistentes de cátedra y construir todo el curso.

Y quizás otra cosa que diría es que, muchas veces cuando la gente piensa en la educación, piensan en algo así como el lado más... Lo que yo diría es un componente más blando, de difundir conocimiento. Pero en realidad tengo algo sumamente difícil y técnico en mente. Y en mi opinión, la educación es, por así decirlo, ese proceso tan arduo y técnico de construir rampas hacia el conocimiento.

Así que, en mi opinión, nanochat es una rampa al conocimiento porque es muy simple. Es la pila completa súper simplificada. Si le das este artefacto a alguien y lo revisa, está aprendiendo un montón de cosas.

Claro que sí.

Y así te está dando muchas de las que yo llamo eurekas por segundo. Es decir, comprensión por segundo. Eso es lo que quiero. Muchas eurekas por segundo.

Y para mí, este es un problema técnico de cómo construimos estas rampas hacia el conocimiento. Y siempre pienso en Eureka como casi un... No es quizás tan diferente, tal vez, a algunos de los laboratorios de frontera o parte del trabajo que se va a estar haciendo. Porque quiero averiguar cómo construir estas rampas fronterizas, estas rampas de manera muy eficiente para que la gente nunca se quede atascada, y que nada sea demasiado difícil o demasiado trivial, y no puedes... Tienes justo el material adecuado para realmente progresar.

Sí. Entonces, te imaginas a corto plazo que, en lugar de que un tutor pueda sondear tu comprensión, si tienes suficiente autoconciencia para poder sondearte a ti mismo, nunca te quedarás atascado. Puedes encontrar la respuesta correcta entre hablar con el asistente de cátedra o hablar con un LLM y viendo la implementación de referencia.

Parece que la automatización o la inteligencia artificial no es en realidad tan significativa. Hasta ahora, lo más importante, el gran factor aquí es tu capacidad de explicar la IA codificada en el material de origen de la clase, ¿verdad? Eso es fundamentalmente lo que es el curso.

Creo que siempre tienes que estar calibrado a la capacidad que existe en la industria. Y creo que mucha gente va a decir: «Solo pregúntale a ChatGPT», etcétera. Pero yo creo que, por ejemplo, ahora mismo, si vas a ChatGPT y le dices: «Enséñame IA», no hay manera. Te va a dar pura basura, ¿no? La IA nunca va a escribir nanochat ahora mismo. Pero nanochat es un punto intermedio realmente útil, creo yo. Así que estoy colaborando con la IA para crear todo este material. Sigue siendo fundamentalmente muy útil.

Al principio, monté CS231n en Stanford, que fue una de las primeras... De hecho, creo que fue la primera clase de deep learning en Stanford que se hizo muy popular. Y la diferencia al desarrollar CS231n y LLM101n ahora es bastante marcada. Porque me siento muy empoderado por los LLM como existen ahora, pero estoy muy involucrado. Me ayudan a crear todos los materiales. Voy mucho más rápido. Ellos hacen la parte aburrida, etcétera. Siento que desarrollo el curso mucho más rápido y tiene LLM integrado, pero aún no está en un punto donde pueda crear el contenido de forma creativa. Todavía estoy ahí para hacerlo. Creo que lo complicado es siempre ajustarse a lo que existe.

Cuando uno imagina lo que estará disponible a través de Eureka en un par de años, parece que el gran cuello de botella va a ser encontrar Karpathys en un campo tras otro que puedan convertir su entendimiento en estas rampas, ¿no?

Sí. Creo que cambiará con el tiempo. Y ahora mismo, creo que sería contratar profesores para trabajar mano a mano con la IA y un equipo de personas, probablemente, para crear cursos de vanguardia.

Y luego, creo que con el tiempo algunos asistentes de cátedra podrían convertirse en IAs. Porque, bueno, solo tomas todos los materiales del curso y entonces creo que podrías servir como un muy buen asistente de cátedra automatizado para los estudiantes cuando tienen preguntas más básicas o algo así, ¿verdad? Pero creo que necesitarás profesores para la arquitectura general de un curso y asegurarte de que todo encaje. Veo una especie de progresión de cómo todo esto evolucionará. Y quizás en algún punto futuro yo ni siquiera sea tan útil y la IA haga la mayor parte del diseño mucho mejor que yo. Pero sigo pensando que eso tardará en manifestarse.

Pero, ¿te estás imaginando que gente con experiencia en otros campos está contribuyendo con cursos? ¿O sientes que es realmente esencial para la visión que tú, dada tu comprensión de cómo quieres enseñar, seas quien diseñe el contenido? Por ejemplo, Sal Khan está narrando todos los videos en Khan Academy. ¿Estás imaginando algo así o...?

No, contrataré profesores, creo, porque hay áreas en las que no soy un experto. Y creo que esa es la única forma de ofrecer la experiencia de vanguardia para el estudiante, en última instancia. Espero contratar profesores. Pero probablemente me quede en IA por un tiempo.

Sí tengo algo más convencional en mente para la capacidad actual de lo que la gente probablemente anticiparía. Y cuando estoy construyendo la Academia de la Flota Estelar, probablemente me imagino una institución física y quizás, un nivel por debajo de eso, una oferta digital que no es la experiencia de vanguardia que obtendrías cuando alguien viene físicamente a tiempo completo y trabajamos el material de principio a fin y nos aseguramos de que lo entiendas. Esa es la oferta física. La oferta digital es un montón de cosas en internet y quizás algún asistente LLM, y es un poco más llamativa y un nivel inferior, pero al menos es accesible para ocho mil millones de personas.

Sí, creo que lo que estás haciendo es, en el fondo, inventar la institución universitaria partiendo de los principios más básicos para las herramientas que están disponibles hoy y luego seleccionar a aquellas personas que tienen la motivación y el interés de involucrarse a fondo con el material.

Sí. Pienso que va a ser necesaria mucha educación y también reeducación, y me encantaría poder ayudar allí. Porque creo que los trabajos probablemente cambiarán bastante. Por ejemplo, hoy en día mucha gente está intentando mejorar sus habilidades específicamente en IA, así que creo que es un muy buen curso para enseñar en este sentido.

En cuanto a la motivación, antes de la IAG, la motivación es muy simple en sí misma porque la gente quiere ganar dinero y así es como se gana dinero en la industria hoy. Creo que después de la IAG es mucho más interesante, posiblemente porque, si todo está automatizado y no hay nada que hacer para nadie, ¿por qué iría alguien a una escuela, etcétera? A menudo digo que la educación anterior a la IAG es útil y la educación posterior a la IAG es divertida.

Por ejemplo, la gente va al gimnasio hoy día, pero no necesitamos su fuerza física para manipular objetos pesados porque tenemos máquinas que hacen eso. Entonces todavía van al gimnasio. ¿Por qué van al gimnasio? Porque es divertido, es sano y te ves genial cuando tienes abdominales. No lo sé. Supongo que lo que estoy diciendo es que es atractivo para la gente hacer eso en un sentido psicológico y evolutivo muy profundo para la humanidad.

Creo que la educación se desarrollará de la misma forma. Irás a la escuela como vas al gimnasio. Y creo que ahora mismo no mucha gente aprende, porque aprender es difícil. Te rindes ante el material porque... Algunas personas superan esa barrera, pero para la mayoría es difícil.

Pero yo sí creo que es un problema técnico que debemos resolver. Es un problema técnico hacer lo que mi tutor hizo por mí cuando estaba aprendiendo coreano. Creo que es algo abordable y que se puede construir, y alguien debería hacerlo. Creo que esto hará que el aprendizaje de cualquier cosa sea algo trivial y deseable, y la gente lo hará por pura diversión. Porque es algo trivial. Si tuviera un tutor así para cualquier tipo de conocimiento, creo que sería mucho más fácil aprender cualquier cosa. Y la gente lo hará. Lo harán por las mismas razones por las que van al gimnasio.

Lo que quiero decir es que eso suena un poco diferente a haciendo empleo de esto... Entonces, después de la IAG, estás usando esto básicamente como entretenimiento o como mejora personal. Pero sonaba como si también tuvieras una visión de que esta educación es relevante para mantener a la humanidad en control de la IA. Y suenan diferentes, y tengo curiosidad. ¿Es entretenimiento para unos y empoderamiento para otros? ¿Tú qué opinas?

Definitivamente siento que la gente va a estar... Y creo que, a la larga, es un poco una batalla perdida, si es que eso tiene sentido. Yo sí creo que a largo plazo, que creo que es más largo de lo que la mayoría de la gente en la historia piensa, es un juego perdido. Yo sí creo que la gente puede llegar muy lejos y que apenas arañamos la superficie de lo lejos que una persona puede llegar. Y eso es solo porque la gente se topa con material que es demasiado fácil o demasiado difícil y ellos...

Siento que la gente podrá ir mucho más lejos. Cualquiera habla cinco idiomas, ¿por qué no?, porque es tan trivial. Cualquiera sabe todo el currículo básico de los estudios universitarios, etcétera.

Ahora que ya estoy entendiendo la visión, eso es muy interesante. De hecho, tiene un análogo perfecto en lo que es la cultura del gimnasio. No creo que hace cien años alguien estuviera tan definido o musculoso. Nadie tendría la habilidad de simplemente levantar de forma espontánea dos o tres discos en press de banca, o algo por el estilo. Y, de hecho, es algo que se ha vuelto muy común en la actualidad.

La idea de entrenar sistemáticamente, ya sea levantando pesas o para correr un maratón, es una capacidad que espontáneamente no tendrías o que la mayoría de los humanos no tendría. Y estás imaginando cosas similares para aprender en muchos dominios diferentes mucho más intensamente, profundamente y más rápido.

Sí, exactamente. En cierto modo siento que estoy apostando un poco implícitamente a la atemporalidad de la naturaleza humana. Y creo que será deseable ser... Para hacer todas estas cosas. Creo que la gente lo va a ver como un ejemplo, como lo han hecho por milenios. Y creo que esto seguirá siendo cierto.

De hecho, quizás haya pruebas históricas de ello porque, si miras a los aristócratas o quizás la antigua Grecia, cuando tenías pequeños entornos aislados que eran posteriores a la IAG en cierto sentido, siento que la gente ha pasado mucho de su tiempo floreciendo de cierta manera, ya sea física o cognitivamente. Me siento bastante optimista con las perspectivas de eso. Y creo que, si esto resulta ser falso y me equivoco, y terminamos en un futuro tipo WALL-E o Idiocracy, ni siquiera me importaría si hay esferas de Dyson. Es un resultado terrible.

Sí, claro que sí, totalmente.

De verdad me importa mucho la humanidad. Todos tienen que ser como superhumanos, en cierto modo.

Supongo que sigue siendo un mundo en el que eso no nos está permitiendo realmente... Es como el mundo de la Cultura, ¿no? Donde, en el fondo, no vas a poder transformar la trayectoria de la tecnología o influir en las decisiones solo con tu propio esfuerzo o cognición. Quizás puedas influir en decisiones porque la IA pide tu aprobación. Pero no es porque yo haya inventado algo o haya ideado un diseño nuevo que esté de verdad influyendo en el futuro.

Sí, quizás. En realidad no creo que... Creo que habrá un período de transición donde podremos estar al tanto y hacer avanzar las cosas si realmente entendemos mucho. Yo sí creo que a largo plazo eso probablemente desaparezca, ¿verdad? Pero quizás incluso se convierta en un deporte. Por ejemplo, ahora mismo hay levantadores de pesas que van al extremo en esta dirección. Entonces, ¿qué es el levantamiento de pesas en la era cognitiva? Quizás es gente que de verdad intenta convertir en Olimpiadas el saber.

Sí, así es, claro.

Y si tienes un tutor de IA perfecto, quizás puedas llegar extremadamente lejos. Casi siento que apenas estamos... Los genios de hoy apenas están rascando la superficie de lo que una mente humana puede hacer, creo.

Sí. Me encanta de verdad esta visión. Y también siento que la persona con la que tu producto encaja mejor en el mercado soy yo, porque mi trabajo implica tener que estar aprendiendo temas diferentes cada semana. Y estoy muy emocionado si puedes...

Yo soy igual en ese sentido. Mucha gente, por ejemplo, odia la escuela y quiere salir. A mí me gustaba mucho la escuela. Me encantaba aprender cosas, etcétera. Quería quedarme en la escuela. Me quedé hasta el doctorado y luego no me dejaron seguir, así que fui a la industria. Básicamente, a grandes rasgos, me encanta aprender, incluso por el placer de aprender. Pero también me encanta aprender porque es una forma de empoderamiento y de ser útil y productivo.

Creo que también mencionaste un punto con el que comenzamos, solo para dejarlo bien claro. Creo que lo que ha sucedido hasta ahora con los cursos en línea es que, ¿por qué no nos han permitido ya que cada ser humano sepa absolutamente todo? Y creo que están tan cargados de motivación porque no hay entradas obvias y es tan fácil quedarse atascado. Si tuvieras, en su lugar, esta cosa, básicamente como un tutor humano realmente bueno, sería una liberación tan grande desde una perspectiva de motivación.

Sí, creo que sí. Porque se siente mal dejar un material. Se siente mal. Obtienes una mala recompensa de dedicar mucho tiempo a algo que no funciona o estar completamente aburrido porque lo que recibes es muy fácil o muy difícil. Creo que sí. Cuando realmente lo haces bien, aprender se siente bien. Y creo que es un problema técnico llegar a ese punto. Por un tiempo será una colaboración entre IA y humanos y, en algún momento, quizás sea solo la IA. No lo sé. Ya lo veremos.

Sí. ¿Puedo hacerte algunas preguntas sobre cómo enseñar bien? Si tuvieras que dar un consejo a otro educador, en otro campo que te interese, para hacer el tipo de tutoriales de YouTube que has hecho, quizás sea especialmente interesante hablar de dominios donde no puedes evaluar la comprensión técnica de alguien pidiéndole que programe algo o algo así. ¿Qué consejo les darías?

Creo que ese es un tema bastante amplio. Casi me parece que hay diez o veinte trucos y consejos que probablemente hago de forma semiconsciente. Pero, a un nivel más general, siempre intento... Creo que mucho de esto viene de mi formación en física. Realmente disfruté mucho mi formación en física. Tengo todo un discurso cuando pienso cómo todos deberían aprender física en la educación escolar temprana, porque creo que la educación escolar inicial no se trata de acumular conocimientos o memoria para tareas futuras en el ámbito industrial. Se trata de poner en marcha el cerebro.

Y creo que la física es la que mejor activa el cerebro, porque lo que te hace hacer en tu cerebro durante la física es extremadamente valioso después. La idea de construir modelos y de crear abstracciones y de comprender que existe un primer orden de aproximación que es el que describe la mayor parte del sistema, pero luego existen términos de segundo, de tercer y de cuarto orden que podrían o no estar presentes.

Y la idea de que estás observando un sistema muy ruidoso, pero en realidad hay estas frecuencias fundamentales que puedes abstraer. Como cuando un físico entra a la clase y dice: «Asuman que hay una vaca esférica», y bla, bla, bla. Todos se ríen de eso, pero en realidad es brillante. Es un pensamiento brillante, muy generalizable en toda la industria, porque una vaca se puede aproximar como una esfera, supongo yo, de muchas maneras. Hay un libro muy bueno, por ejemplo, Scale. Es de un físico que habla de biología, y este es un libro que quizás recomendaría.

Pero, de hecho, puedes obtener una gran cantidad de aproximaciones muy interesantes y establecer leyes de escalamiento para los animales. Y si observas sus latidos cardíacos y elementos similares, de hecho, coinciden con el tamaño del animal y otros aspectos por el estilo.

Se puede hablar de un animal como un volumen, y de hecho se pueden derivar muchas cosas. Se puede hablar de la disipación de calor de este, porque la disipación de calor crece con la superficie, que lo hace al cuadrado, pero tu creación o generación de calor está creciendo al cubo.

Y siento que los físicos tienen las herramientas cognitivas adecuadas para resolver problemas en el mundo. Por esa formación, siempre busco los términos de primer orden o los términos de segundo orden de todo. Cuando observo un sistema o una cosa, tengo una maraña de ideas o conocimientos en mi mente, y estoy tratando de encontrar qué es lo que realmente importa. ¿Cuál es el componente de primer orden? ¿Cómo puedo simplificarlo? ¿Cómo puedo tener lo más simple que realmente muestre eso? Que lo muestre, que lo demuestre en acción. Y luego puedo añadir los demás.

Quizás un ejemplo de uno de mis repos que creo que lo ilustra bien es el llamado micrograd. No sé si estás familiarizado con esto. Pero micrograd son cien líneas de código que muestran la retropropagación. Puedes crear redes neuronales con operaciones simples, como suma y multiplicación, etcétera, bloques de Lego de redes neuronales.

Y construyes un grafo computacional, y haces una pasada hacia adelante y una hacia atrás para obtener los gradientes. Esto está en el corazón de todo el aprendizaje de redes neuronales. Así que micrograd son cien líneas de código Python bastante interpretable, y puede hacer redes neuronales arbitrarias hacia adelante y hacia atrás, pero no de forma eficiente.

Así que micrograd, estas cien líneas de Python, son todo lo que necesitas para entender cómo se entrenan las redes neuronales. Todo lo demás es solo eficiencia.

Así es.

Lo demás es eficiencia. Y hay mucho trabajo para la eficiencia. Necesitas tus tensores. Los despliegas y los recorres. Te aseguras de que tus kernels orquesten el movimiento de memoria correctamente, etcétera. Todo es solo eficiencia, a grandes rasgos. Pero el aspecto intelectual clave del entrenamiento de redes neuronales es micrograd, cien líneas. Puedes entenderlo fácilmente.

Estás encadenando. Es aplicar recursivamente la regla de la cadena para derivar el gradiente, lo que permite optimizar cualquier función diferenciable arbitraria.

Me encanta encontrar los términos más pequeños y servirlos en bandeja de plata, y descubrirlos. Y siento que la educación es lo más interesante intelectualmente, porque tienes un enredo de conocimientos y estás tratando de exponerlos de una manera que cree una rampa, donde cada cosa solo depende de la que la precede.

Y encuentro que desentrañar el conocimiento es tan intelectualmente interesante como una tarea cognitiva. Y por eso me encanta hacerlo personalmente, pero simplemente me fascina intentar organizar las cosas de cierta manera; quizás eso me ayude.

También hace que la experiencia de aprendizaje sea mucho más motivadora. Tu tutorial sobre el transformer empieza con bigramas, literalmente como una tabla de consulta de: aquí está la palabra ahora mismo.

Así es.

O la palabra anterior, la siguiente. Y es solo una tabla de consulta.

Sí. Es la esencia de ello.

Es una forma brillante: vale, empieza con una tabla de búsqueda y luego pasa a un transformador y cada parte está motivada. «¿Por qué añadirías eso? ¿Por qué añadirías lo siguiente?». Podrías memorizar esta especie de fórmula de atención, lo cual es como tener una comprensión de por qué cada pieza es relevante, qué problema resuelve.

Sí, estás presentando el dolor antes de la solución. ¡Y qué astuto es eso! Y uno quiere guiar al estudiante a través de esa progresión, así que hay muchas otras pequeñas cosas de ese tipo que creo que lo hacen muy agradable, atractivo e interesante. Y siempre impulsando al estudiante. Hay muchas pequeñas cosas de ese tipo que creo que son importantes y que muchos buenos educadores suelen hacer.

Como: «¿Tú cómo resolverías esto?». No voy a presentar una solución antes de que tú intentes adivinar. Eso sería una pérdida de tiempo. No quiero decir palabrotas, pero es una jugada muy sucia hacia ti, presentarte la solución antes de darte la oportunidad de que intentes encontrarla por ti mismo.

Sí. Y es que, si lo intentas idear por ti mismo, supongo que obtendrás una mejor comprensión de cuál es el espacio de acción. Y entonces, ¿cuál es el objetivo, digamos? ¿Por qué solo esta acción cumple ese objetivo?

Sí. Bueno, tienes la oportunidad de ponerte a prueba, y te das cuenta, lo aprecias cuando te doy la solución. Y maximiza la cantidad de conocimiento por cada nuevo hecho añadido.

Eso es, sí. ¿Por qué crees que, por defecto, los verdaderos expertos en su campo suelen ser malos explicando a alguien que está empezando?

Es la maldición del conocimiento y la experiencia. Este es un fenómeno real, y yo mismo lo he sufrido por mucho que intente no sufrirlo. Pero uno da ciertas cosas por sentadas, y no puede ponerse en el lugar de la gente que recién empieza. Y esto es generalizado y me pasa a mí también.

Una cosa que, de hecho, me parece extremadamente útil: por ejemplo, alguien me estaba mostrando un artículo de biología hace poco, y al instante me surgieron muchísimas preguntas terribles.

Así es.

Lo que hice fue usar ChatGPT para hacer las preguntas con el artículo en la ventana de contexto, y luego resolvió algunas de las cosas simples. Y luego, de hecho, compartí el hilo con la persona que lo compartió, que en realidad escribió ese artículo o trabajó en ese trabajo. Y casi siento que, si pueden ver las preguntas estúpidas que hice, podría ayudarles a explicarlo mejor en el futuro o algo por el estilo.

Por ejemplo, para mi material, me encantaría que la gente compartiera sus conversaciones tontas con ChatGPT sobre las cosas que he creado, porque me ayuda mucho a ponerme, de nuevo, en los zapatos de alguien que está empezando.

Otro truco como ese funciona de una manera verdaderamente asombrosa. Si alguien escribe un artículo, una publicación de blog o un anuncio, es, en el cien por ciento de los casos, completamente cierto que solo la narración o la transcripción de cómo te lo explicarían a ti durante un almuerzo es mucho más comprensible, pero, en realidad, también es más precisa y científica, en el sentido de que las personas tienen la tendencia a explicar las cosas de la manera más abstracta y llena de jerga posible, y a aclararse la garganta durante cuatro párrafos antes de explicar la idea central.

Pero hay algo en hablar cara a cara con una persona que te obliga a simplemente decir lo que es evidente. Solo dilo.

Claro que sí. De hecho, vi ese tuit. Me pareció muy bueno. Lo compartí con mucha gente, la verdad. Sí, muy bueno.

Y esto lo he notado muchísimas veces. Quizás el ejemplo más destacado es, recuerdo, en mis tiempos de doctorado, haciendo investigación, etcétera, lees el artículo de alguien. Y trabajas. Intentas entender qué está haciendo, etcétera. Y luego los encuentras, tomando cervezas en la conferencia después, y les preguntas: «Entonces, este artículo, ¿qué estaban haciendo? ¿De qué trata el artículo?». Y ellos te dirán estas tres frases que capturan perfectamente la esencia de ese artículo y te dan la idea por completo.

Y no tuviste que leer el artículo de nuevo. Y es que solo cuando estás en la mesa con una cerveza o algo así, y te dicen: «Ah, sí, el artículo es así. Tomas esta idea, tomas aquella, y pruebas este experimento. Y pruebas esto». Y tienen una forma de decirlo conversacionalmente tan perfecta: «¿Por qué no es ese el resumen?».

Exactamente.

Esto viene desde la perspectiva de cómo una persona que intenta explicar una idea debería formularla mejor. ¿Cuál es tu consejo, como estudiante, para otros estudiantes en situaciones donde, si no tienes a un Karpathy que te esté exponiendo una idea, si estás leyendo un artículo de alguien o un libro? ¿Qué tipo de estrategias utilizas tú para aprender sobre material que te interesa, en aquellos campos en los que no eres un experto?

La verdad, no sé si realmente tengo trucos o consejos únicos, para serte honesto. Básicamente, es un proceso bastante doloroso. Pero la primera versión, creo que algo que siempre me ha ayudado bastante, la verdad, es… De hecho, hice un pequeño tuit sobre esto. Aprender cosas bajo demanda es bastante bueno, aprendiendo en profundidad.

Siento que necesitas alternar la profundidad del aprendizaje según la demanda. Estás intentando lograr un proyecto del que obtendrás una recompensa y aprendiendo de forma amplia, que es simplemente: «Hagamos un curso básico, y aquí están todas las cosas que podrías necesitar». Mucha escuela implica mucho aprendizaje general. Como: «Confía en mí, lo necesitarás después». Ese tipo de cosas. Como: «Está bien, confío en ti. Lo aprenderé, porque supongo que lo necesito». Pero me encanta el tipo de aprendizaje donde realmente obtienes una recompensa al hacer algo y aprendes a demanda.

Otra cosa que he descubierto y que me ha resultado sumamente útil es, y quizás este sea un aspecto en el que la educación es un poco más desinteresada, que explicarle cosas a la gente es una forma preciosa de aprender algo con mayor profundidad.

Esto me pasa todo el tiempo. Creo que a otras personas también les debe ocurrir, porque me doy cuenta de que si no comprendo algo de verdad, no puedo explicarlo. Y lo intento y me digo: «En realidad no lo entiendo». Y es tan molesto tener que aceptar eso. Y entonces puedes regresar y verificar que lo hayas comprendido. Y de esa manera llenas esos vacíos en tu entendimiento. Te fuerza a confrontarlos y a encontrarles una solución.

A mí me encanta volver a explicar y cosas por el estilo, y creo que la gente debería hacer eso más a menudo también. Creo que eso te obliga a manejar el conocimiento y a asegurarte de que sabes de qué estás hablando cuando lo explicas.

Sí. Creo que es una magnífica nota para cerrar. Andrej, estuvo excelente.

Sí, muchas gracias.

Gracias.

Cuando quieras.

Hola a todos. Espero que hayan disfrutado de este episodio. Si les gustó, lo más útil que pueden hacer es simplemente compartirlo con otras personas a quienes crean que podría gustarles. También es de gran ayuda si dejan una calificación o un comentario en la plataforma en la que estén escuchando.

Si te interesa patrocinar el podcast, puedes contactarnos en dwarkesh.com/advertise. De lo contrario, nos vemos en el próximo.