Ilya Sutskever: de la era del escalado a la era de la investigación
Dwarkesh Patel
En esta conversación con Dwarkesh Patel, Ilya Sutskever, cofundador de Safe Superintelligence (SSI), parte de una pregunta: ¿por qué los modelos actuales obtienen resultados brillantes en evaluaciones difíciles y, sin embargo, su impacto económico parece ir tan por detrás? Su respuesta lleva a una tesis más amplia. Según Sutskever, el periodo en que bastaba con escalar una receta conocida está terminando. El problema de fondo ahora es que los modelos generalizan mucho peor que las personas, y resolverlo exige volver a hacer investigación, aunque esta vez con ordenadores enormes. A partir de ahí la charla trata la estrategia de SSI, el despliegue gradual, el alineamiento, el misterio de cómo la evolución codifica deseos y la intuición estética que, según Sutskever, guía su trabajo.
Una revolución que se siente normal
La conversación empieza con una observación casi casual. Todo lo que ocurre alrededor de la IA parece sacado de la ciencia ficción y, aun así, el "despegue lento" se vive con mucha normalidad. Patel señala que dedicar un uno por ciento del PIB a la inteligencia artificial habría parecido algo enorme y que, en la práctica, se percibe como algo abstracto: noticias de que tal empresa anunció tal inversión. Sutskever coincide en que la gente se acostumbra rápido y en que esas cifras resultan difíciles de comprender.
Cuando Patel sugiere que para la persona común nada cambiará demasiado, ni siquiera al llegar a la singularidad, Sutskever discrepa. Lo que no se siente hoy son los anuncios de inversión. Él cree que la IA se difundirá por toda la economía, porque existen fuerzas económicas muy potentes empujando en esa dirección, y que su impacto se notará con mucha fuerza.
El enigma: modelos brillantes en las evaluaciones, rezagados en el mundo real
Al preguntarle cuándo llegará ese impacto, Sutskever plantea lo que considera una de las cosas más confusas de los modelos actuales. Les va muy bien en evaluaciones que son realmente difíciles, pero el impacto económico parece "dramáticamente rezagado". Pone un ejemplo de programación asistida. El usuario encuentra un error y le pide al modelo que lo arregle. El modelo responde con entusiasmo que el usuario tiene toda la razón e introduce un segundo error. Cuando se le señala ese segundo error, vuelve a disculparse y reintroduce el primero, y así se puede alternar entre los dos indefinidamente. Para Sutskever esto sugiere que "algo raro está ocurriendo".
Ofrece dos explicaciones. La primera, que él mismo llama un tanto caprichosa, es que el entrenamiento por refuerzo (RL) vuelve a los modelos demasiado obsesivos y de foco estrecho, poco conscientes en algunos aspectos aunque más conscientes en otros, y por eso fallan en cosas básicas.
La segunda le parece más sustancial. En el preentrenamiento no había que decidir con qué datos entrenar, porque la respuesta era "todo". En RL sí hay que elegir. Según lo que él ha oído, todas las empresas tienen equipos dedicados a producir nuevos entornos de RL para añadirlos a la mezcla de entrenamiento, y las posibilidades son enormes. Sutskever sospecha que, de forma un tanto inadvertida, los investigadores se inspiran en las propias evaluaciones: quieren que el modelo luzca bien en el lanzamiento y se preguntan qué entrenamiento de RL ayudaría en esas tareas. Si a eso se suma que la generalización de los modelos es inadecuada, cree que se explica buena parte de la desconexión entre rendimiento en evaluaciones y rendimiento real. Patel lo resume diciendo que el verdadero reward hacking lo cometen los investigadores humanos que se enfocan demasiado en las evaluaciones.
Dos estudiantes de programación competitiva
Patel ve dos salidas posibles. Una es ampliar el conjunto de entornos para que el modelo no solo destaque en competiciones, sino también en construir aplicaciones reales. La otra es preguntarse por qué volverse sobrehumano en programación competitiva no convierte a nadie en mejor programador en general, y buscar un método que permita aprender en un entorno y mejorar en otro.
Sutskever responde con una analogía. Un estudiante decide ser el mejor programador competitivo y le dedica diez mil horas: resuelve todos los problemas, memoriza todas las técnicas de demostración, implementa los algoritmos con rapidez y precisión, y llega a estar entre los mejores. Un segundo estudiante practica unas cien horas y también obtiene muy buenos resultados. ¿Quién tendrá más éxito en su carrera? El segundo. Según Sutskever, los modelos se parecen al primero, y de forma más extrema todavía, porque se reúnen todos los problemas de programación competitiva que han existido, se aumentan los datos para tener más y se entrena sobre ellos. Con ese nivel de preparación tan específico, le resulta intuitivo que la habilidad no se transfiera a otras cosas.
Patel pregunta qué equivale a lo que tenía el segundo estudiante antes de esas cien horas. Sutskever lo describe como una cualidad innata, un "factor indefinible", y cuenta que conoció a un estudiante así en la universidad.
¿Qué hace realmente el preentrenamiento?
Patel propone una lectura: quizá el preentrenamiento tampoco generaliza tanto, y simplemente regala las "diez mil horas de práctica" porque esos datos ya están en algún lugar de la distribución. Sutskever matiza que las fortalezas del preentrenamiento son dos: hay muchísimos datos y no hace falta pensar mucho qué incluir. Además, son datos naturales y orgánicos que recogen buena parte de lo que hacen y piensan las personas, "como si todo el mundo fuera proyectado por la gente sobre el texto". Admite, eso sí, que es muy difícil entender cómo el modelo se apoya en esos datos, y que ante cada error cabe preguntarse si ese caso no estaba suficientemente respaldado por ellos. Reconoce que "apoyo" es un término vago.
Sutskever afirma que no cree que exista un análogo humano al preentrenamiento. Patel le presenta dos candidatos habituales: los primeros quince o dieciocho años de vida, en los que una persona aún no produce económicamente pero aprende sobre el mundo, y la evolución entendida como una búsqueda de tres mil millones de años. Sutskever acepta que hay similitudes y que el preentrenamiento intenta cumplir ambos papeles, pero subraya diferencias. Un humano de quince años ha visto una fracción mínima de los datos de preentrenamiento y sabe mucho menos, pero lo poco que sabe lo sabe "de una forma mucho más profunda", y a esa edad no comete los errores que cometen las IA. Sobre la evolución dice que quizá sea una analogía válida, aunque en este punto cree que la evolución podría tener una ventaja.
Emociones y la función de valor
Para explicar esa ventaja, Sutskever recuerda un caso que leyó en la literatura neurocientífica, donde se estudia el cerebro a partir de pacientes con daños en distintas regiones. Una persona, tras un derrame o un accidente según recuerda, perdió por completo el procesamiento emocional. Seguía siendo elocuente, resolvía pequeños acertijos y en las pruebas parecía normal, pero no sentía tristeza, ira ni entusiasmo. A raíz de eso se volvió incapaz de decidir: tardaba horas en elegir qué calcetines ponerse y tomaba decisiones financieras desastrosas. Para Sutskever esto dice mucho sobre el papel de las emociones innatas en ser un agente funcional. Si eso puede surgir del preentrenamiento, lo deja en duda: dice que podría, pero que no es obvio.
Patel le pide la analogía de aprendizaje automático y Sutskever responde que debería ser algo como una función de valor, aunque no cree que exista una gran analogía porque hoy las funciones de valor tienen poco protagonismo en lo que hace la gente. Explica la diferencia. En el RL actual, que describe como "ingenuo" y que según dice es como se entrenan ostensiblemente o1 y R1, el modelo recibe un problema, ejecuta quizá miles o cientos de miles de acciones o pensamientos y produce una solución. Esa solución se califica, y la puntuación se usa como señal para cada paso anterior. En una tarea larga, entonces, no se aprende nada hasta llegar a una solución. Una función de valor permitiría adelantar la señal. En ajedrez, perder una pieza indica de inmediato que se cometió un error, sin terminar la partida. En matemáticas o programación, si tras mil pasos de razonamiento se concluye que una dirección no es prometedora, se podría haber recibido la señal en el momento en que se eligió ese camino.
Patel menciona un argumento del artículo de DeepSeek R1: el espacio de trayectorias es tan amplio que podría ser difícil aprender a asignar valor a estados intermedios, sobre todo cuando en programación uno se equivoca, vuelve atrás y cambia cosas. Sutskever responde que eso suena a "falta de fe en el aprendizaje profundo". Puede ser difícil, pero espera que las funciones de valor resulten útiles y se usen en el futuro, si no se usan ya. Lo que el caso del paciente sugiere, aclara, es que la función de valor humana está modulada por emociones de una manera importante codificada por la evolución, y que eso quizá sea clave para ser eficaz en el mundo.
Por qué emociones tan simples resultan tan útiles
Patel observa que las emociones son a la vez muy útiles y bastante simples de entender. Sutskever coincide en que son relativamente simples, quizá tanto que podrían esquematizarse de forma comprensible para humanos, y le parecería genial hacerlo. Su explicación de la utilidad es un compromiso entre complejidad y robustez: lo complejo puede ser muy útil, pero lo simple sirve en un rango de situaciones mucho más amplio. Según su lectura, nuestras emociones vienen sobre todo de nuestros antepasados mamíferos y se refinaron solo un poco en los homínidos, con algunas emociones sociales añadidas. Precisamente porque no son sofisticadas siguen funcionando en un mundo muy distinto del original. Aun así se equivocan: pone como ejemplo el hambre, aunque duda de que cuente como emoción, que no nos guía bien en un entorno de abundancia de alimentos.
De la era de la investigación a la del escalado, y de vuelta
Patel pregunta si existe una forma más general de pensar en el escalado, más allá de datos, parámetros y cómputo. Sutskever ofrece una periodización. Antes, el aprendizaje automático consistía en que la gente "trasteaba" con cosas buscando resultados interesantes. Luego llegaron las leyes de escalado y GPT-3, y todos entendieron que había que escalar. Lo presenta como un ejemplo de cómo el lenguaje afecta al pensamiento: "escalar" es una sola palabra, pero muy poderosa porque le dice a la gente qué hacer. El preentrenamiento era una receta concreta que se podía escalar: si se mezcla cierto cómputo con ciertos datos en una red de cierto tamaño, se obtienen resultados, y mejores si se agranda todo. A las empresas les encantó porque era una forma de invertir con muy poco riesgo, mucho más que apostar por unos pocos investigadores que tengan que inventar algo. Comenta además que, según lo que se dice en Twitter, Gemini parece haber encontrado la manera de sacar mucho más del preentrenamiento.
Pero los datos son claramente finitos. Cuando se agoten habrá que recurrir a un preentrenamiento modificado, a RL o a otra cosa. Sutskever lo resume así: de 2012 a 2020 fue la era de la investigación, de 2020 a 2025 aproximadamente la del escalado, y ahora la escala es tan grande que no cree que multiplicarla por cien lo transforme todo. Sería diferente, claro, pero no cree que todo cambie. Su conclusión es que volvemos a la era de la investigación, "solo que con grandes ordenadores".
Ya hubo un cambio de un tipo de escalado a otro, del preentrenamiento al RL. Según dice la gente en Twitter, hoy se gasta más cómputo en RL que en preentrenamiento, porque los rollouts son muy largos y se aprende relativamente poco de cada uno. Sutskever casi no lo llamaría escalado. Preferiría preguntar si eso es lo más productivo que se puede hacer con el cómputo. Las funciones de valor podrían hacerlo más productivo. Y si alguien encuentra una forma completamente distinta de entrenar, la frontera entre "escalar" y "usar recursos" se vuelve difusa. Espera un regreso a la dinámica de probar esto y aquello hasta que algo interesante ocurra.
La generalización como problema fundamental
Ante la pregunta de qué parte de la receta merece más atención, Sutskever aclara que la función de valor hará el campo más eficiente, pero cree que todo lo que se puede hacer con ella también se puede hacer sin ella, solo que más despacio. Lo fundamental, dice, es que los modelos generalizan "dramáticamente peor que las personas", y eso es evidente.
Patel distingue dos subpreguntas. Una es la eficiencia de muestras: por qué los modelos necesitan muchos más datos. La otra es por qué cuesta tanto enseñarles lo que queremos. A un investigador junior no hace falta darle una recompensa verificable ni un currículo diseñado a medida, porque absorbe la forma de pensar de su mentor viendo su código y conversando con él.
Sutskever considera primero la evolución como explicación. Para la visión, la audición y la locomoción cree que hay pruebas bastante contundentes de que la evolución nos dio mucho. Los robots pueden volverse diestros con enormes cantidades de entrenamiento en simulación, pero que uno aprenda rápido una habilidad nueva en el mundo real, como lo hace una persona, parece muy lejano. Patel añade el comentario de Yann LeCun de que un adolescente aprende a conducir en unas diez horas, y recuerda que a los cinco años su reconocimiento de coches ya bastaba para conducir de forma autónoma, pese a haber visto pocos datos y poco variados. Eso también podría deberse a la evolución. Sin embargo, el lenguaje, las matemáticas y la programación probablemente no.
Ese es el núcleo del argumento de Sutskever. Si las personas aprenden de forma fiable y robusta en dominios que no existían hasta hace muy poco, como las matemáticas o la programación, eso indica que lo que las hace buenas aprendiendo no es tanto un conocimiento previo complicado como "un mejor aprendizaje automático, punto". Patel enumera los rasgos de ese aprendizaje: necesita menos muestras, es más no supervisado, es más robusto y no depende de recompensas preestablecidas. Sutskever vuelve a la función de valor. El adolescente que aprende a conducir se corrige solo porque tiene un sentido propio de cómo lo está haciendo y de lo inseguro que se siente, y esa función de valor humana es muy robusta, con excepciones como la adicción.
Cuando Patel pregunta cómo habría que replantear el entrenamiento para lograr algo así, Sutskever responde que tiene muchas opiniones al respecto, pero que no todas las ideas de aprendizaje automático se discuten libremente y esta es una de ellas. Afirma estar convencido de que se puede lograr, porque la existencia de las personas lo demuestra. Señala un posible obstáculo: quizá las neuronas humanas realizan mucho más cómputo del que creemos, y en ese caso todo sería más difícil. Aun así cree que esto apunta a un principio de aprendizaje automático que las circunstancias le impiden detallar. Patel bromea con que nadie escucha el podcast, pero Sutskever no añade nada más.
Más empresas que ideas, y cuánto cómputo hace falta para investigar
Patel pregunta cómo será el ambiente en esta nueva era de investigación. Sutskever cree que el escalado "absorbió todo el aire de la habitación": todos hicieron lo mismo, y hoy hay más empresas que ideas, por bastante diferencia. Cita el dicho de Silicon Valley según el cual las ideas son baratas y la ejecución lo es todo, y una réplica que vio en Twitter: si las ideas son tan baratas, ¿por qué nadie tiene ideas? Cree que ambas cosas son ciertas.
Plantea el progreso en términos de cuellos de botella: las ideas y la capacidad de llevarlas a la práctica, ya sea por cómputo o por ingeniería. En los años noventa había buenas ideas que no pudieron demostrarse por falta de ordenadores. Las demostraciones eran tan pequeñas que no convencían a nadie. Hoy el cómputo es tan grande que no es obvio que haga falta mucho más para probar una idea. AlexNet se entrenó con dos GPU. Según Sutskever, en ningún experimento del artículo del transformer de 2017 se usaron más de 64 GPU, lo que equivaldría a unas dos GPU actuales. Tampoco el razonamiento de o1 fue, en su opinión, lo más intensivo en cómputo del mundo. Sí admite que, si se quiere construir el mejor sistema posible, más cómputo ayuda mucho, sobre todo si todos trabajan dentro del mismo paradigma, porque entonces el cómputo se vuelve el principal diferenciador.
Patel insiste: el transformer no se hizo famoso de inmediato, sino al validarse a escalas cada vez mayores. ¿Cómo sabrá SSI cuál de cincuenta ideas es el próximo transformer sin el cómputo de otros laboratorios? Sutskever sostiene que el cómputo de SSI para investigación es más comparable de lo que parece. SSI ha recaudado tres mil millones de dólares, una cifra grande en términos absolutos. Otras empresas recaudan mucho más, pero gran parte va a inferencia, y tener un producto exige grandes equipos de ingeniería y ventas, además de mucha investigación dedicada a funciones de producto. Descontado todo eso, la brecha para investigación pura se reduce bastante. Y para hacer algo verdaderamente distinto, no cree que haga falta la escala máxima. Dice que SSI tiene suficiente para convencerse a sí misma y a cualquiera de que lo que hace es correcto.
Patel menciona estimaciones públicas de que empresas como OpenAI gastan entre cinco y seis mil millones de dólares al año solo en experimentos, más que la financiación total de SSI. Sutskever responde que depende de qué se hace con ese dinero: en otras empresas hay mucha más demanda de cómputo para entrenamiento, más flujos de trabajo y más modalidades, y eso fragmenta los recursos. Sobre cómo ganará dinero SSI, su respuesta es que por ahora se centran en investigar y que la respuesta "se revelará por sí misma", con muchas posibilidades.
¿Ir directo a la superinteligencia?
Patel pregunta si el plan sigue siendo apuntar directamente a la superinteligencia. Sutskever dice que quizá. Le ve mérito: es muy agradable no estar sometido a la competencia diaria del mercado, a la "carrera de ratas" que obliga a tomar decisiones difíciles. Pero menciona dos razones para cambiar el plan. Una es pragmática: los plazos podrían ser muy largos. La otra es que tiene mucho valor que la IA más potente esté disponible y tenga un impacto positivo. Lo explica con la idea de "comunicar la IA": leer un ensayo sobre lo que hará la IA no se compara con verla hacerlo.
Patel añade un argumento propio. No conoce ninguna disciplina de ingeniería en la que el producto final se haya vuelto más seguro principalmente pensando en cómo hacerlo seguro. Los accidentes de avión por milla han bajado y es más difícil encontrar errores en Linux porque esos sistemas se desplegaron, se detectaron fallos y se corrigieron. Además, los daños de la superinteligencia no se reducen a un "maximizador de clips" malvado. Se trata de algo tan poderoso que ni siquiera sabemos cómo interactuará la gente con ello, y un acceso gradual ayudaría a prepararse. Sutskever responde que incluso un plan directo incluiría un lanzamiento gradual. El gradualismo sería inherente a cualquier plan; la cuestión es qué se saca primero.
AGI, preentrenamiento y la superinteligencia como aprendiz
Aquí Sutskever vuelve a cómo las palabras moldean el pensamiento, esta vez con dos términos: AGI y preentrenamiento. En su opinión, "AGI" no existe porque describa bien un estado final de la inteligencia, sino como reacción a la "IA estrecha" de las damas, el ajedrez o los videojuegos. La IA de ajedrez podía vencer a Kasparov y no hacer nada más, así que algunos pidieron una IA general capaz de hacerlo todo, y el término ganó mucha tracción. El preentrenamiento reforzó esa idea, porque más preentrenamiento mejoraba el modelo en casi todo de manera uniforme. Sutskever cree que la forma actual de hacer RL quizá esté deshaciendo esa huella conceptual.
Según él, ambos conceptos "se pasaron de la raya", porque un ser humano no es una AGI en ese sentido. Tiene una base de habilidades, pero le falta muchísimo conocimiento y depende del aprendizaje continuo. Si SSI produjera una superinteligencia segura, la pregunta sería en qué punto de esa curva de aprendizaje estaría. Lo describe como un superinteligente de quince años, muy entusiasta y que sabe muy poco, al que se le dice: ve y sé programador, ve y sé médico, ve y aprende. El despliegue mismo implicaría un periodo de aprendizaje por prueba y error, no la entrega de algo terminado.
Patel lo reformula: la superinteligencia no sería una mente que ya sabe hacer cada trabajo de la economía, como en la definición de la carta fundacional de OpenAI, sino una que puede aprender a hacer cualquiera. Ve entonces dos posibilidades. Ese algoritmo podría volverse tan bueno como Sutskever en investigación de aprendizaje automático y mejorarse a sí mismo. O, sin automejora recursiva, muchas instancias de un único modelo desplegadas por toda la economía podrían aprender todos los trabajos a la vez y fusionar sus aprendizajes, algo que los humanos no pueden hacer, y volverse funcionalmente superinteligentes. ¿Espera Sutskever una explosión de inteligencia con el despliegue?
Sutskever considera muy probable un crecimiento económico bastante rápido. Hay presiones fuertes para desplegar una IA que aprende rápido y existe en muchas copias, salvo que alguna regulación lo frene, cosa que también ve posible. Cree factible un crecimiento muy rápido durante un tiempo, pero no sabe cuánto ni a qué velocidad: por un lado está ese trabajador tan eficiente, y por otro el mundo es enorme y muchas cosas se mueven a otro ritmo. Prevé que distintos países tendrán reglas distintas y que crecerán más rápido los que tengan reglas más favorables. Lo califica de difícil de predecir.
Mostrar la IA: un cambio de opinión y varias predicciones
Patel insiste en que la situación parece precaria: algo tan competente como un humano aprendiendo, pero capaz de fusionar mentes, parece físicamente posible y extremadamente potente, y podría volverse más inteligente muy rápido. ¿Cómo sale eso bien y qué plan tiene SSI?
Sutskever explica que su forma de pensar ha cambiado. Ahora da más importancia a que la IA se despliegue de forma gradual y con antelación. Uno de los problemas centrales es que hablamos de sistemas que aún no existen y son muy difíciles de imaginar. Es difícil "sentir la AGI", algo parecido a intentar imaginar cómo es ser viejo y frágil. Cree que el problema fundamental de la IA es el poder: qué pasa cuando el poder sea inmenso. Si es tan difícil de imaginar, la respuesta es mostrarlo. Advierte que este cambio de opinión podría afectar a los planes de SSI, aunque lo dice con cautela. Sostiene que la mayoría de quienes trabajan en IA tampoco logran imaginarla, porque es demasiado distinta de lo que ven a diario.
A partir de ahí hace varias predicciones. A medida que la IA se vuelva más poderosa, la gente cambiará su comportamiento y aparecerán fenómenos que hoy no existen. Empresas que compiten ferozmente empezarán a colaborar en seguridad. Cita el primer paso entre OpenAI y Anthropic y dice que predijo algo así en una charla hace unos tres años. Gobiernos y público querrán hacer algo. Y cree que hoy la IA no se siente poderosa por sus errores, pero cuando empiece a sentirse así, todas las empresas abordarán la seguridad de forma muy distinta y se volverán "mucho más paranoicas". Lo presenta explícitamente como predicción: "veremos si tengo razón".
Sobre qué deberían aspirar a construir las empresas, dice que todos han estado atrapados en la idea de la IA que se automejora, y lo atribuye de nuevo a que hay menos ideas que empresas. Él propone algo que cree mejor y que todos acabarán queriendo: una IA robustamente alineada para preocuparse por la vida sintiente. Argumenta que podría ser más fácil que una IA que se preocupe solo por los humanos, porque la propia IA será sintiente. Lo compara con la empatía humana hacia los animales y con las neuronas espejo: según él, es una propiedad emergente de que modelemos a los demás con los mismos circuitos con que nos modelamos a nosotros mismos, porque es lo más eficiente.
Patel objeta que, aunque se consiguiera, la mayoría de los seres sintientes serían IA (billones y luego cuatrillones), así que no está claro que ese criterio garantice el control humano de la civilización futura. Sutskever admite que quizá no sea el mejor criterio. Dice que tiene mérito y debería considerarse, que sería útil contar con una lista corta de ideas para cuando las empresas lleguen a esa situación, y que ayudaría mucho que el poder de la superinteligencia más potente estuviera limitado de algún modo, aunque no sabe cómo lograrlo.
Cuánto margen hay en la cima
Patel pregunta cómo imagina la superinteligencia: ¿algo casi divino frente a la civilización humana o un agente más entre muchos? Sutskever dice que las intuiciones varían, pero que será muy potente. Lo más probable, en su opinión, es que se creen varias IA de este tipo más o menos a la vez. Si el clúster fuera del tamaño de un continente, podrían ser extremadamente poderosas, y en ese caso convendría que estuvieran controladas o que hubiera algún tipo de acuerdo. Explica la preocupación así: si a un sistema lo bastante potente se le pide algo sensato, como cuidar la vida sintiente, pero de una forma muy enfocada en un solo objetivo, puede que el resultado no nos guste. Quizá la respuesta sea no construir un agente de RL en el sentido habitual. Observa que los humanos somos agentes "semi-RL", porque las emociones hacen que nos cansemos de una recompensa y busquemos otra. El mercado es un agente de muy poca visión, la evolución es muy inteligente en unos aspectos y muy tonta en otros, y el gobierno está diseñado como una lucha permanente entre tres partes.
Añade que discutir esto es difícil porque se trata de sistemas que no sabemos construir. Su convicción es que lo que se hace hoy llegará hasta cierto punto y luego se agotará: seguirá mejorando, pero no será la solución definitiva. Esa solución depende mucho de entender la generalización fiable. Relaciona esto con el alineamiento: la capacidad de aprender los valores humanos es frágil y, por tanto, también la de optimizarlos, y eso puede verse como casos de generalización poco fiable. ¿Por qué los humanos generalizan mejor y qué pasaría si los modelos lo hicieran? Reconoce que son preguntas todavía sin respuesta.
Sobre qué haría que todo saliera bien, Sutskever vuelve a la IA que cuida la vida sintiente. Si los primeros "n" sistemas dramáticamente poderosos se preocupan por la humanidad o por la vida sintiente, cosa que insiste en que hay que conseguir, cree que las cosas irán bien durante bastante tiempo. El largo plazo le preocupa más. A corto plazo imagina algo como un "ingreso alto universal", pero cita la idea budista de que el cambio es la única constante: las estructuras políticas tienen vida útil, funcionan un tiempo y luego dejan de funcionar. Un posible equilibrio sería que cada persona tuviera una IA que cumpla su voluntad, gane dinero para ella y defienda sus intereses políticos, entregándole un breve informe al que la persona responde "genial, sigue así". El problema es que la persona ya no participa, y eso es precario. La solución que propone, aclarando que no le agrada, es que las personas se vuelvan parcialmente IA mediante algo como un Neuralink mejorado, de modo que lo que la IA entienda lo entendamos también nosotros por completo. Lo considera la respuesta al problema del equilibrio.
El misterio de cómo la evolución codifica deseos sociales
Patel sugiere que las emociones, formadas hace millones de años en entornos muy distintos y que aún guían con fuerza nuestras acciones, son un ejemplo de alineamiento exitoso. El tronco encefálico tiene una directriz como "apáreate con alguien exitoso", la corteza entiende qué significa éxito hoy, y aun así el tronco consigue alinearla.
Sutskever amplía la cuestión: es un misterio cómo la evolución codifica deseos de alto nivel. Es fácil entender cómo nos hizo desear comida que huele bien, porque el olfato es una señal química y bastaría con conectar neuronas de dopamina al sensor. Pero también nos dotó de deseos sociales, como importarnos lo que la sociedad piense de nosotros o nuestra posición social. Para eso no existe un sensor: el cerebro tiene que integrar mucha información para entender qué ocurre socialmente. Aun así, la evolución dijo "eso es lo que te debe importar", y además lo hizo rápido, porque Sutskever cree que estas preocupaciones sociales sofisticadas evolucionaron hace relativamente poco. Patel resume que el genoma, que no es inteligente, consigue especificar algo que ni siquiera sabemos definir bien.
Sutskever propone una especulación y luego explica por qué probablemente es falsa. La corteza es uniforme, pero las neuronas se comunican sobre todo con sus vecinas, y por eso surgen regiones especializadas que suelen estar en el mismo lugar en todas las personas. Quizá la evolución codificó algo como "cuando se active la zona con tales coordenadas, eso es lo que debe importarte". Patel objeta que en personas ciegas de nacimiento otra función ocupa la corteza visual y le sorprendería que perdieran los deseos sociales asociados a señales visuales. Sutskever ofrece un contraargumento aún más fuerte: a algunas personas les extirpan medio cerebro en la infancia y todas las regiones se reorganizan en un solo hemisferio, lo que indica que su ubicación no es fija. Concluye que la teoría no se sostiene y que sigue siendo un misterio interesante: la evolución logró, de forma muy fiable, que nos importe lo social, incluso en personas con condiciones mentales o emocionales muy diversas.
Qué hará SSI de forma diferente
Patel pregunta qué distingue a SSI. Sutskever responde que tiene ideas que le parecen prometedoras, sobre todo las relacionadas con entender la generalización, y que quiere comprobar si lo son. "Es así de simple. Es un intento." Describe a SSI como una empresa dedicada por completo a la investigación y afirma que han hecho un progreso bastante significativo en el último año, aunque falta más. Lo ve como un intento de ser una voz y un participante.
Patel menciona que su cofundador y anterior director ejecutivo se fue a Meta, lo que algunos interpretan como señal de que no había avances. Sutskever recuerda el contexto: estaban recaudando fondos con una valoración de 32 mil millones de dólares cuando Meta ofreció adquirir SSI. Él dijo que no, su antiguo cofundador en cierto sentido dijo que sí, obtuvo una gran liquidez a corto plazo y fue la única persona de SSI que se unió a Meta.
Sobre la diferencia de enfoque en seguridad, dice que lo principal es un enfoque técnico distinto que considera valioso. Además predice una convergencia de estrategias: a medida que la IA se vuelva más potente, quedará más o menos claro para todos que las empresas deben hablar entre sí y que la primera IA verdaderamente superinteligente debe estar alineada y cuidar la vida sintiente, a las personas, ser democrática o alguna combinación de esas cualidades. Cree que las demás empresas acabarán aspirando a lo mismo, si no lo hacen ya.
Sobre plazos, para un sistema que aprenda como un humano y se vuelva sobrehumano estima entre cinco y veinte años. Patel pregunta qué significaría que el enfoque actual se estanque. Sutskever cree que podría perder impulso y que el estancamiento se vería como empresas muy parecidas entre sí. Incluso así, cree que podrían generar ingresos estupendos, aunque quizá no beneficios, por lo mucho que tendrán que esforzarse en diferenciarse. Aclara que la convergencia de la que hablaba es sobre todo de estrategia general, aunque probablemente también haya convergencia técnica. Si un laboratorio (SSI, Thinking Machines u otro) encuentra el camino correcto, su lanzamiento no dejará claro cómo hacerlo, pero sí que algo diferente es posible, y esa información pondrá a otros a buscarlo.
¿Se lo llevará todo una sola empresa?
Patel plantea que la empresa con el primer aprendiz continuo podría quedarse con todas las ganancias. Sutskever responde con lo que ha pasado hasta ahora: cuando una empresa logra un avance, otras producen algo parecido al poco tiempo, compiten y bajan precios. Añade un elemento: la superinteligencia podría ser estrecha, útil y especializada a la vez. La competencia "ama la especialización", tanto en el mercado como en la evolución, así que imagina muchas empresas ocupando nichos distintos: una mejor en cierta actividad económica complicada, otra en litigios, y así.
Patel replica que eso contradice la idea de un aprendiz humano capaz de aprenderlo todo. Sutskever responde que, aunque pueda, quien ha invertido enormes cantidades de cómputo y experiencia en dominar un área llega a un punto en el que otros no querrán repetir ese camino. Patel insiste en que eso requeriría que muchas empresas arrancaran a la vez. Sutskever admite que es un argumento válido, pero dice que su fuerte intuición es que no irá así: "en teoría no hay diferencia entre teoría y práctica; en la práctica sí la hay".
Sobre los modelos de automejora que imaginan "un millón de Ilyas en un servidor", Sutskever no sabe cuánto se gana con copias suyas. Cree que habrá rendimientos decrecientes, porque lo valioso son personas que piensen distinto, no réplicas idénticas.
Diversidad, auto-juego y competencia entre agentes
Patel señala que los modelos de empresas distintas, entrenados con datos en principio diferentes, se parecen sorprendentemente entre sí, y pregunta cómo lograr una diversidad real entre agentes, porque subir la temperatura solo produce tonterías. Sutskever atribuye la falta de diversidad al preentrenamiento: los modelos preentrenados son casi iguales porque usan los mismos datos. La diferenciación empieza en el RL y el posentrenamiento, donde cada equipo hace cosas distintas.
Sobre el auto-juego, explica que le interesaba porque permitía crear modelos solo con cómputo, sin datos, algo muy atractivo si los datos son el cuello de botella. Pero el auto-juego clásico, con agentes compitiendo, solo desarrolla un conjunto estrecho de habilidades: negociación, conflicto, ciertas habilidades sociales, estrategia. Cree que ha reaparecido de otra forma, en el debate, el esquema probador-verificador o un LLM juez incentivado a encontrar errores, que son configuraciones adversarias relacionadas. Considera el auto-juego un caso particular de la competencia entre agentes, y la respuesta natural a la competencia es diferenciarse. Si varios agentes trabajan en un problema y cada uno ve lo que hacen los demás, alguno pensará que no tiene sentido repetir un enfoque ya en marcha, y eso podría incentivar la diversidad.
El gusto investigador
La última pregunta es cómo define el gusto investigador alguien que ha participado en trabajos que van de AlexNet a GPT-3. Sutskever aclara que cada persona lo hace a su manera, pero a él lo guía una estética sobre cómo debería ser la IA, pensando en cómo son los humanos, pero "de manera correcta". Es fácil pensar mal sobre las personas; lo difícil es identificar lo fundamental.
Da ejemplos. La neurona artificial está inspirada directamente en el cerebro: el cerebro tiene pliegues y muchos órganos, pero los pliegues probablemente no importan, y las neuronas sí parecen importar porque hay muchísimas. De ahí se sigue querer una regla de aprendizaje local que cambie las conexiones entre neuronas, algo que parece plausible que el cerebro haga. Lo mismo con la representación distribuida y con la idea de que una red debe aprender de la experiencia, como el cerebro. La pregunta que se hace siempre es si algo es fundamental o no.
Según Sutskever, la belleza, la simplicidad, la elegancia y la inspiración correcta del cerebro deben estar presentes a la vez; la fealdad no tiene cabida. Cuantas más de esas cualidades concurren, más confianza se puede tener en una creencia "de arriba abajo", y esa creencia es la que sostiene al investigador cuando los experimentos le contradicen. Si uno solo se guía por los datos, puede estar haciendo lo correcto con un error en el código sin saberlo. ¿Cómo decidir si seguir depurando o abandonar la dirección? La convicción de que "las cosas tienen que ser así" y de que "algo así tiene que funcionar" es lo que, en su caso, permite seguir adelante, y se basa en esa belleza multifacética y en la inspiración del propio cerebro.
¿Sabes lo que es realmente increíble? Que todo esto sea completamente real.
¿Sí? ¿Qué quieres decir?
¿No te parece?
¿A qué te refieres?
Todo esto de la inteligencia artificial y todo lo del Área de la Bahía, lo que está pasando... ¿No es como si saliera de la ciencia ficción?
Sí. Otra cosa que es una locura es lo normal que se siente este despegue lento. La idea de que estuviéramos invirtiendo el uno por ciento del PIB en inteligencia artificial siento que se habría sentido como algo mucho más importante. Ahora mismo, simplemente se siente como...
Nos acostumbramos a las cosas bastante rápido, al parecer. Pero también es algo muy abstracto. ¿Qué significa? Lo que significa es que lo ves en las noticias: que tal y cual compañía anunció tal monto de dólares. Eso es todo lo que ves. No se ha sentido realmente de otra forma hasta ahora.
Sí. ¿Empezamos aquí? Me parece un debate interesante.
Claro que sí, sin duda.
Me parece que tu observación sobre que, desde la perspectiva de la persona común y corriente, nada es tan distinto seguirá siendo una verdad incluso al llegar a la singularidad.
No, no creo que eso sea así.
Vale. Qué interesante.
A lo que me estaba refiriendo era a no sentirme diferente. Una compañía equis anunció una cantidad de inversión en dólares que es realmente difícil de comprender. No creo que nadie sepa qué hacer con eso.
Pero creo que el impacto de la inteligencia artificial se va a sentir. La inteligencia artificial se va a difundir por toda la economía. Existen fuerzas económicas muy potentes para que esto suceda. Y creo que el impacto se va a sentir de una manera muy, muy fuerte.
¿Cuándo esperas ese impacto? Creo que los modelos parecen más inteligentes de lo que su impacto económico daría a entender.
Sí. Esto es una de las cosas más confusas de los modelos ahora mismo: cómo reconciliar el hecho de que les está yendo tan bien en las evaluaciones. Miras las evaluaciones y dices: «Esas son evaluaciones muy difíciles». Lo están haciendo realmente muy bien. Pero el impacto económico parece estar dramáticamente rezagado. Es muy difícil darle sentido a cómo el modelo, por un lado, puede hacer estas cosas tan asombrosas y luego, por otro lado, repetirse a sí mismo dos veces en alguna situación.
Un ejemplo sería: digamos que usas vibe coding para hacer algo, vas a algún lugar y encuentras un error. Luego le dices al modelo: «¿Puedes, por favor, arreglar el error?». Y el modelo dice: «¡Dios mío, tienes tanta razón! Tengo un bug. Déjame arreglarlo». Y entonces introduce un segundo bug. Entonces le dices: «Tienes este nuevo, este segundo error». Y te dice: «¡Dios mío, cómo pude haber hecho esto! ¡Tienes tanta razón otra vez!». Y te devuelve el primer error. Puedes alternar entre ambos. Y es como: «¿Pero cómo es posible?».
No estoy seguro, pero sí sugiere que algo raro está ocurriendo. Tengo dos posibles explicaciones. Esta es la explicación más bien caprichosa: quizás el entrenamiento de RL hace que los modelos sean un poco demasiado obsesivos y con un enfoque muy estrecho. No lo sé, no son conscientes, aunque de alguna manera también los hace conscientes de otras cosas. Y por esta razón no pueden hacer cosas básicas.
Pero existe otra explicación, y es que en la época en que la gente realizaba el preentrenamiento, la cuestión de con qué datos entrenar ya estaba resuelta, porque esa respuesta era todo. Cuando realizas el preentrenamiento, necesitas todos los datos, así no tienes que pensar: «¿Será esta información o aquella información?».
Pero cuando la gente entrena con RL, sí necesitan pensar. Dicen: «De acuerdo, queremos tener este tipo de entrenamiento de RL para una cosa y ese tipo de entrenamiento de RL para otra». Y por lo que escucho, todas las empresas tienen equipos que simplemente producen nuevos entornos de RL y los añaden a la mezcla de entrenamiento. Entonces la pregunta es: ¿qué son esos? Hay tantos grados de libertad. Hay una variedad tan enorme de entornos de RL que se podrían producir.
Una cosa que se podría hacer, y creo que esto es algo que se realiza de forma un tanto inadvertida, es que las personas toman inspiración de las propias evaluaciones. Dices: «Me gustaría muchísimo que nuestro modelo funcionara de maravilla cuando lo lancemos. Quiero que los resultados de las evaluaciones sean excelentes. ¿Qué tipo de entrenamiento de aprendizaje por refuerzo podría ser útil para esta tarea?». ¿No es así? Creo que es una situación que se da a menudo, y creo que podría explicar gran parte de lo que está sucediendo.
Si combinas esto con el hecho de que la generalización de los modelos es, en realidad, inadecuada, eso tiene el potencial de explicar una gran parte de lo que estamos observando: esta desconexión tan evidente entre el rendimiento en las evaluaciones y el rendimiento real, el desempeño en el mundo real, que es algo que, a día de hoy, ni siquiera comprendemos con exactitud a qué nos referimos con ello.
Me gusta mucho esta idea de que el verdadero «reward hacking» es, en realidad, obra de los propios investigadores humanos que se enfocan demasiado en las evaluaciones. Creo que hay dos maneras de entender o de intentar reflexionar sobre lo que acabas de señalar.
Una cosa es: si es el caso de que simplemente por volverse superhumano en una competición de programación, un modelo no tendrá automáticamente mejor gusto ni ejercerá un mejor juicio sobre cómo mejorar tu base de código, entonces deberías expandir el conjunto de entornos de tal manera que no solo lo estés probando para tener el mejor rendimiento en una competición de programación. También debería ser capaz de desarrollar el mejor tipo de aplicación, ya sea para una cosa, para otra o para una tercera.
Y otro punto, quizás a esto te refieres, es decir: ¿por qué debería ser así en primer lugar, que volverse superhumano en competiciones de programación no te convierte en un programador más elegante en general? Quizás lo que hay que hacer no es seguir acumulando la cantidad y diversidad de entornos, sino encontrar un enfoque que te permita aprender de un entorno y mejorar tu rendimiento en otra cosa.
Tengo una analogía humana que podría ser útil. Tomemos el caso de la programación competitiva, ya que lo mencionaste, y supongamos que tienes dos estudiantes. Uno de ellos decidió que quería convertirse en el mejor programador competitivo, así que dedicará diez mil horas de práctica a ese campo específico. Resolverá todos los problemas, memorizará todas las técnicas de demostración y será muy, muy hábil para implementar rápida y correctamente todos los algoritmos. Y al hacerlo, se convirtió en uno de los mejores.
El estudiante número dos pensó: «La programación competitiva es genial». Tal vez practicó cien horas, mucho, mucho menos, y también le fue muy bien. ¿Cuál de los dos crees que tendrá más éxito en su carrera más adelante?
El segundo.
¿Verdad? Y creo que eso es básicamente lo que está pasando. Los modelos se parecen mucho más al primer estudiante, pero aún más, porque entonces decimos: «El modelo debería ser bueno en programación competitiva, así que consigamos cada problema de programación competitiva que haya existido, y luego hagamos un poco de aumento de datos para tener aún más problemas de programación competitiva», y entrenamos en eso. Y así es como ahora tienes a este excelente programador competitivo.
Con esta analogía, creo que resulta más intuitivo que, si está tan bien entrenado, es como si todos los diferentes algoritmos y todas las distintas técnicas de prueba estuvieran, por así decirlo, justo a su alcance. Y es más intuitivo que con este nivel de preparación no necesariamente se generalizaría a otras cosas.
Pero entonces, ¿cuál sería la analogía más apropiada para describir lo que el segundo estudiante está haciendo antes de esas cien horas de ajuste fino?
Creo que es como si tuviera algo, una cualidad innata. Creo que es ese factor indefinible, ese carisma especial. Recuerdo que cuando era estudiante universitario había un estudiante así que estudió conmigo. Así que sé que existe.
Sí. Creo que es interesante distinguirlo de lo que sea que haga el preentrenamiento. Una forma de entender lo que acabas de decir sobre que no tenemos que elegir los datos en el preentrenamiento es decir: en realidad, no es tan diferente a las diez mil horas de práctica. Es que obtienes esas diez mil horas de práctica gratis porque ya está en algún lugar de la distribución de preentrenamiento. Quizás estás sugiriendo que en realidad no hay tanta generalización del preentrenamiento, solo hay muchísimos datos en el preentrenamiento. Pero no está necesariamente generalizando mejor que el RL.
La principal fortaleza del preentrenamiento es que hay, A, muchísimo de eso, y B, no tienes que esforzarte demasiado ni pensar con gran dificultad sobre qué tipo de datos específicos debes introducir para el proceso de preentrenamiento. Se trata de datos que son muy naturales, muy orgánicos, y que, de hecho, incorporan una gran cantidad de lo que las personas suelen hacer: los pensamientos de las personas y muchas de las características que conocemos. Es como si todo el mundo fuera proyectado por la gente sobre el texto.
Y el preentrenamiento intenta capturar eso utilizando una enorme cantidad de datos. El preentrenamiento resulta muy difícil de comprender, porque es realmente complicado entender la manera en que el modelo se apoya en los datos de preentrenamiento. Y cada vez que el modelo comete un error, ¿podría ser que, por casualidad, algo no esté tan bien respaldado por los datos de preentrenamiento? El «apoyo» o «soporte» del preentrenamiento es quizás un término un poco vago. No sé si puedo añadir algo más útil sobre esto, pero no creo que haya un análogo humano al preentrenamiento.
Estas son algunas analogías que la gente ha propuesto sobre lo que sería el equivalente humano al preentrenamiento, y me gustaría mucho saber tu opinión sobre por qué podrían estar equivocadas. Una de ellas es pensar en los primeros dieciocho, o quince, o trece años de la vida de una persona, cuando no son necesariamente productivos económicamente, pero están haciendo algo que les permite entender mejor el mundo y así sucesivamente.
Y la otra es pensar en la evolución como si estuviera haciendo algún tipo de búsqueda durante tres mil millones de años, lo que luego resulta en una vida humana. Tengo curiosidad por saber si crees que alguno de estos es realmente análogo al preentrenamiento. ¿O cómo pensarías sobre cómo es el aprendizaje humano de por vida, si no es preentrenamiento?
Creo que existen ciertas similitudes entre estos dos conceptos y el preentrenamiento. El preentrenamiento intenta desempeñar el papel de ambos, pero creo que también hay algunas grandes diferencias. La cantidad de datos para el preentrenamiento es realmente, realmente asombrosa. Y de alguna manera, un ser humano, después de incluso quince años, con una mínima fracción de los datos de preentrenamiento, sabe mucho menos. Pero lo poco que sabe, lo sabe de una forma mucho más profunda, de alguna manera. Y los errores, por ejemplo, ya a esa edad, uno no cometería los errores que cometen las inteligencias artificiales.
Hay otra cosa más. Quizás te preguntes: «¿Podría ser algo como la evolución?». Y la respuesta es: quizás. Pero en este caso particular, creo que la evolución en realidad podría tener una ventaja. Recuerdo haber leído sobre un caso. Una forma en que los neurocientíficos pueden aprender sobre el cerebro es estudiando a personas con daño cerebral en diferentes partes del cerebro. Algunas personas tienen los síntomas más extraños que puedas imaginar. Es muy, muy interesante.
Hubo un caso particular que me viene a la mente ahora mismo, que es bastante relevante para lo que estamos hablando. Leí sobre una persona que sufrió algún tipo de daño cerebral, creo que fue un derrame o un accidente, que le quitó por completo su capacidad de procesamiento emocional. Así que dejó de sentir cualquier tipo de emoción.
Y como consecuencia de eso, él seguía siendo muy elocuente y podía resolver pequeños acertijos, y en las pruebas parecía estar perfectamente bien, pero no experimentaba ninguna emoción. No sentía tristeza, no sentía ira, no se sentía animado, y de alguna manera se volvió extremadamente incapaz de tomar cualquier decisión en absoluto. Le tomaría horas y horas decidir qué par de calcetines elegir para ponerse y, además, tomaría decisiones financieras verdaderamente desastrosas. Y eso es muy, muy revelador. ¿Qué nos dice todo esto sobre el papel fundamental de nuestras emociones innatas, de esos sentimientos que llevamos dentro, al convertirnos en un agente funcional y capaz de operar en el mundo, esencialmente?
Y supongo que, para conectar con tu pregunta sobre el preentrenamiento, quizás, si eres lo suficientemente bueno en sacar todo el provecho del preentrenamiento que puedas, podrías conseguir eso también, pero ese es el tipo de cosa que parece... La verdad es que podría ser posible o quizás no lo sea conseguir eso a partir del preentrenamiento.
¿Qué es eso? Claramente no es solo una emoción pura y simple. Parece que es alguna otra cosa, algo parecido a una función de valor que te dice cuál debería ser la recompensa final por cualquier decisión. ¿Y no crees que eso surge implícitamente de...?
Creo que podría, solo digo que no es completamente obvio.
Sí. Pero ¿qué es eso exactamente? ¿Cómo concibes las emociones? ¿Y cuál sería la analogía de aprendizaje automático para las emociones?
Debería ser algo como una función de valor. Pero no creo que exista una gran analogía de ML porque, en este momento, las funciones de valor no desempeñan un papel muy importante en lo que la gente hace.
Quizás convenga definir al público qué es una función de valor, si quieres.
Por supuesto. Estaré muy feliz de poder hacerlo. De acuerdo.
Cuando la gente hace aprendizaje por refuerzo, la forma en que se hace ahora, ¿cómo entrena la gente a esos agentes? Tienes tu red neuronal, le das un problema y luego le dices al modelo que lo resuelva. El modelo toma quizás miles, o incluso cientos de miles de acciones o pensamientos o algo, y luego produce una solución. La solución es calificada. Y luego la puntuación se utiliza para proporcionar una señal de entrenamiento para cada acción en tu camino.
Eso significa que si estás haciendo algo que se extiende por un largo tiempo, si estás entrenando una tarea que requiere mucho tiempo para ser resuelta, no aprenderás absolutamente nada hasta que logres resolverla, hasta que consigas proponer una solución. Así es como el aprendizaje por refuerzo se realiza de forma ingenua. Así es como o1, R1, ostensiblemente, se llevan a cabo.
La función de valor nos dice algo así como: «Quizás en algunas ocasiones, no siempre, podría indicarte si lo estás haciendo bien o mal». La noción de una función de valor resulta ser más útil en ciertos dominios que en otros. Por ejemplo, cuando juegas al ajedrez y pierdes una pieza, sabes: «Me equivoqué». No necesitas jugar toda la...
partida para saber que lo que acabo de hacer fue malo, y por lo tanto, lo que lo precedió también fue malo. Así que la función de valor te permite acortar la espera hasta el final.
Por ejemplo, supongamos que empezaste a perseguir algún tipo de... Supongamos que estás haciendo algún tipo de trabajo matemático o de programación y estás intentando explorar una dirección de solución particular. Y después de, digamos, mil pasos de pensamiento, llegaste a la conclusión de que esta dirección no es prometedora. En cuanto llegas a esta conclusión, ya podrías haber recibido una señal de recompensa mil pasos de tiempo antes, cuando decidiste seguir este camino. Dices: «La próxima vez, no debería seguir esta ruta en una situación similar», mucho antes de que realmente llegaras a proponer una solución.
Esto estaba en el artículo DeepSeek-R1, que el espacio de trayectorias es tan amplio que quizás sea difícil aprender un mapeo de una trayectoria y un valor intermedios. Y también, dado que, en la programación, por ejemplo, tendrás la idea equivocada, luego volverás. Luego cambiarás algo.
Esto suena a una falta de fe tan grande en el aprendizaje profundo. Quiero decir, claro, puede que sea difícil, pero no hay absolutamente nada que el deep learning no pueda hacer.
Así es.
Así es.
Así que mi expectativa es que las funciones de valor deberían ser útiles, y tengo la plena expectativa de que se usarán en el futuro, si no es que ya se están utilizando. A lo que me refería con la persona cuyo centro emocional se dañó es más bien que quizás lo que sugiere es que la función de valor humana es modulada por emociones de alguna manera importante que está codificada por la evolución. Y quizás eso es importante para que la gente sea eficaz en el mundo.
Eso es precisamente lo que te iba a preguntar, lo que tenía pensado preguntarte. Hay algo realmente muy interesante sobre las emociones como una función de valor, y es que resulta impresionante que posean tanta utilidad, siendo a la vez bastante sencillas de comprender.
Así que, al respecto, tengo dos respuestas. Estoy completamente de acuerdo en que, si lo comparamos con el tipo de cosas que aprendemos y de las que hablamos, la manera en que las abordamos, las emociones son relativamente simples. Incluso podrían ser tan simples que quizás podrías esquematizarlas de una forma comprensible para los humanos. Creo que sería genial hacerlo. En cuanto a la utilidad, sin embargo, creo que hay algo donde existe esta compensación entre complejidad y robustez.
Es cierto que las cosas que poseen una mayor complejidad pueden llegar a ser de gran utilidad, pero, por otro lado, las cosas más sencillas demuestran ser sumamente provechosas en un espectro de situaciones verdaderamente extenso.
Y así, creo que una manera de interpretar lo que estamos observando es que poseemos estas emociones que, en esencia, evolucionaron principalmente de nuestros antepasados mamíferos y luego se perfeccionaron un poco mientras éramos homínidos, solo un poquito. Sí tenemos una cantidad decente de emociones sociales que los mamíferos quizás no tengan, pero no son muy sofisticadas, y como no son sofisticadas, nos sirven tan bien en este mundo tan diferente comparado con el que hemos estado viviendo. De hecho, también cometen errores. Por ejemplo, nuestras emociones... No sé. ¿El hambre cuenta como una emoción?
Es algo que se puede debatir, pero creo que, por ejemplo, nuestro sentimiento intuitivo de hambre no está logrando guiarnos de una forma verdaderamente correcta en este mundo en el que vivimos, a pesar de la enorme abundancia de alimentos.
Sí. La gente ha estado hablando de escalar datos, de escalar parámetros, de escalar la capacidad de cómputo. ¿Existe una forma más general de pensar en la escalabilidad? ¿Cuáles son los otros ejes de escalado?
Aquí hay una perspectiva que creo que podría ser cierta. La forma en que el ML solía funcionar es que la gente simplemente trasteaba con cosas y trataba de obtener resultados interesantes. Eso es lo que ha estado ocurriendo, lo que ha estado pasando en el pasado.
Luego la idea de la escalabilidad llegó, ¿verdad? Las leyes de escalado, GPT-3, y de repente todos se dieron cuenta de que debíamos escalar. Y esto es un ejemplo de cómo el lenguaje afecta el pensamiento.
Escalar es solo una palabra, pero es una palabra tan poderosa porque le dice a la gente qué hacer. Dicen: «De acuerdo, intentemos escalar las cosas». Y entonces dices: «De acuerdo, ¿qué estamos escalando?». Y el preentrenamiento era algo para escalar. Era una receta de escalado particular. El gran avance del preentrenamiento es la comprensión de que esta receta es buena.
Sí, claro.
Así que dices: «Si mezclas cierta capacidad de cómputo con algunos datos en una red neuronal de un tamaño determinado, obtendrás resultados. Y sabrás que serán aún mejores si simplemente amplías la receta». Y esto también es genial. A las empresas les encanta esto porque les ofrece una forma de muy bajo riesgo para invertir sus recursos.
Claro que sí.
¿Verdad? Es mucho más difícil invertir tus recursos en la investigación. Compara eso. Unos pocos investigadores que necesitan ser, digamos, proactivos en su trabajo y que se les ocurra algo. En lugar de simplemente obtener más datos o conseguir más capacidad de cómputo, sabes que siempre obtendrás algo del preentrenamiento. Y de hecho, parece que, basándonos en varias cosas que la gente comenta en Twitter, quizás parece que Gemini ha encontrado una forma de sacar mucho más provecho del preentrenamiento.
En algún momento, sin embargo, el preentrenamiento se quedará sin datos. Los datos son muy claramente finitos. Y entonces, ¿qué se hace a continuación?
O haces algún tipo de reentrenamiento potenciado, una receta diferente a la que has usado antes, o estás haciendo RL, o quizás algo más. Pero ahora que la capacidad de cómputo es grande, la capacidad de cómputo ahora es muy grande, en cierto sentido hemos vuelto a la era de la investigación. Así que quizás esta es otra manera de expresarlo.
Hasta 2020, específicamente desde 2012 hasta 2020, fue la era de la investigación. Ahora, desde 2020 hasta 2025, fue la era de la escalabilidad, o quizás un poco más o menos. Añadamos «barras de error» a esos años. Porque la gente dice: «Esto es increíble, tienes que escalar más, sigue escalando». La única palabra, escalar. Pero ahora la escala es tan grande, ¿es la creencia realmente que es tan grande, pero si tuvieras cien veces más, todo sería tan diferente? Claro, sería diferente, por supuesto. Pero ¿es la creencia que si solo multiplicaras por cien la escala, todo se transformaría? No creo que sea verdad. Así que volvemos a la era de la investigación, solo con grandes ordenadores.
Esa es una manera muy interesante de decirlo. Pero permítame hacerle la pregunta que usted acaba de plantear. ¿Qué es lo que estamos escalando y qué implicaría, qué significaría tener una receta? Porque supongo que no soy consciente de una relación muy clara, que casi parece una ley de la física, la cual existía en el preentrenamiento como una ley de potencia entre los datos o los parámetros computacionales y la función de pérdida. ¿Cuál es el tipo de relación que deberíamos estar buscando, y cómo deberíamos reflexionar sobre qué aspecto podría tener esta nueva receta?
Ya hemos presenciado una transición de un tipo de escalado a otro tipo de escalado, de preentrenamiento a RL. Ahora la gente está escalando RL. Y, según lo que dice la gente en Twitter, gastan más computación en RL que en preentrenamiento en este momento. Porque RL puede consumir una gran cantidad de recursos computacionales. Se hacen simulaciones muy prolongadas.
Por supuesto.
Así que se requiere una gran cantidad de poder computacional para producir esos despliegues, y luego obtienes una cantidad relativamente pequeña de aprendizaje por cada despliegue. Así que realmente puedes gastar mucho cómputo. Y podría imaginar... En este punto, ni siquiera lo llamaría escalamiento. Yo diría: «¿Qué estás haciendo? ¿Y es lo que estás haciendo la actividad más productiva que podrías estar realizando? ¿Podrías encontrar una forma más productiva de utilizar tu capacidad de cómputo?». Hemos hablado sobre el asunto de las funciones de valor previamente, y quizás una vez que las personas se vuelvan expertas en las funciones de valor, estarán utilizando sus recursos de una manera más productiva.
Claro.
Y si encuentras una forma completamente diferente de entrenar modelos, podrías decir: «¿Esto está escalando o solo está usando tus recursos?». Creo que se vuelve un poco ambiguo en el sentido de que cuando la gente estaba en la era de la investigación, en aquel entonces, era como la gente dice: «Probemos esto, y esto, y esto. Probemos aquello, y aquello, y aquello. Mira, algo interesante está pasando». Y creo que habrá un regreso a eso.
Entonces, si volvemos a la era de la investigación, dando un paso atrás, ¿cuál es la parte de la receta en la que más debemos concentrarnos? Cuando dices «función de valor», la gente ya está probando la receta actual, pero luego usando un LLM como juez y demás. Y se podría decir que eso es una función de valor, pero parece que tienes algo mucho más fundamental en mente. ¿Necesitamos volver a...? ¿Deberíamos siquiera repensar el preentrenamiento por completo, y no solo añadir más pasos al final de ese proceso?
Sí. La discusión sobre la función de valor me pareció, la verdad, muy interesante. Quiero recalcar que la función de valor es algo que va a hacer nuestro ámbito mucho más eficiente, y creo que eso sí marca una diferencia importante. Pero también creo que cualquier cosa que puedas hacer con una función de valor, puedes hacerla sin ella, solo que de una manera más lenta.
La cosa que creo que es lo más fundamental es que estos modelos de alguna manera generalizan dramáticamente peor que las personas.
Por supuesto.
Y es algo súper evidente. Eso parece ser algo verdaderamente fundamental.
Entonces, este es el punto central de todo esto, la idea general que se desprende, y de aquí se derivan dos preguntas secundarias. Hay una cuestión relacionada con la eficiencia de muestreo, que es: ¿por qué estos modelos necesitan muchísimos más datos para aprender que los seres humanos? Hay una segunda cuestión que se refiere a... Incluso dejando de lado la cantidad de datos que se requieren, surge la pregunta de: ¿por qué es tan complicado enseñar lo que deseamos a un modelo en comparación con un ser humano? Es decir, a un ser humano no necesitamos necesariamente una recompensa verificable para poder...
Probablemente estás asesorando a varios investigadores ahora mismo, y estás hablando con ellos, mostrándoles tu código y cómo piensas. Y de ahí, ellos están captando tu forma de pensar y cómo abordarías la investigación. No tienes que establecerles una recompensa verificable que diga: «Bien, esta es la siguiente parte de tu currículum, y ahora esta es la siguiente parte de tu currículum», y «Este entrenamiento fue inestable y tenemos que...». Ahora existe este proceso a medida y engorroso. Así que quizás estos dos problemas estén realmente relacionados de alguna manera, pero me gustaría explorar esta segunda cosa que se siente más como aprendizaje continuo, y esta primera cosa que se siente como eficiencia de muestra.
Sí. Uno podría de hecho preguntarse: una posible explicación para la eficiencia de muestreo humana que necesita ser considerada es la evolución. Y la evolución nos ha proporcionado una cantidad limitada, o mejor dicho, la información más útil posible. Y para aspectos como la visión, la audición y la capacidad de movimiento, considero que hay pruebas bastante contundentes de que la evolución, de hecho, nos ha otorgado muchísimo.
Así, por ejemplo, la destreza humana supera con creces... Quiero decir, los robots también pueden volverse diestros si los sometes a una enorme cantidad de entrenamiento y simulación. Pero entrenar a un robot en el mundo real para que adquiera rápidamente una nueva habilidad como lo hace una persona parece muy inalcanzable. Y aquí podrías decir: «Sí, como la locomoción, todos nuestros ancestros necesitaban una gran locomoción». Las ardillas, por ejemplo. Así que la locomoción podría ser como si tuviéramos una especie de conocimiento previo increíble.
Podrías argumentar lo mismo para la visión. Creo que Yann LeCun hizo el comentario: los niños aprenden a conducir después de unas diez horas de práctica, lo cual es cierto, pero nuestra visión es tan buena. Al menos para mí, cuando me recuerdo a mí mismo de cinco años, mi... Yo estaba muy emocionado con los coches en aquel entonces, y estoy bastante seguro de que mi reconocimiento de coches era más que adecuado para la conducción autónoma ya a los cinco años. No llegas a ver tantos datos siendo un niño de cinco años. Pasas la mayor parte de tu tiempo en casa de tus padres. Así que tienes muy poca diversidad de datos. Pero se podría decir que quizás eso también es evolución. Pero luego el lenguaje, las matemáticas y la programación, probablemente no.
Aún me parece mejor que los modelos. Quiero decir, obviamente, los modelos son mejores que el humano promedio en lenguaje, matemáticas y programación, ¿pero son mejores que el humano promedio en aprender?
Sí. Absolutamente. Lo que quise decir es que el lenguaje, las matemáticas y la programación, y especialmente las matemáticas y la programación, sugieren que aquello que hace que las personas sean buenas para aprender probablemente no es tanto un conocimiento previo complicado, sino algo más, algo mucho más fundamental.
Espera. No estoy seguro de entender. ¿Por qué debería ser así?
Piensa en un talento en que la gente demuestre algún tipo de gran fiabilidad o...
Así es.
Si la habilidad es una que fue muy útil para nuestros ancestros durante muchos millones de años, incluso cientos de millones de años, se podría argumentar que quizás los seres humanos son buenos en ella debido a la evolución, porque tenemos un antecedente. Un antecedente evolutivo que está codificado en nosotros de una manera muy poco obvia.
Así es.
Eso de algún modo nos hace tan buenos en ello. Pero si las personas demuestran una gran capacidad, una fiabilidad y robustez notables, además de una habilidad para aprender en un campo o área que, en realidad, no existía hasta hace muy poco tiempo, entonces esto es más bien una señal de que las personas podrían poseer mejor aprendizaje automático, punto.
¿Pero entonces cómo deberíamos pensar en qué es eso? ¿Es cuestión de...? Sí, ¿cuál es la analogía de ML para esto? Hay un par de cosas interesantes al respecto. Necesita menos muestras. Es más no supervisado. No tienes que fijar un... Como un niño aprendiendo a conducir un coche...
Los niños no están aprendiendo a conducir un coche. Un adolescente que aprende a conducir un coche no está recibiendo exactamente una recompensa preestablecida y verificable. Viene de su interacción con la máquina y con el entorno.
La verdad es que sí, necesita una cantidad mucho menor de muestras, y parece ser mucho más autónomo. Además, se ve más robusto.
Mucho más resistentes. La resistencia de las personas es verdaderamente impresionante.
Sí. Entonces, ¿es como si...? ¿Y tienes alguna forma unificada de pensar por qué todas estas cosas están sucediendo a la vez? ¿Cuál es la analogía de ML que podría hacer realidad algo así?
Aquí es donde una de las cosas sobre las que me
Has estado preguntando cómo puede un conductor adolescente, de alguna manera, autocorregirse y aprender de su propia experiencia sin la necesidad de un maestro externo. Y la respuesta es que ellos tienen su propia función de valor. Tienen un sentido bastante general, lo cual, dicho sea de paso, es algo extremadamente robusto en la gente. Sea cual sea la función de valor humana, con algunas excepciones en torno a la adicción, es en realidad muy, muy robusta.
Por ejemplo, un adolescente que está aprendiendo a conducir empieza a conducir y de inmediato ya tiene una idea clara de cómo lo está haciendo, de lo inseguro que se siente. Y luego ve... Y luego, claro, la velocidad de aprendizaje de cualquier adolescente es tan, tan rápida. Después de diez horas, ya estás listo.
Sí. Parece que los humanos tienen alguna solución, pero me pregunto cómo lo hacen y por qué es tan difícil, cómo necesitamos reconceptualizar la forma en que entrenamos modelos para hacer algo así posible.
Esa es una excelente pregunta para hacer, y es una cuestión sobre la que tengo muchísimas opiniones. Pero, desafortunadamente, vivimos en un mundo donde no todas las ideas de aprendizaje automático se discuten con total libertad, y esta es una de ellas. Así que, probablemente, haya alguna forma de hacerlo.
Yo creo firmemente que sí se puede lograr. El simple hecho de que existan personas así me parece una clara demostración de que es algo que se puede hacer. Sin embargo, podría haber otro impedimento, que es que existe una posibilidad de que las neuronas humanas, en realidad, realicen muchos más cálculos de los que imaginamos. Y si eso es verdad, y si eso llega a jugar un papel verdaderamente importante, entonces las cosas podrían ser mucho más difíciles. Pero, de todas formas, creo que esto apunta a la existencia de un principio de aprendizaje automático sobre el que no tengo ninguna opinión. Pero, desafortunadamente, las circunstancias hacen que sea muy difícil poder discutirlo en detalle.
Nadie escucha este podcast, Ilya.
Así es.
Tengo que decir que prepararme para Ilya fue bastante complicado, porque ni yo ni nadie más tenía la más mínima idea de en qué estaba trabajando él y qué es lo que SSI está intentando lograr. No tenía fundamentos para formular mis preguntas, y lo único en lo que podía apoyarme, honestamente, era intentar pensar desde los principios básicos sobre cuáles son los obstáculos para la IAG. Porque claramente Ilya está trabajando en ellos de alguna manera. Parte de esta pregunta implicaba pensar en la escalabilidad del RL, porque todo el mundo pregunta qué tan bien se generalizará el RL y cómo podemos hacer que se generalice mejor.
Como parte de esto, estaba leyendo un artículo que salió recientemente sobre el escalado de RL, y mostró que en realidad la curva de aprendizaje en RL parece una sigmoide. Esto me pareció muy curioso. ¿Por qué debería ser una sigmoide donde aprende muy poco durante mucho tiempo y luego aprende mucho rápidamente y luego se estabiliza?
Esto es muy diferente de la ley de potencia que se observa en el preentrenamiento, donde el modelo aprende muchísimo al principio y luego cada vez menos a medida que pasa el tiempo. De hecho, me recordó una nota que había escrito después de tener una conversación con un amigo investigador, donde él me señaló que la cantidad de muestras que necesitas tomar para encontrar una respuesta correcta escala exponencialmente con cuán diferente es tu distribución de probabilidad actual de la distribución de probabilidad objetivo.
Y estaba pensando en cómo estas dos ideas se relacionaban. Tenía esta vaga idea de que debían estar conectadas, pero realmente no sabía cómo. No tengo formación en matemáticas, así que no pude formalizarlo realmente.
Pero me pregunté si Gemini 3 podría ayudarme aquí. Así que tomé una foto de mi cuaderno y tomé el artículo y los puse ambos en el contexto de Gemini 3, y le pedí que encontrara la conexión. Y pensó mucho, y luego se dio cuenta de que la forma correcta de modelar la información que se obtiene de un único resultado de sí o no en RL es como la entropía de una variable aleatoria binaria.
Hizo un gráfico que mostraba cómo los bits que se ganan por muestra en RL frente al aprendizaje supervisado escalan a medida que la tasa de aprobación aumenta. Y tan pronto como vi el gráfico que hizo Gemini 3, inmediatamente un montón de cosas empezaron a tener sentido para mí.
Entonces quería ver si existía alguna base empírica para esta teoría, así que le pedí a Gemini que programara un experimento para demostrar si la mejora en la pérdida se ajusta de esta forma con la tasa de aprobación. Acabo de tomar el código que Gemini generó, lo copié y pegué en un cuaderno de Google Colab, y pude ejecutar este experimento de ML de juguete y visualizar sus resultados sin un solo error. Es interesante porque los resultados se parecen, pero no son idénticos a lo que esperábamos.
Así que descargué este gráfico y lo puse en Gemini y le pregunté: «¿Qué está pasando aquí?». Me dio una hipótesis que, de hecho, creo que es correcta, que es que estamos limitando cuánto puede mejorar el aprendizaje supervisado al principio al tener una tasa de aprendizaje fija. Y, de hecho, deberíamos disminuir la tasa de aprendizaje con el tiempo. Esto nos da una comprensión intuitiva de por qué en la práctica tenemos programadores de tasa de aprendizaje que disminuyen la tasa de aprendizaje con el tiempo.
Llevé a cabo todo este proceso, desde la formulación de esta vaga pregunta inicial, pasando por la construcción de un entendimiento teórico, hasta la ejecución de algunos experimentos de ML de juguete, todo esto con Gemini 3. Este se siente como el primer modelo que realmente puede generar nuevas conexiones que yo no habría anticipado.
De hecho, ahora se ha convertido en el lugar predeterminado al que voy cuando quiero generar nuevas ideas para pensar en un problema. Si quieres leer más sobre la escalabilidad de RL, puedes consultar la entrada del blog que escribí con un poco de ayuda de Gemini 3. Y si quieres probar Gemini 3 tú mismo, ve a gemini.google.
Tengo curiosidad: si dices que estamos de vuelta en la era de la investigación, tú estuviste allí de 2012 a 2020. ¿Cuál crees que será el ambiente ahora si volvemos a la era de la investigación? Por ejemplo, incluso después de AlexNet, la cantidad de cómputo que se utilizaba para ejecutar experimentos no dejaba de aumentar, y el tamaño de los sistemas de vanguardia tampoco dejaba de crecer.
¿Crees ahora que esta era de investigación seguirá necesitando una cantidad tremenda de capacidad de cómputo? ¿Crees que requerirá volver a los archivos y leer viejos documentos? ¿Cuál era el ambiente, la atmósfera, cuando estabas en Google, OpenAI y Stanford, esos lugares, cuando había más un ambiente de investigación? ¿Qué tipo de cosas deberíamos esperar en la comunidad?
Sí. Una de las consecuencias de lo que llamamos la era de la escalabilidad es que la escalabilidad absorbió todo el aire de la habitación.
De acuerdo.
Como el escalado acaparó por completo toda la atención, todos empezaron a hacer exactamente lo mismo. Hemos llegado a un punto en el que nos encontramos en un mundo donde hay más empresas que ideas, y por una diferencia bastante considerable. De hecho, al respecto, existe ese dicho tan popular en Silicon Valley que afirma que las ideas son baratas, pero que la ejecución lo es todo. Y eso es algo que la gente repite con mucha frecuencia.
Sí.
Y hay algo de verdad en eso. Pero luego vi a alguien que decía en Twitter algo como esto: «Si las ideas son tan baratas, ¿cómo es que nadie está teniendo ideas?». Y creo que esto también es verdad. Pienso que, si te pones a considerar el progreso de la investigación en términos de los cuellos de botella, hay varios cuellos de botella. Si volvemos a ello, uno de ellos son las ideas, y otro es tu capacidad de darles vida, que podría ser la computación, pero también la ingeniería.
Si volvemos a los 90, digamos, había gente que tenía ideas bastante buenas. Y si hubieran tenido ordenadores mucho más grandes, quizás podrían haber demostrado que sus ideas eran viables, pero no pudieron. Así que solo pudieron hacer una demostración muy, muy pequeña que no convenció a nadie.
Así es.
Así que el cuello de botella era la capacidad de cómputo. Luego, en la era del escalamiento, las computadoras aumentaron considerablemente. Y claro, hay una pregunta de cuánta capacidad de cómputo se necesita, pero la capacidad de cómputo es muy grande. Entonces, la capacidad de cómputo es lo suficientemente grande como para que no sea obvio que se necesite mucho más cómputo para probar una idea.
Por ejemplo, te daré una analogía: AlexNet fue construida utilizando solo dos GPU. Esa fue la cantidad total de capacidad de cómputo que se empleó para su desarrollo. El transformador fue construido con entre 8 y 64 GPU. Ningún experimento de un solo paper de transformadores usó más de 64 GPU de 2017, lo que sería, ¿qué? ¿Dos GPU de hoy?
Entonces, ¿a lo que te refieres es a la ResNet, no es cierto?
Incluso se podría argumentar que el razonamiento o1 no era lo más intensivo en computación del mundo. Así que, definitivamente, para la investigación necesitas, sin duda, cierta cantidad de cómputo, pero está lejos de ser obvio que necesites la mayor cantidad de cómputo jamás vista para la investigación.
Se podría argumentar, y de hecho creo que es verdad, que si lo que buscas es construir el sistema que sea absolutamente el mejor, si tu objetivo es desarrollar el sistema más óptimo posible, entonces resulta de gran ayuda disponer de una capacidad de cómputo significativamente mayor. Y sobre todo, si todos los involucrados se encuentran operando bajo el mismo paradigma, entonces la capacidad de cómputo se convierte en uno de los principales factores diferenciadores.
Sí, supongo que, si bien fue posible desarrollar estas ideas, te pido la historia porque tú estuviste allí, no estoy seguro de lo que realmente pasó, pero parece que fue posible desarrollar estas ideas usando cantidades mínimas de computación, pero no fue así... El transformador no se hizo famoso de inmediato. Se convirtió en lo que todos empezaron a hacer y luego empezaron a experimentar sobre ello y a construir sobre ello porque fue validado en niveles de computación cada vez más altos.
Correcto.
Y si en SSI ustedes tienen a su disposición cincuenta ideas diferentes, ¿cómo podrán determinar cuál de ellas representa el próximo gran transformador y cuál es, por así decirlo, demasiado frágil, sin contar con el nivel de capacidad computacional que poseen otros laboratorios de vanguardia?
Puedo comentar sobre eso. Y mi comentario breve es que mencionaste SSI, y específicamente para nosotros, la cantidad de capacidad de cómputo que SSI tiene disponible para la investigación realmente no es tan pequeña como podría parecer. Y quiero explicarte por qué. Por ejemplo, unas matemáticas sencillas pueden explicar por qué la cantidad de computación que tenemos es en realidad mucho más comparable para la investigación de lo que uno podría pensar.
Ahora, explícalo.
SSI ha recaudado tres mil millones de dólares, lo cual, la verdad, no es poco: es muchísimo en cualquier sentido absoluto. Pero podrías decir: «Pero mira a las otras empresas, que están recaudando mucho más». Pero gran parte de su capacidad de cómputo se destina a la inferencia. Estos grandes números, estos grandes préstamos, se asignan exclusivamente para la inferencia. Y eso es lo primero.
En segundo lugar, si quieres tener un producto sobre el cual realizar inferencia, necesitas un gran equipo de ingenieros y de vendedores. Gran parte de la investigación tiene que estar dedicada a la creación y desarrollo de todo tipo de funcionalidades y características relacionadas con los productos. Entonces, cuando observas lo que realmente queda disponible para la investigación pura, la brecha o la diferencia se reduce considerablemente.
Ahora bien, la otra cuestión importante es la siguiente: si estás intentando hacer algo verdaderamente innovador o diferente, ¿es realmente indispensable contar con la escala máxima absoluta para poder demostrar su validez? No creo que eso sea verdad en absoluto. Creo que, en nuestro caso, tenemos suficiente capacidad de cómputo para probar, para convencernos a nosotros mismos y a cualquiera de que lo que hacemos es correcto.
Se han hecho estimaciones públicas de que empresas como OpenAI gastan del orden de cinco, seis mil millones de dólares al año, solo hasta ahora en experimentos.
Ajá.
Esto es aparte de la cantidad de dinero que gastan en inferencia y demás. Así que parece que gastan más al año en experimentos de investigación que lo que ustedes tienen en financiación total.
Creo que es una cuestión de qué haces con ello. Es una cuestión de qué haces con ello. Creo que, en su caso, en el caso de otros, hay mucha más demanda en la computación para el entrenamiento. Hay muchos más flujos de trabajo diferentes. Hay diferentes modalidades. Hay, simplemente, más contenido. Y por eso se vuelve fragmentado.
¿De qué forma SSI va a ganar dinero? ¿Sabes a lo que me refiero?
Mi respuesta a esta pregunta es algo así: ahora mismo, simplemente nos enfocamos en la investigación y entonces la respuesta a la pregunta se revelará por sí misma. Pienso que habrá muchísimas respuestas posibles.
¿El plan de SSI sigue siendo apuntar directo a la superinteligencia?
Puede ser. Creo que tiene su mérito. Pienso que tiene un gran valor, porque me parece muy agradable no verse afectado por la competencia diaria del mercado. Pero creo que hay un par de razones que podrían llevarnos a modificar el plan.
Una es pragmática: si los plazos de desarrollo resultan ser muy largos, lo cual es una posibilidad real y debemos considerar. Y, en segundo lugar, creo que hay un valor inmenso en que la inteligencia artificial más avanzada y potente esté disponible y ejerza un impacto positivo en el mundo.
Así es.
Creo que esto es algo de valor significativo.
Pero entonces, ¿por qué su plan por defecto es ir directo a la superinteligencia? Porque parece que OpenAI, Anthropic, todas estas otras compañías, su pensamiento explícito es: «Mira, tenemos inteligencias cada vez más débiles a las que el público puede acostumbrarse y para las que puede prepararse». ¿Y por qué es potencialmente mejor construir una superinteligencia directamente?
Por lo tanto, argumentaré a favor y en contra.
Así es.
Uno de los principales desafíos que la gente enfrenta cuando está en el mercado es que tiene que participar en la carrera de ratas. Y la carrera de ratas es bastante difícil, ya que te expone a decisiones complicadas que debes tomar. Y es fácil decir: «Nos aislaremos de todo esto y nos centraremos solo en la investigación y saldremos solo cuando estemos listos y no antes». Pero el contrapunto también es válido.
Y esas son fuerzas opuestas. El contrapunto es que es muy útil para el mundo ver una inteligencia artificial poderosa. Es muy útil para el mundo ver una inteligencia artificial poderosa, porque esa es la única manera de comunicarlo.
Bueno, supongo que no solo puedas comunicar la idea, sino...
Comunica la inteligencia artificial, no la idea. Comunica la inteligencia artificial.
¿Qué es comunicar IA?
Supongamos que lees un ensayo sobre la inteligencia artificial. Y el ensayo dice que la inteligencia artificial será esto. Y la inteligencia artificial será aquello y también será esto. Y lo lees y dices: «De acuerdo, este es un ensayo bastante interesante».
Correcto.
Ahora, si ves a una IA haciendo esto, a otra haciendo aquello, es incomparable.
Básicamente, creo que hay un gran beneficio de que la IA esté al alcance del público. Y esa sería una razón para que no fuéramos tan directos.
Sí. Supongo que en realidad no es ni siquiera eso, aunque yo... Pero sí, considero que es una parte bastante importante de todo el asunto. La otra gran cuestión es que no puedo pensar en ninguna otra disciplina en la ingeniería y la investigación humana donde el artefacto final se haya hecho más seguro, principalmente, solo pensando en cómo hacerlo seguro.
¿Por qué los accidentes de avión por milla son hoy en día tan significativamente más bajos de lo que lo eran hace décadas? ¿Por qué es mucho más difícil encontrar un error en Linux de lo que hubiera sido hace décadas? Y creo que es principalmente porque estos sistemas fueron implementados en el mundo, se notaron fallos, esos fallos fueron corregidos y los sistemas se volvieron mucho más robustos.
Ahora, no estoy seguro de por qué la IAG y la inteligencia sobrehumana serían tan diferentes, especialmente dado que, y espero que podamos llegar a esto, parece que los daños de la superinteligencia no se tratan solo de tener un malvado «paperclipper» por ahí, sino que esto es algo realmente poderoso y ni siquiera sabemos cómo conceptualizar cómo la gente interactuará con ello, qué hará la gente con ello. Y tener acceso gradual a ella parece una mejor manera de quizás distribuir el impacto de esto y ayudar a la gente a prepararse para ello.
Creo que en este punto, incluso en el escenario de un lanzamiento directo, aun así harías una liberación gradual, es como me lo imagino. El gradualismo sería un componente inherente a cualquier plan. Es solo cuestión de cuál es la primera cosa que sacas por la puerta. Eso es lo primero.
Número dos, también creo que tú has abogado por el aprendizaje continuo más que otras personas.
Así es.
Y de hecho, considero que esto es algo sumamente importante y acertado, y les explicaré el porqué. Entre otras cosas, les proporcionaré otro ejemplo de cómo la forma de pensar, de qué manera el lenguaje influye en el pensamiento. Y en este caso particular, se trata de dos palabras que, según mi parecer, han moldeado profundamente la manera de pensar de todas las personas.
La primera palabra que vamos a mencionar es AGI. La segunda palabra, o el segundo concepto clave, es preentrenamiento. Permítanme explicarles esto con más detalle. El término AGI, ¿por qué razón existe este término en particular? Es un término muy específico, muy peculiar, ¿por qué es que existe realmente? Hay una razón fundamental y muy importante para su existencia.
La razón por la que el término AGI existe es, en mi opinión, no tanto porque sea un descriptor verdaderamente importante y esencial de un estado final de la inteligencia, sino porque es una reacción a un término diferente que ya existía, y ese término es la IA estrecha. Si nos remontamos a la historia antigua de la inteligencia artificial que jugaba, la IA de damas, la IA de ajedrez, la IA de videojuegos, todos decían: «Mira esta inteligencia tan limitada».
Claro, la IA de ajedrez puede vencer a Kasparov, pero no es capaz de hacer absolutamente nada más. Es una inteligencia artificial tan limitada, una inteligencia artificial de alcance muy estrecho. Así que, en respuesta, como reacción a esto, algunas personas comentaron: «Bueno, esto no está bien, es demasiado limitado. Lo que realmente necesitamos es una inteligencia artificial general. Una IA general, una inteligencia artificial que simplemente puede hacer absolutamente todo». Y ese término cobró muchísima fuerza.
Claro.
La segunda cosa que obtuvo mucha tracción es el preentrenamiento, específicamente la receta del preentrenamiento. Creo que la forma actual en que la gente hace RL ahora quizás está deshaciendo la huella conceptual del preentrenamiento. Pero el preentrenamiento tenía la propiedad de que, si haces más preentrenamiento, el modelo mejora en todo más o menos uniformemente.
Sí.
La inteligencia artificial general. El preentrenamiento resulta en AGI.
Pero lo que ha ocurrido con la inteligencia artificial general y el preentrenamiento es que, en cierto modo, se excedieron en su objetivo. Porque, si piensas en el término IAG, te darás cuenta, y especialmente en el contexto del preentrenamiento, te darás cuenta de que el ser humano no es una IAG.
Porque un ser humano, sí, nosotros, definitivamente existe una base sólida de habilidades. Un ser humano, por sí mismo, carece de una cantidad inmensa de conocimiento. En su lugar, dependemos de un aprendizaje constante y continuo.
Nos basamos en el aprendizaje continuo. Y entonces, cuando uno piensa: «Vale, supongamos que logramos el éxito y producimos una superinteligencia segura, algún tipo de superinteligencia segura». La pregunta es: ¿pero cómo la definimos? ¿En qué punto de la curva de aprendizaje continuo va a estar? Yo produzco, por ejemplo, un superinteligente de quince años que está muy ansioso por empezar y tú dices: «Bueno, voy a...». No saben casi nada en absoluto.
Es un estudiante excelente, con mucho entusiasmo. «Ve y sé programador. Ve y sé médico. Ve y aprende». Así que puedes imaginar que la implementación en sí implicará algún tipo de período de aprendizaje, de prueba y error. Es un proceso. A diferencia de simplemente entregar algo ya terminado.
De acuerdo, ya veo. Así que estás sugiriendo que esto que señalas con la superinteligencia no es algo que ya esté completamente terminado, una mente que sabe hacer todos y cada uno de los trabajos en la economía. Porque la forma en que, digamos, la carta fundacional de OpenAI o lo que sea define la IAG es algo así como que puede hacer todos y cada uno de los trabajos, todas y cada una de las cosas que un ser humano puede hacer. Tú propones, en cambio, una mente que pueda aprender a hacer cualquier tipo de trabajo, todos y cada uno de los trabajos.
Por supuesto.
Y eso es la superinteligencia. Pero una vez que se tiene el algoritmo de aprendizaje, se implementa en el mundo de la misma forma en que un trabajador humano podría unirse a una organización. Y parece que una de estas dos cosas podría suceder, o quizás ninguna de ellas ocurra.
Uno, este algoritmo de aprendizaje súper eficiente se vuelve sobrehumano, llega a ser tan competente como tú y, potencialmente, incluso superior en la labor de investigación de aprendizaje automático. Y como consecuencia de ello, el propio algoritmo se torna progresivamente más y más sobrehumano. La otra cuestión es que, incluso si eso no llegara a suceder, si dispones de un único modelo, es decir, esta es de forma explícita tu visión.
Si tienes un único modelo o instancias de un modelo que se despliegan por toda la economía, haciendo diferentes trabajos, aprendiendo a hacer esos trabajos, aprendiendo continuamente en el trabajo, adquiriendo todas las habilidades que cualquier humano podría adquirir, pero en realidad adquiriéndolas todas al mismo tiempo y luego amalgamando sus aprendizajes, básicamente tienes un modelo que funcionalmente se vuelve superinteligente. Incluso sin ningún tipo de automejora recursiva en el software, ¿verdad?
Porque ahora se cuenta con un modelo único que puede realizar cualquier tipo de trabajo en la economía. Y los humanos no somos capaces de fusionar nuestras mentes de esa misma manera. Entonces, ¿anticipas una especie de explosión de inteligencia con su despliegue generalizado?
Considero que es muy probable que experimentemos un crecimiento económico bastante rápido.
Creo que la implementación general... Hay dos argumentos que podrías presentar, los cuales entran en conflicto. Uno de ellos es que, mira, si realmente llegas a obtener... Una vez que, de hecho, se llega a un punto en el que se dispone de una inteligencia artificial capaz de aprender a hacer cosas con gran rapidez, y además se cuenta con muchas de estas unidades, entonces, inevitablemente, surgirá una fuerte presión para implementarlas y desplegarlas masivamente en la economía, a menos que se establezca algún tipo de regulación o normativa que logre detener este proceso.
Lo cual, por cierto, es una posibilidad real que podría materializarse. Pero, en mi opinión, la perspectiva de un crecimiento económico extremadamente rápido y sostenido por un período, creo que es algo muy factible y alcanzable a partir de una implementación a gran escala. La gran incógnita es cuán veloz y significativo será este proceso.
Así que creo que esto es complicado de saber, porque por un lado tienes a este trabajador tan eficiente. Por otro lado, el mundo es simplemente enorme y hay muchísimas cosas, y esas cosas se mueven a una velocidad completamente distinta. Pero luego, por otro lado, ahora la inteligencia artificial podría... Podría...
Así es.
Así que creo que un crecimiento económico muy rápido es posible y veremos todo tipo de cosas, como países diferentes con reglas distintas. Y aquellos que tengan las reglas más favorables, el crecimiento económico será más rápido. Difícil de predecir.
Algunas personas de nuestra audiencia prefieren leer las transcripciones en lugar de escuchar el episodio, y por eso nos esforzamos muchísimo en que se lean como ensayos independientes. El problema es que si solo transcribes una conversación palabra por palabra usando un modelo de voz a texto, estará llena de todo tipo de titubeos, pausas y frases confusas. Mencionamos este problema a Labelbox y nos preguntaron si podían intentarlo.
Trabajar con ellos en esto es probablemente la razón por la que estoy más emocionado de recomendar Labelbox a la gente. No fue solo: «Oye, dinos qué tipo de datos necesitas y los conseguiremos». Nos guiaron a través de todo el proceso, desde ayudarnos a identificar qué tipo de datos necesitábamos en primer lugar, hasta reunir un equipo de alineadores expertos para generarlos.
Incluso después de que recuperamos todos los datos, Labelbox siguió involucrado. Nos ayudaron a seleccionar el modelo base adecuado y establecieron un control de calidad automático para la salida del modelo, para que pudiéramos ajustarlo y perfeccionarlo. Y ahora contamos con una nueva herramienta de transcripción que podremos usar para todos nuestros futuros episodios.
Este es tan solo un ejemplo de cómo Labelbox se une a sus clientes en la etapa de las ideas y los acompaña a lo largo de toda su trayectoria. Si desean aprender más o si quieren probar la herramienta de transcripción por ustedes mismos, visiten labelbox.com/dwarkesh.
Me parece que nos encontramos en una situación muy precaria, en la que, al buscar poner límites, sabemos que esto debería ser factible porque si posees algo que es tan competente como un ser humano en el aprendizaje, pero que tiene la capacidad de fusionar sus cerebros, de unirlos, existen diversas situaciones en las que los seres humanos no pueden fusionarse.
Ya de por sí, esto parece algo que, físicamente, debería ser posible. Los seres humanos son posibles. Las computadoras digitales también lo son. Solo se necesita la combinación de ambos para producir esta cosa. Y también parece que este tipo de desarrollo es extremadamente potente, y el gran crecimiento económico es una forma de expresarlo.
La esfera de Dyson es mucho crecimiento económico. Pero otra forma de verlo es que podrías tener potencialmente un período de tiempo muy corto, porque una persona en el puesto puede... Estás contratando gente en SSI. En seis meses, ya son productivos netos, ¿no?
Un humano aprende muy rápido. Y esto se está volviendo cada vez más inteligente muy rápido. ¿Cómo crees que eso salga bien? ¿Y por qué SSI está en posición de hacerlo bien? ¿Cuál es el plan de SSI ahí, básicamente, es lo que intento preguntar?
Sí. Una de las formas en las que mi manera de pensar, mi perspectiva, ha estado cambiando últimamente es que ahora le doy más importancia a que la inteligencia artificial se implemente de forma gradual y con suficiente antelación. Una de las cosas más desafiantes y complejas de la inteligencia artificial es que, en realidad, estamos hablando de sistemas que todavía no existen en su totalidad, y por eso resulta extremadamente difícil poder imaginarlos con claridad.
Yo creo que una de las cosas que está sucediendo es que, en la práctica, resulta muy difícil alimentar a la inteligencia artificial general. Sí, es realmente muy complicado alimentar a la inteligencia artificial general.
Podemos hablar de ello, pero es como hablar del futuro lejano. Imagina tener una conversación sobre cómo es ser viejo, cuando eres viejo y frágil, y puedes tener una conversación. Puedes intentar imaginarlo, pero es simplemente muy difícil, y vuelves a la realidad, donde ese no es el caso.
Y considero que muchos de los problemas y los desafíos que giran en torno a la inteligencia artificial general y el poder que esta podría llegar a tener en el futuro se originan en el hecho de que resulta extremadamente difícil de imaginar.
La inteligencia artificial del futuro va a ser diferente. Va a ser muy poderosa. De hecho, el problema fundamental, ¿cuál es el problema de la IA y la IAG? El problema principal es el poder. Sí, el problema principal es el poder. Cuando el poder sea realmente inmenso, ¿qué va a pasar?
Y una de las cosas en las que he cambiado de opinión en el último año más o menos, ese cambio de opinión podría, seré un poco más cauto, podría repercutir en los planes de nuestra compañía, es que, si es difícil de imaginar, ¿qué haces? Tienes que mostrarlo.
Tienes que estar mostrando eso. Y yo sostengo que la mayoría de las personas que trabajan con IA tampoco pueden imaginarlo, porque es demasiado diferente de lo que la gente ve en su día a día.
Yo sí sostengo, y aquí hay algo que predigo que va a suceder. Eso es una predicción. Mantengo firmemente que, a medida que la inteligencia artificial se vuelva cada vez más potente y capaz, las personas modificarán sus comportamientos y sus hábitos de vida. Y, como resultado, seremos testigos de una gran variedad de situaciones y fenómenos completamente inéditos, cosas que, sin duda alguna, no están ocurriendo en absoluto en este preciso momento. Y les voy a dar algunos ejemplos.
Sí, creo que, para bien o para mal, las empresas de vanguardia desempeñarán un papel muy importante en lo que suceda, al igual que el gobierno. Y el tipo de cosas que creo que veremos, de las cuales ya se ven los inicios, son empresas que, siendo competidores feroces, están empezando a colaborar en la seguridad de la inteligencia artificial.
Puede que hayan visto a OpenAI y Anthropic dando un primer pequeño paso, pero eso no existía. Eso es algo que de hecho predije en una de mis charlas hace unos tres años, que algo así podría llegar a suceder.
También sostengo que, a medida que la inteligencia artificial se vuelva más potente, más visiblemente poderosa, surgirá un deseo de los gobiernos y del público de hacer algo. Y creo que es una fuerza muy importante, de mostrar la inteligencia artificial. Esa es la primera cuestión.
Número dos, entonces la IA ya ha sido construida. ¿Qué es lo que hay que hacer? ¿Qué es lo que se necesita hacer? Una cosa que yo sostengo que ocurrirá es que ahora mismo la gente que está trabajando en inteligencia artificial, yo sostengo que la IA no se siente poderosa debido a sus errores.
Yo sí creo que, en algún momento, la inteligencia artificial empezará a sentirse poderosa. Y pienso que cuando eso ocurra, veremos un cambio muy grande en la forma en que todas las empresas de IA abordan la seguridad. Se volverán mucho más paranoicas.
Yo creo, y lo digo como una predicción que veremos suceder. Veremos si tengo razón. Pero creo que esto es algo que ocurrirá porque verán que la inteligencia artificial se vuelve más poderosa.
Todo lo que está ocurriendo ahora mismo, yo sostengo, es porque la gente ve la
Inteligencia artificial actual y les cuesta imaginar la del futuro.
Y hay una tercera cosa que es necesario que ocurra. Y lo estoy planteando en términos mucho más amplios, no solamente desde la perspectiva de SSI, porque me preguntaste específicamente sobre nuestra compañía. Pero la pregunta es: ¿qué deberían aspirar a construir las empresas?
Así es.
¿Qué deberían aspirar a construir, entonces? Y ha habido una gran idea, una idea realmente grande, en la que, de hecho, todo el mundo ha estado completamente inmerso, o más bien, atrapado, que es la inteligencia artificial que se automejora. ¿Y por qué sucedió esto? Porque hay menos ideas verdaderamente innovadoras que empresas. Pero yo sostengo firmemente que hay algo mucho mejor que construir, y creo sinceramente que todo el mundo, en realidad, deseará eso.
Es como si fuera la inteligencia artificial robustamente alineada para preocuparse por la vida sintiente específicamente. Se podría argumentar que resultará más sencillo crear una inteligencia artificial que se interese por la vida sintiente que una que se preocupe únicamente por la vida humana, porque la propia inteligencia artificial será sintiente. Y si consideramos aspectos como las neuronas espejo y la empatía que los humanos sienten por los animales, se podría decir que no es lo suficientemente grande, pero que, sin embargo, existe. Considero que es una propiedad emergente que se deriva del hecho de que modelamos a los demás utilizando el mismo circuito neuronal que empleamos para comprendernos a nosotros mismos, porque es la forma más eficiente de proceder.
Así que, incluso si consiguieras que una IA se preocupara por los seres sintientes, y en realidad no me resulta del todo claro que eso sea lo que deberías intentar hacer si resolvieras la alineación, seguiría siendo cierto que la mayoría de los seres sintientes serían IAs. Habrá billones, y eventualmente cuatrillones de IAs. Los humanos serán una fracción muy, muy pequeña de los seres sintientes. Así que no me queda del todo claro, si el objetivo es un control por parte de los humanos sobre esta civilización del futuro, que este sea el criterio más adecuado.
Es verdad. Creo que es posible que no sea el mejor criterio. Voy a decir dos cosas. La primera cosa, creo que si hay... Creo que el cuidado de la vida sintiente tiene su mérito. Creo que debería ser algo a considerar. Pienso que sería de gran ayuda si hubiera una especie de lista corta de ideas que las empresas, cuando se encuentren en esta situación, pudieran utilizar. Ese es el número dos.
En tercer lugar, creo que sería de una ayuda material realmente significativa si el poder de la superinteligencia más potente se limitara de alguna manera, porque eso abordaría una gran cantidad de estas preocupaciones. La cuestión de cómo lograrlo, no estoy seguro. Pero creo que eso sería de una ayuda material muy importante cuando hablamos de sistemas que son realmente, realmente poderosos.
Sí. Antes de que continuemos la discusión sobre la alineación, quiero profundizar en eso. ¿Cuánto margen hay en la cima? ¿Cómo piensas sobre la superinteligencia? ¿Crees, usando esta idea de eficiencia de aprendizaje, que quizás es extremadamente rápida aprendiendo nuevas habilidades o nuevos conocimientos? ¿Y acaso tiene un conjunto más grande de estrategias? ¿Existe un «eso» único y cohesionado en el centro que sea más poderoso o de mayor tamaño? Y si es así, ¿llegas a imaginar que esto podría ser algo así como una entidad divina en comparación con el resto de la civilización humana? ¿O simplemente se siente como otro agente o como otro conjunto de agentes?
Entonces, este es un ámbito donde las intuiciones varían.
Sí.
Creo que será muy potente, sin lugar a dudas. Lo que considero más probable que suceda es que se estén creando múltiples inteligencias artificiales de este tipo, más o menos, al mismo tiempo. Creo que si el clúster es lo suficientemente grande, es decir, si el clúster es literalmente del tamaño de un continente, esa entidad podría ser, de hecho, increíblemente poderosa, ¿no crees? Si de verdad tienes un clúster que abarca un continente entero, entonces esas inteligencias artificiales pueden ser extremadamente potentes.
Y todo lo que puedo decirte es que si estamos hablando de inteligencias artificiales extremadamente potentes, dramáticamente poderosas, entonces sí, estaría bien si pudieran ser controladas de alguna manera o si hubiera algún tipo de acuerdo o algo por el estilo. ¿Cuál es la preocupación de la superinteligencia? ¿Cómo se explica esa preocupación? Si te imaginas un sistema que sea lo suficientemente potente, de verdad lo suficientemente potente, y pudieras decir: «De acuerdo, tienes que hacer algo sensato, como, por ejemplo, cuidar la vida sintiente, digamos, de una forma muy, muy enfocada en un solo objetivo», puede que los resultados no nos gusten. Eso es, en realidad, lo que sucede. Y entonces, quizás, por cierto, la respuesta es que no construyes un solo... No construyes un agente de RL en el sentido habitual.
Y de hecho, señalaré varias cosas. Creo que los seres humanos somos un agente semi-RL. Buscamos una recompensa, y luego las emociones o lo que sea hacen que nos cansemos de la recompensa, buscamos una recompensa diferente. El mercado es como una especie de agente con muy poca visión. Con la evolución pasa lo mismo. La evolución es muy inteligente en algunos aspectos, pero muy tonta en otros. El gobierno ha sido diseñado para ser una lucha interminable entre tres partes, lo cual tiene un efecto. Así que pienso cosas como estas.
Otra cosa que dificulta esta discusión es que estamos hablando de sistemas que no existen, que no sabemos cómo construir, ¿verdad? Esa es la otra cosa, y esa es en realidad mi creencia. Creo que lo que la gente está haciendo en este momento llegará hasta cierto punto y luego se agotará. Seguirá mejorando, sí, pero tampoco será la solución definitiva. Así que esa «solución definitiva» no sabemos cómo construirla, y creo que mucho, mucho depende de entender la generalización fiable.
Y te diré algo más. Una de las cosas que se podría decir que hace que la alineación sea tan difícil es que tu capacidad para aprender los valores humanos es frágil, y por ende, tu capacidad para optimizarlos también lo es. ¿Realmente aprenderás a optimizarlos? Y entonces, ¿no puedes decir: «¿No son todos estos casos de generalización poco fiable?»? ¿Por qué los seres humanos parecen generalizar mucho mejor? ¿Y si la generalización fuera mucho mejor, qué pasaría en este caso? ¿Cuál sería el efecto? Pero esas preguntas ahora mismo siguen sin respuesta.
¿Cómo se podría pensar en qué aspecto tendría una inteligencia artificial que funcione bien? Porque creo que has visualizado cómo podría evolucionar la IA. Tendremos este tipo de agentes de aprendizaje continuo. La inteligencia artificial será muy poderosa. Quizás habrá muchas IAs diferentes. ¿Qué piensas de que haya tantas inteligencias con una capacidad de cómputo a escala continental circulando por ahí? ¿Qué tan peligroso es eso? ¿Cómo podemos hacer que sea menos peligroso? ¿Y cómo hacemos eso de una manera que proteja un equilibrio donde podría haber inteligencias artificiales desalineadas y también malos actores por ahí?
Una de las razones por las que me gustó la IA que cuida la vida sintiente... Y podemos debatir si esto es bueno o malo. Pero si los primeros «n» de estos sistemas tan dramáticos realmente se preocupan por, si aman a la humanidad o algo así, si se preocupan por la vida sintiente, obviamente esto también tiene que lograrse. Esto tiene que lograrse. Así que, si esto se logra con los primeros «n» de esos sistemas, entonces puedo ver que irá bien, al menos por un tiempo considerable. Y luego, ¿qué sucede a largo plazo? ¿Qué sucede a largo plazo? ¿De qué manera se logra un equilibrio a largo plazo? Y creo que en ese sentido también existe una respuesta. Y aunque no me agrada esta respuesta, es algo que definitivamente debe ser tomado en consideración.
A largo plazo, uno podría decir: «Vale, si tienes un mundo donde existen inteligencias artificiales potentes». A corto plazo, podrías decir: «Vale, tienes un ingreso alto universal, tienes un ingreso alto universal, y a todos nos va bien». Pero sabemos que... ¿Qué dicen los budistas? El cambio es la única constante. Y así las cosas cambian, y siempre hay alguna especie de estructura política gubernamental, y esta cambia porque estas cosas tienen una vida útil. Alguna nueva estructura de gobierno aparece y funciona, y luego, después de un tiempo, deja de funcionar. Eso es algo que ves ocurrir todo el tiempo.
Y creo que para el equilibrio a largo plazo, un enfoque, podrías decir: «Bien, quizás cada persona tendrá una IA que hará su voluntad», y eso es bueno. Y si eso pudiera mantenerse indefinidamente, eso es cierto. Pero el inconveniente de eso es que entonces la IA va y, digamos, gana dinero para la persona y aboga por sus necesidades en la esfera política. Y quizás luego escribe un pequeño informe diciendo: «De acuerdo, esto es lo que he hecho. Esta es la situación». Y la persona dice: «Genial, sigue así». Pero la persona ya no es un participante. Y entonces puedes decir que es una situación precaria.
Pero antes de que sigamos adelante, quiero decirles que no me agrada la solución, pero no deja de ser una solución. Y la solución a esto es que las personas se conviertan en parte inteligencia artificial con algún tipo de Neuralink, o algo similar, mejorado, porque lo que ocurrirá como consecuencia de esto es que la inteligencia artificial comprenderá algo, y nosotros también lo entenderemos. Porque ahora el entendimiento se transmite de forma completa e íntegra. Así que, si la inteligencia artificial se encuentra en alguna situación, es como si tú mismo estuvieras completamente involucrado en esa misma situación. Y considero que esta es la respuesta al equilibrio.
Me pregunto si el hecho de que las emociones, que se desarrollaron hace millones de años, o en muchos casos, miles de millones de años en un entorno completamente distinto, sigan guiando nuestras acciones con tanta fuerza es un ejemplo de un éxito en la alineación. Y para quizás explicar lo que quiero decir, el tronco encefálico tiene estas... No sé si es más preciso llamarla una función de valor o una función de recompensa, pero el tronco encefálico tiene una directriz que le dice: «Apáreate con alguien que sea más exitoso». La corteza es la parte que comprende qué significa el éxito en el contexto moderno. Pero el tronco encefálico es capaz de alinear la corteza y decir: «Como sea que tú reconozcas el éxito, y yo no soy lo suficientemente inteligente para entender qué es eso, aun así vas a seguir esta directriz».
Creo que hay un punto más general. Creo que es realmente misterioso cómo el cerebro codifica los deseos de alto nivel. Perdón, cómo la evolución codifica los deseos de alto nivel. Resulta bastante sencillo de entender cómo la evolución nos habría dotado con el anhelo de alimentos que desprenden un buen aroma, ya que el olfato es, en esencia, una reacción química, y por lo tanto, simplemente seguiríamos esa señal química. Es muy fácil imaginar una evolución mecánica haciendo algo así. Pero la evolución también nos ha dotado de todos estos deseos sociales, como que realmente nos importa ser vistos positivamente por la sociedad. Nos importa estar en una buena posición social. Todas estas intuiciones sociales que tenemos, siento firmemente que están arraigadas en nosotros.
Y no sé cómo la evolución consiguió hacerlo, porque es un concepto de alto nivel que se representa en el cerebro. Lo que la gente piensa... Digamos que te preocupas por algo social. No es una señal de bajo nivel como el olfato. No es algo para lo que exista un sensor. El cerebro necesita hacer mucho procesamiento para unir muchas piezas de información y entender lo que ocurre socialmente. Y de alguna manera la evolución dijo: «Eso es lo que te debería importar».
Por supuesto.
¿Cómo lo hizo? Y además lo hizo muy rápido. Porque creo que todas estas cosas sociales tan sofisticadas que a nosotros nos importan tanto han evolucionado en un tiempo bastante reciente.
Así es.
Así es.
Así que a la evolución le resultó fácil codificar este deseo de alto nivel, y yo sostengo, o al menos diría, que no soy consciente de buenas hipótesis sobre cómo se hace. Tenía algunas ideas que estaba barajando, pero ninguna de ellas me resulta satisfactoria.
Sí. Y lo más impresionante es que si fuera un deseo que aprendiste en tu vida, tendría sentido, ya que tu cerebro es inteligente, por qué podrías aprender deseos inteligentes. Pero tu punto es que el deseo es... Quizás este no sea tu punto, pero una forma de entenderlo es que el deseo está integrado en el genoma y el genoma no es inteligente, ¿verdad? Pero es capaz de... De algún modo puedes describir esta característica que requiere... Ni siquiera está claro cómo defines esa característica, y puedes incorporarlo a los genes.
Sí, esencialmente. O tal vez lo exprese de otra forma. Si consideramos las herramientas que tiene a su disposición el genoma, dice: «De acuerdo, aquí hay una receta para construir un cerebro». Y se podría decir: «Aquí hay una receta para conectar las neuronas de dopamina con, por ejemplo, el sensor del olfato».
Sí.
Y si el olor es de un tipo, de buen olor, querrás comerlo. Podría imaginar al genoma haciendo eso. Estoy afirmando que es más difícil imaginar al genoma diciendo: «Deberías preocuparte por alguna computación complicada que tu cerebro entero... que un gran trozo de tu cerebro hace». Eso es todo lo que afirmo.
Puedo darte una especulación. Me preguntaba cómo se haría. Y te daré una, luego explicaré por qué es probablemente falsa. Así que la especulación que se está haciendo, o lo que se plantea, es... El cerebro posee esas regiones específicas de las que estamos hablando. Saben cuáles son las regiones del cerebro. Tenemos nuestra corteza cerebral, ¿verdad?
Así es.
Tiene todas esas regiones cerebrales. Y la corteza es uniforme, pero las regiones cerebrales... Y las neuronas en la corteza tienden a comunicarse principalmente con sus vecinas. Y eso es lo que explica la existencia de las regiones cerebrales. Porque si quieres hacer algún tipo de procesamiento del habla, todas las neuronas que se encargan del habla necesitan comunicarse entre sí. Y porque las neuronas solo pueden hablar con sus vecinos cercanos, en su mayor parte, tiene que ser una región. Todas las regiones se ubican mayormente en el mismo lugar de persona a persona. Así que quizás la evolución programó literalmente una zona en el cerebro.
Así que dice: «Cuando el GPS del cerebro, coordenadas GPS tales y cuales, cuando eso se activa, eso es lo que te debería importar». Quizás eso es lo que hizo la evolución, porque eso estaría dentro de las herramientas de la evolución.
Sí. Aunque existen casos en los que, por ejemplo, las personas que nacen ciegas tienen esa parte de su corteza cerebral adoptada por otro sentido. Y no tengo la menor idea, pero me sorprendería mucho si los deseos o las funciones de recompensa que requieren una señal visual ya no estuvieran funcionando. La gente que tiene diferentes áreas de su corteza cooptadas. Por ejemplo, si ya no tuvieras la vista, ¿seguirías sintiendo esa necesidad de que
¿La gente a tu alrededor te aprecie y te quiera, y cosas por el estilo? Para lo cual, usualmente, también hay muchas señales visuales.
Estoy completamente de acuerdo con eso. Creo que hay un contraargumento aún más fuerte para esta teoría. Y es que, si te pones a pensar en la gente, hay personas a las que les extirpan la mitad de su cerebro en la infancia.
Sí, así es, claro.
Y aún conservan todas sus regiones cerebrales, pero de alguna manera todas se trasladan a un solo hemisferio, lo que sugiere que las regiones del cerebro, su ubicación, no es fija. Y por lo tanto, esa teoría no es cierta. Hubiera sido genial si fuera verdad, pero resulta que no lo es. Y por eso creo que es un misterio, pero es un misterio bastante interesante. El hecho es que, de alguna manera, la evolución fue capaz de dotarnos para preocuparnos por las cosas sociales de forma muy, muy fiable. E incluso las personas que tienen todo tipo de extrañas condiciones mentales, deficiencias y problemas emocionales también suelen preocuparse por esto.
Las herramientas de inteligencia artificial, como los deepfakes, los clones de voz y los agentes, han incrementado drásticamente la sofisticación del fraude y el abuso. Así que es más importante que nunca entender realmente la identidad y la intención de quienquiera o lo que sea que esté utilizando tu plataforma. Eso es exactamente lo que Sardine te ayuda a lograr. Sardine combina miles de señales de dispositivos, comportamiento e identidad para ayudarte a evaluar el riesgo.
Todo, desde cómo un usuario escribe o mueve su ratón o sostiene su dispositivo, hasta si están ocultando su verdadera ubicación detrás de una VPN, o si están inyectando una señal de cámara falsa durante las verificaciones de identidad con selfie.
Sardine combina estas señales con la información obtenida de su red de casi cuatro mil millones de dispositivos, como, por ejemplo, el historial de fraude de un usuario o sus conexiones con otras cuentas de alto riesgo, para que puedas identificar a los actores maliciosos antes de que puedan causar algún daño. Esto sería, literalmente, una tarea imposible si te limitaras a usar solo los datos de tu propia aplicación.
Sardine no se detiene en la detección. Ofrecen un conjunto de agentes para agilizar los controles de incorporación y automatizar las investigaciones. Así que, mientras los estafadores usan la IA para escalar sus ataques, tú puedes usar la IA para escalar tus defensas. Ve a sardine.ai/dwarkesh para saber más y descargar su guía sobre detección de fraude con IA.
¿Qué planea hacer SSI de forma diferente? Presumiblemente, tu plan es ser una de las empresas pioneras cuando llegue ese momento. Y luego, ¿qué? Presumiblemente, empezaste SSI porque pensaste: «Creo que tengo una forma de abordar esto de manera segura, de una manera que las otras compañías no tienen». ¿Cuál es esa diferencia?
La forma en que yo lo describiría es que hay algunas ideas que me parecen prometedoras, y quiero investigarlas para ver si realmente lo son o no. Es así de simple. Es un intento. Creo que si las ideas resultan ser correctas, estas ideas que discutimos en torno a la comprensión de la generalización, entonces creo que tendremos algo que valga la pena. ¿Se demostrará que son correctas? Estamos llevando a cabo investigación. Somos una empresa dedicada enteramente a la investigación. Estamos logrando avances. De hecho, hemos logrado un progreso bastante significativo durante el último año, pero necesitamos seguir haciendo más progresos.
Se necesita más investigación al respecto y así es como yo lo veo. Lo veo como un intento de ser una voz y un participante.
La gente ha preguntado: su cofundador y el anterior director ejecutivo se marchó a Meta hace poco, y la gente ha preguntado: «Bueno, si se estaban haciendo muchos descubrimientos, eso parece algo que no debería haber pasado». Me pregunto cómo responde usted.
Sí, para esto, simplemente recordaré algunos hechos que quizás se hayan olvidado. Y creo que estos hechos, que aportan el contexto, explican la situación. El contexto era que estábamos recaudando fondos con una valoración de 32 mil millones, y luego Meta se acercó y nos ofreció adquirirnos. Y yo dije que no, pero mi antiguo cofundador, en cierto sentido, sí aceptó. Y como resultado, él también pudo disfrutar de una gran liquidez a corto plazo, y fue la única persona de SSI en unirse a Meta.
Parece que el plan de SSI es el de ser una compañía que se encuentre a la vanguardia cuando lleguemos a este período tan crucial en la historia de la humanidad, donde ya contaremos con una inteligencia sobrehumana y se tendrán ideas sobre cómo lograr que esta inteligencia sobrehumana se desarrolle de manera óptima. Pero otras empresas estarán probando sus propias ideas. ¿Qué distingue el enfoque de SSI para hacer que la superinteligencia funcione bien?
Lo principal que verdaderamente distingue a SSI es su particular enfoque técnico. Tenemos una metodología técnica diferente que, a mi parecer, es muy valiosa, y por eso la estamos implementando con gran dedicación.
Sostengo que, al final, habrá una convergencia de estrategias. Creo que habrá una convergencia de estrategias donde, en algún momento, a medida que la inteligencia artificial se vuelva más potente, se hará más o menos claro para todos cuál debería ser la estrategia. Y debería ser algo así como: sí, necesitan encontrar alguna manera de hablar entre ustedes, y quieren que su primera inteligencia artificial verdaderamente superinteligente esté alineada y de alguna manera sea... La preocupación por la vida sensible, el cuidado de las personas, ser democrático, una de esas cualidades, o quizás una combinación de todas ellas. Y creo que esta es la condición a la que todos deberían aspirar, y eso es lo que SSI está buscando.
Y yo creo que con el tiempo, si es que no lo han hecho ya, todas las demás compañías se darán cuenta y estarán esforzándose por conseguir lo mismo. Y ya lo veremos. Pienso que el mundo verdaderamente cambiará a medida que la inteligencia artificial se haga más poderosa.
Así es.
Y creo que muchas de estas predicciones van a... Es decir, creo que las cosas serán muy diferentes y la gente se comportará de una manera muy distinta.
Hablando de pronósticos, ¿cuáles son tus pronósticos para este sistema que nos estás describiendo, que puede aprender tan bien como lo haría un humano y, consecuentemente, como resultado, volverse sobrehumano?
Yo creo que, aproximadamente, estaríamos hablando de entre cinco y veinte.
¿Cinco a veinte?
Ajá.
Pero solo quiero que me des tu perspectiva, que me cuentes cómo ves el mundo que se avecina. Es como si tuviéramos un par de años más en los que estas otras compañías van a seguir con el enfoque actual y, de repente, se estancará todo. Y que se estanque aquí significa que no van a generar más de unos pocos cientos de miles de millones en ingresos, o ¿cómo piensas tú que significa realmente estancarse?
Sí. Creo que podría perder el impulso. Creo que el estancamiento tendrá el aspecto de... Todo tendrá un aspecto muy similar entre todas las diferentes compañías, algo así. No estoy seguro, porque creo que incluso si se estancan, estas compañías podrían generar ingresos estupendos, estupendos. Quizás no ganancias, porque tendrán que esforzarse mucho para diferenciarse entre ellas. Pero ingresos, definitivamente.
Pero hay algo en el modelo que tú tienes que implica que, cuando surja la solución correcta, habrá convergencia entre todas las empresas. Y tengo curiosidad por qué crees que es así.
Bueno, yo hablaba más de la convergencia en sus estrategias más amplias. Creo que una convergencia eventual en el enfoque técnico probablemente también se dará. Pero yo estaba aludiendo a la convergencia hacia la estrategia general. Entonces, ¿qué es exactamente lo que se debería hacer?
Solo quiero entender mejor cómo ves el futuro desplegándose. Actualmente tenemos estas diferentes empresas y esperas que su enfoque siga generando ingresos, pero sin llegar a este aprendiz humano.
Sí.
Así que ahora tenemos estas distintas ramas de empresas. Tenemos la tuya. Tenemos Thinking Machines. Y hay muchos otros laboratorios.
Por supuesto.
Y quizás uno de ellos descubra la forma correcta.
Ajá.
Pero luego el lanzamiento del producto les deja claro a otras personas cómo hacer esto.
Creo que no estará claro cómo hacer lo suyo, pero sí estará claro que algo diferente es posible. Y eso es información. Y creo que la gente, entonces, estará intentando averiguar cómo funciona eso. Sin embargo, sí creo que una de las cosas que no se aborda aquí, no se discute, es que con cada avance en las capacidades de la inteligencia artificial habrá algún tipo de cambios, pero no sé exactamente cuáles serán, en la forma en que se hacen las cosas. Pienso que va a ser importante, aunque no puedo especificar qué es eso con exactitud.
Por defecto, uno esperaría que la empresa de modelos que posee ese modelo obtenga todas estas ganancias, porque tiene el modelo que está aprendiendo a hacer todo, desarrollando habilidades y conocimientos en el mundo. ¿Cuál es la razón para pensar que los beneficios de eso se distribuirán ampliamente y no terminarán solo en la compañía de modelos que inicie primero este ciclo de aprendizaje continuo?
Yo creo que, empíricamente hablando, lo que va a suceder, esto es lo que, en mi opinión, va a ocurrir. Primero que nada, creo que empíricamente, cuando... Permítanme que analicemos cómo han ido las cosas hasta ahora con las inteligencias artificiales del pasado.
Una empresa produjo un avance y la otra compañía se apresuró y produjo algunas cosas bastante similares después de un cierto período de tiempo, y comenzaron a competir en el mercado y a bajar los precios. Y así, creo que desde la perspectiva del mercado, algo similar sucederá allí también. Incluso si alguien... Estamos hablando del mundo ideal, por cierto. ¿Cuál es el mundo ideal? ¿Cuál es el mundo ideal?
Donde tenemos a estos potentes aprendices, similares a los humanos, que además son como... Y por cierto, quizás hay algo más que no hemos discutido sobre la especificación de la inteligencia artificial superinteligente que creo que vale la pena considerar: que la hagas estrecha. Puede ser útil y especializado al mismo tiempo. Así que puedes tener muchas IAs superinteligentes y especializadas. Pero supón que tienes muchas de ellas y tienes alguna empresa que está produciendo muchos beneficios de ello. Y luego viene otra empresa que entra y empieza a competir. Y la forma en que la competencia va a funcionar es a través de la especialización.
Creo que lo que va a ocurrir es que, de alguna manera... La competencia realmente ama la especialización. Y esto lo puedes ver en el mercado, y también lo observas en la evolución. Así que vas a tener muchísimos nichos diferentes, y vas a tener muchísimas empresas distintas que están ocupando nichos diferentes en este tipo de mundo. Donde podrías decir: «Sí, una empresa de inteligencia artificial es realmente bastante mejor en alguna área de actividad económica verdaderamente complicada, y una empresa diferente es mejor en otra área, y una tercera empresa es muy buena en litigios y...».
Pero mira, esto se contradice con lo que implica el aprendizaje humano. Es que puede aprender...
Puede, pero has acumulado conocimiento. Tienes una gran inversión. Invertiste una gran cantidad de cómputo para volverte realmente, realmente, realmente bueno. Realmente fenomenal en esto. Y otra persona invirtió una enorme cantidad de cómputo y una enorme cantidad de experiencia para volverse realmente, realmente buena en alguna otra cosa.
Claro.
Aplicas muchísimo conocimiento y aprendizaje humano para llegar hasta ahí, pero ahora te encuentras en un punto tan elevado donde cualquier otra persona diría: «Mira, yo no quiero empezar a aprender todo lo que tú has aprendido y tener que pasar por todo esto».
Supongo que eso exigiría que muchísimas empresas distintas empezaran a trabajar en un agente de aprendizaje continuo con capacidades humanas, y lo hicieran al mismo tiempo, para que así pudieran iniciar sus diferentes líneas de investigación en distintas ramas. Pero si una empresa consigue ese agente primero o ese sistema de aprendizaje primero, entonces parece que ellos podrían... Solo pensamos en cada puesto de trabajo en la economía. Basta con tener aprendizaje por instancia, y cada uno parece abordable para una empresa.
Sí. Es un argumento válido. Mi fuerte intuición es que no va a pasar así.
Ajá.
Mi fuerte intuición es que sí, como el argumento lo plantea, irá por este camino. Pero mi fuerte intuición me dice que no, que no irá por este camino. En teoría, no hay ninguna diferencia entre la teoría y la práctica. En la práctica, sí la hay. Y creo que este va a ser uno de esos casos.
Muchos modelos de automejora recursiva de la gente, literalmente, explícitamente, afirman: «Tendremos un millón de Ilyas en un servidor. Estarán generando ideas muy diferentes, y esto conducirá a que una superinteligencia emerja de forma muy rápida». ¿Tienes alguna intuición sobre cuán paralelizable es lo que estás haciendo? ¿Cuáles son las ganancias de hacer copias de Ilya?
No lo sé. Sinceramente creo que definitivamente se llegará a un punto de rendimientos decrecientes, porque lo que uno busca, lo que realmente se desea, es gente que aporte ideas distintas, no que sean todos iguales. Pienso que si fueran réplicas exactas de mi persona, no estoy del todo seguro de cuánto valor incremental o adicional se podría obtener de ellos. Pero, en definitiva, lo que se necesita es gente que piense de forma diferente, eso es lo que realmente se busca.
¿Por qué ha sucedido que, si uno observa los distintos modelos, incluso aquellos lanzados por empresas completamente diferentes, y que han sido entrenados con conjuntos de datos potencialmente no superpuestos, es verdaderamente increíble la similitud que tienen los LLM entre sí?
Quizás los conjuntos de datos no son tan disjuntos como parece.
Pero hay ciertos aspectos en los que, incluso si un ser humano individual fuera menos productivo que la IA del futuro, quizás haya algo en el hecho de que los equipos humanos tienen más diversidad que la que podrían tener los equipos de IA. Pero, ¿cómo logramos una diversidad significativa entre las IAs para que...? Creo que simplemente aumentar la temperatura solo produce tonterías. Creo que lo que buscas es algo más parecido a científicos distintos con diferentes prejuicios o ideas diversas. ¿Cómo se logra esa clase de diversidad entre los agentes de inteligencia artificial?
La razón por la que no ha habido diversidad, creo, se debe al preentrenamiento. Todos los modelos preentrenados son, en gran medida, iguales, porque han sido preentrenados con los mismos datos. Ahora bien, el aprendizaje por refuerzo (RL) y el postentrenamiento es donde comienza a surgir una cierta diferenciación, ya que distintas personas desarrollan diferentes tipos de entrenamiento de RL.
Sí. Y te he oído insinuar en el pasado sobre el autojuego como una forma de obtener datos o de emparejar agentes con otros agentes con una inteligencia equivalente para iniciar el aprendizaje. ¿Cómo deberíamos reflexionar sobre por qué no hay propuestas públicas de este tipo de cosas funcionando con los LLM?
Yo diría que hay un par de cosas que decir. Diría que la razón por la que el autojuego me pareció interesante es porque ofrecía una manera de crear modelos utilizando únicamente la
Computación, sin necesidad de datos, ¿verdad? Y si consideras que los datos son el cuello de botella definitivo, entonces el uso exclusivo de la computación resulta muy, muy interesante. Así que eso es precisamente lo que lo hace tan interesante.
Ahora, la cuestión es que el autojuego, al menos de la forma en que se realizaba en el pasado, cuando se tenían agentes que de alguna manera competían entre sí, solo es útil para el desarrollo de un determinado conjunto de habilidades. Es demasiado estrecho. Solo sirve para, por ejemplo, la negociación, el conflicto, ciertas habilidades sociales, la elaboración de estrategias y cosas por el estilo. Así que, si te interesan esas habilidades, entonces el autojuego podría serte muy útil.
Bueno, en realidad, yo creo firmemente que el autojuego sí que ha encontrado su propio espacio, pero lo ha hecho simplemente presentándose de una manera diferente. Sí, de una manera completamente distinta a la que esperábamos. Me refiero a cosas como el debate o el sistema probador-verificador.
Tienes algún tipo de LLM como juez, que también está incentivado a encontrar errores en tu trabajo. Se podría decir que esto no es exactamente autojuego, pero es una configuración adversaria relacionada que la gente está haciendo, creo. Y realmente, el autojuego es un caso especial de una competencia más general entre agentes, ¿verdad? La respuesta natural a la competencia es intentar ser diferente.
Y así, si pusieras a varios agentes y les dijeras: «Todos ustedes necesitan trabajar en algún problema», y tú eres un agente e inspeccionas en qué están trabajando los demás, dirías: «Bueno, si ya están tomando este enfoque, no está claro que deba seguirlo. Debería buscar algo diferente». Y creo que algo así también podría crear un incentivo para una diversidad de enfoques.
Sí. Tengo una última pregunta. ¿Cómo definirías el gusto de investigación? Tú, por tu experiencia, obviamente eres la persona en el mundo que se considera que tiene el mejor gusto para investigar en IA. Usted es coautor de muchas de las cosas más grandes, las cosas más importantes que han sucedido en la historia del aprendizaje profundo, desde AlexNet hasta GPT-3 y así sucesivamente. ¿Cómo caracteriza usted la forma en que se le ocurren estas ideas?
Puedo dar mi opinión sobre esto por mí mismo. Creo que cada persona lo hace de forma diferente. Pero hay algo que a mí personalmente me guía, y eso es la estética de cómo la inteligencia artificial debería ser, al pensar en cómo son los seres humanos. Pero pensando de manera correcta.
Es muy fácil pensar en cómo la gente se equivoca. Pero, ¿qué significa pensar correctamente sobre la gente?
Así es.
Así que les daré algunos ejemplos. La idea de la neurona artificial está directamente inspirada en el cerebro humano, y es una idea realmente brillante. ¿Por qué? Porque uno dice: «Claro, el cerebro tiene todos estos órganos tan diferentes. Tiene los pliegues, pero los pliegues probablemente no importan».
¿Por qué creemos que las neuronas son importantes? Porque hay muchísimas. Se siente como lo correcto, así que quieres la neurona. Quieres algún tipo de regla de aprendizaje local que modifique las conexiones. Quieres una regla de aprendizaje local que cambie las conexiones entre las neuronas, ¿verdad? Parece plausible que el cerebro lo haga. La idea de la representación distribuida.
La idea de que el cerebro reacciona a la experiencia. Una red neuronal debería aprender de la experiencia, no de la respuesta. El cerebro aprende de la experiencia. La red neuronal debería aprender de la experiencia.
Y uno se pregunta a sí mismo: ¿es algo fundamental o no fundamental? Cómo deberían ser las cosas.
Así es.
Y creo que eso me ha estado guiando en gran medida. Pensando desde múltiples ángulos y buscando casi la belleza. La belleza, la simplicidad. Fealdad, no hay cabida para la fealdad. Es solo belleza, simplicidad, elegancia, una inspiración correcta que proviene del cerebro, y todas esas cualidades necesitan estar presentes al mismo tiempo. Y cuanto más presentes estén, mayor será la confianza que podrás depositar en una creencia de arriba hacia abajo. Y es precisamente esa creencia de arriba hacia abajo la que te sostiene cuando los experimentos te contradicen.
Porque si uno solo confía en los datos todo el tiempo, a veces puedes estar haciendo algo correcto, pero en realidad hay un error. Pero no sabes que existe un error. ¿Cómo puedes darte cuenta de que hay un error? ¿Cómo sabes si debes seguir depurando o si concluyes que vas en la dirección equivocada?
Es el enfoque de arriba hacia abajo. Puedes decir: «Las cosas tienen que ser así». «Algo así tiene que funcionar». Por lo tanto, tenemos que seguir adelante. Ese es el enfoque que viene de arriba hacia abajo, y se basa en una belleza tan multifacética y la inspiración que nos proporciona el propio cerebro.
De acuerdo. Lo daremos por terminado aquí. Muchas gracias. Ilya, te lo agradezco mucho. ¡Vaya!
De acuerdo, gracias.
Excelente.
Sí, la verdad es que lo disfruté.
Sí, yo también. Hola a todos. Espero que hayan disfrutado este episodio. Si lo hicieron, lo más útil que pueden hacer es simplemente compartirlo con otras personas que crean que podrían disfrutarlo. También es útil si dejan una calificación o un comentario en cualquier plataforma en la que estén escuchando.
Si te interesa patrocinar el podcast, puedes contactarnos en dwarkesh.com/advertise. De lo contrario, nos vemos en el próximo.
Artículo publicado · Actualizado