¿Qué estamos escalando? Dwarkesh sobre el aprendizaje por refuerzo, el aprendizaje continuo y los plazos de la IAG

Me confunde por qué algunas personas tienen plazos súper cortos, y al mismo tiempo son optimistas sobre escalar el aprendizaje por refuerzo sobre los LLM. Si en realidad estamos cerca de un aprendiz similar a un humano, entonces todo este enfoque de entrenar con resultados verificables está condenado.

Actualmente, los laboratorios intentan incorporar una serie de habilidades en estos modelos mediante el entrenamiento intermedio. Existe toda una cadena de suministro de empresas que están creando entornos de RL que enseñan al modelo a navegar por un navegador web o a usar Excel para construir modelos financieros.

Ahora bien, o estos modelos pronto aprenderán sobre la marcha de forma autodirigida, lo que hará inútil toda esta preparación previa, o no lo harán, lo que significa que la IAG no es inminente. Los humanos no tienen que pasar por esta fase de entrenamiento especial donde necesiten ensayar cada programa que puedan usar en el trabajo. Beren Millidge hizo un comentario interesante al respecto en una reciente entrada de blog que escribió.

Él escribe, cito: "Cuando vemos que los modelos de vanguardia mejoran en diversas pruebas de rendimiento, no solo debemos pensar en la mayor escala y las ingeniosas ideas de investigación de ML, sino en los miles de millones de dólares que se pagan a doctores, médicos y otros expertos para redactar preguntas y proporcionar respuestas de ejemplo y razonamientos dirigidos a estas capacidades tan precisas." Esta tensión se puede observar de forma más vívida en la robótica.

En un sentido fundamental, la robótica es un problema de algoritmos, no de hardware o de datos. Con muy poco entrenamiento, un humano puede aprender a operar el hardware actual para realizar un trabajo útil. Entonces, si tuviéramos un aprendiz similar a un humano, la robótica sería, en gran parte, un problema resuelto. Pero el hecho de no tener un aprendiz así hace necesario ir a mil hogares diferentes y practicar un millón de veces cómo recoger platos o doblar la ropa.

Ahora bien, un contraargumento que he oído de la gente que cree que tendremos un despegue en los próximos cinco años es que tuvimos que hacer todo este RL chapucero al servicio de construir un investigador de IA superhumano, y luego el millón de copias de este Ilya automatizado puedan ir a averiguar cómo resolver el aprendizaje robusto y eficiente a partir de la experiencia.

Esto me da la sensación de ese viejo chiste: "Estamos perdiendo dinero en cada venta, pero lo compensaremos con el volumen." De alguna manera, este investigador automatizado va a descifrar el algoritmo para la IAG, un problema contra el que los humanos se han estado rompiendo la cabeza durante más de medio siglo, sin tener las capacidades básicas de aprendizaje que tienen los niños. Esto me parece súper implausible.

Además, incluso si eso es lo que crees, no describe cómo los laboratorios están abordando el aprendizaje por refuerzo a partir de una recompensa verificable. No necesitas incorporar de antemano la habilidad de un consultor para crear diapositivas de PowerPoint para automatizar a Ilya.

Así que claramente, las acciones del laboratorio insinúan una cosmovisión donde estos modelos seguirán funcionando mal en la generalización y el aprendizaje en el trabajo, haciendo así necesario incorporar las habilidades que esperamos sean económicamente útiles de antemano en estos modelos.

Otro contraargumento que podrías plantear es que, incluso si el modelo pudiera aprender estas habilidades sobre la marcha, es muchísimo más eficiente incorporar estas capacidades una sola vez durante el entrenamiento, en lugar de tener que hacerlo una y otra vez para cada usuario y cada empresa.

Y mira, tiene mucho sentido integrar la fluidez con herramientas comunes como navegadores y terminales, y de hecho, una de las ventajas clave que las IAG tendrán es esta mayor capacidad para compartir conocimiento entre copias. Pero la gente está subestimando realmente cuántas habilidades específicas de la empresa y del contexto se requieren para la mayoría de los trabajos, y actualmente no existe una forma robusta y eficiente para que las IA adquieran estas habilidades.

Estuve recientemente cenando con un investigador de IA y una bióloga, y resultó que la bióloga tenía horizontes temporales largos, así que le preguntábamos por qué tenía esos horizontes temporales tan largos.

Y entonces ella dijo: "Sabes, una parte del trabajo reciente en el laboratorio ha implicado mirar portaobjetos y decidir si el punto en ese portaobjetos es realmente un macrófago o solo parece un macrófago". Y el investigador de IA, como podrías anticipar, respondió: "Mira, la clasificación de imágenes es un problema de aprendizaje profundo de libro de texto".

Esto está justo en el centro del tipo de cosas para las que podríamos entrenar a estos modelos. Y pensé que este fue un intercambio muy interesante porque ilustró un punto clave entre mi perspectiva y la de la gente que espera un impacto económico transformador en los próximos años. Los trabajadores humanos son valiosos precisamente porque no necesitamos incorporar estos tediosos bucles de entrenamiento para cada pequeña parte de su trabajo.

No resulta productivo crear un sistema de entrenamiento a medida para identificar macrófagos, dada la forma específica en que este laboratorio prepara los portaobjetos, y luego otro ciclo para la siguiente microtarea específica del laboratorio y así sucesivamente. Lo que realmente se necesita es una IA que pueda aprender de la retroalimentación semántica o de la experiencia autodirigida y luego generalizar como lo hace un humano.

Cada día, tienes que hacer cien cosas que requieren juicio, conciencia situacional, y habilidades y contexto que se aprenden en el trabajo. Estas tareas difieren no solo entre personas diferentes, sino incluso de un día para otro para la misma persona. No es posible automatizar ni siquiera un solo trabajo simplemente incorporando un conjunto predefinido de habilidades, y mucho menos todos los trabajos.

De hecho, creo que la gente está subestimando realmente la magnitud de lo que será una verdadera IAG, porque solo están imaginando más de este régimen actual. No están pensando en miles de millones de inteligencias similares a las humanas en un servidor que puede copiar y fusionar todos los aprendizajes. Y para ser claros, espero esto, es decir, espero inteligencias reales y cerebrales en la próxima década o dos, lo cual es una auténtica locura.

A veces la gente dirá que la razón por la que las IA no están más ampliamente desplegadas en las empresas y ya aportando mucho valor fuera de la programación es que la tecnología tarda mucho en difundirse, y creo que esto es una excusa. Creo que la gente está usando esta excusa para encubrir el hecho de que estos modelos simplemente carecen de las capacidades que son necesarias para un amplio valor económico.

Si estos modelos fueran como humanos en un servidor, se difundirían increíblemente rápido. De hecho, serían mucho más fáciles de integrar y de incorporar que un empleado humano normal.

Podrían leer todo tu Slack y Drive en minutos, y podrían extraer al instante todas las habilidades que tienen tus otros empleados de IA. Es más, el mercado laboral para humanos es como un mercado de limones, donde es complicado distinguir a los buenos de antemano, y claro, contratar a alguien que resulta ser malo es muy caro.

Esto simplemente no es una dinámica que tendrías que enfrentar o de la que preocuparte si solo estuvieras creando otra instancia de un modelo de IAG verificado. Así que por estas razones, espero que sea mucho más fácil difundir la mano de obra de IA en las empresas que contratar a una persona. Y las empresas contratan gente todo el tiempo.

Si las capacidades fueran realmente a un nivel de IAG, la gente estaría dispuesta a invertir billones de dólares anualmente en la adquisición de los tokens que estos modelos generan. Los trabajadores del conocimiento a nivel global, en conjunto, perciben anualmente decenas de billones de dólares en concepto de salarios. Y la razón por la que los laboratorios están tan lejos de alcanzar esta cifra en este momento es que sus modelos no poseen ni de lejos la misma capacidad que los trabajadores del conocimiento humanos.

Ahora podrías decir: "Mira, ¿cómo es que el estándar de repente es que los laboratorios deben generar decenas de billones de dólares en ingresos al año?" Hasta hace poco, la gente decía: "¿Pueden razonar estos modelos? ¿Tienen sentido común? ¿Acaso solo se dedican a reconocer patrones?" Y, obviamente, los defensores de la inteligencia artificial tienen toda la razón al criticar a los escépticos por mover constantemente los criterios. Y esto, en muchas ocasiones, es bastante justo. Resulta sencillo subestimar el enorme progreso que la inteligencia artificial ha conseguido durante la última década. Pero cierto grado de cambio en los objetivos está realmente justificado.

Si me hubieran mostrado Gemini 3 en 2020, habría estado seguro de que podría automatizar la mitad del trabajo intelectual. Y así seguimos resolviendo lo que creíamos eran los cuellos de botella suficientes para la IAG. Tenemos modelos con comprensión general, aprendizaje de pocas muestras, razonamiento, y aun así, todavía no tenemos IAG. Entonces, ¿cuál es una respuesta racional a observar esto?

Me parece completamente razonable observar esto y decir: «Oh, en realidad, hay mucho más en la inteligencia y en el trabajo de lo que había comprendido antes». Y aunque estamos muy cerca, y en muchos aspectos hemos superado lo que yo habría definido previamente como IAG en el pasado, el hecho de que las empresas de modelos no estén generando los billones de dólares en ingresos que implicaría la IAG, claramente revela que mi definición previa de IAG era demasiado estrecha.

Y preveo que esto seguirá pasando en el futuro. Espero que para 2030 los laboratorios hayan logrado un progreso significativo en mi caballito de batalla del aprendizaje continuo, y los modelos estarán generando cientos de miles de millones de dólares en ingresos al año. Pero no habrán automatizado todo el trabajo de conocimiento. Y diré: "Mira, hemos avanzado mucho, pero aún no hemos alcanzado la IAG. También necesitamos estas otras funcionalidades. Necesitamos que estos modelos tengan capacidades X, Y y Z". Los modelos siguen siendo cada vez más impresionantes al ritmo de los plazos cortos que la gente predice, pero son más útiles al ritmo que la gente predice para los plazos largos.

Vale la pena preguntar, ¿qué estamos escalando? Con el preentrenamiento, tuvimos esta tendencia extremadamente clara y general en la mejora de la pérdida a través de múltiples órdenes de magnitud en cómputo. Aunque esto se basaba en una ley de potencias, que es tan débil como fuerte es el crecimiento exponencial. Pero la gente está intentando blanquear el prestigio que tiene el escalado del preentrenamiento, que es casi tan predecible como una ley física del universo, para justificar predicciones optimistas sobre el aprendizaje por refuerzo a partir de recompensas verificables, para lo cual no tenemos ninguna tendencia sólida y públicamente conocida.

Y cuando los intrépidos investigadores intentan reconstruir las implicaciones de escasos datos públicos, obtienen resultados bastante desalentadores. Por ejemplo, Toby Ord tiene una gran publicación donde conecta hábilmente los puntos entre los diferentes puntos de referencia de la serie o y esto le sugirió que, y cito: "Necesitamos algo así como una escalada de un millón de veces en el cómputo total de RL para dar un impulso similar al de un solo nivel de GPT", fin de cita.

Así que la gente ha hablado mucho de la posibilidad de una singularidad de software puro, donde modelos de IA escribirán el código que genere un sistema sucesor más inteligente. O una singularidad de software más hardware, donde las IA también mejoran el hardware informático de sus sucesores. Sin embargo, todos estos escenarios ignoran lo que creo que será el principal motor de mejoras adicionales sobre la IAG: el aprendizaje continuo. De nuevo, piensa en cómo los humanos se vuelven más capaces en cualquier cosa. Es principalmente por la experiencia en el dominio relevante.

Durante una conversación, Beren Millidge hizo esta interesante sugerencia de que el futuro podría parecerse a agentes de aprendizaje continuo que salen, realizan diferentes trabajos, generan valor y luego traen todos sus aprendizajes al modelo de mente colmena, el cual realiza algún tipo de destilación por lotes con todos estos agentes.

Los propios agentes pueden ser bastante especializados, conteniendo lo que Karpathy denominó el núcleo cognitivo, además de conocimientos y habilidades pertinentes para la labor a la que se les está desplegando. Resolver el aprendizaje continuo no será un logro singular, de esos que se completan de una vez por todas. Por el contrario, la sensación será similar a la de resolver el aprendizaje en contexto.

Ahora, GPT-3 ya demostró que el aprendizaje en contexto podía ser muy potente en 2020. Sus capacidades de aprendizaje en contexto eran tan notables, que el título del artículo de GPT-3 fue "Los modelos de lenguaje son aprendices de pocas muestras". Pero claro, no resolvimos el aprendizaje en contexto cuando salió GPT-3, y de hecho, todavía queda mucho progreso por hacer, desde la comprensión hasta la longitud del contexto. Yo espero una progresión similar con un aprendizaje continuo.

Los laboratorios probablemente lanzarán algo el próximo año, a lo que denominan aprendizaje continuo, y que de hecho se considerará un progreso hacia el aprendizaje continuo. Pero el aprendizaje a nivel humano, ese que se da en el puesto de trabajo, podría tardar otros cinco a diez años en perfeccionarse. Por eso no espero algún tipo de ganancias desmesuradas del primer modelo que logre el aprendizaje continuo, que se está desplegando y volviendo cada vez más capaz.

Si hubieras resuelto completamente el aprendizaje continuo de la nada, entonces claro, sería jaque mate, como dijo Satya en el podcast cuando le pregunté sobre esta posibilidad. Pero eso probablemente no es lo que va a pasar.

En cambio, algún laboratorio descubrirá cómo lograr una tracción inicial en este problema, y luego, al experimentar con esta característica, quedará claro cómo se implementó, y entonces otros laboratorios replicarán pronto el avance y lo mejorarán un poco. Además, tengo la corazonada de que la competencia seguirá siendo bastante feroz entre todas estas empresas de modelos.

Y se basa en la observación de que todas estas supuestas inercias anteriores, ya sea la participación de usuarios en el chat o datos sintéticos, o lo que sea, han hecho muy poco para disminuir la creciente y cada vez mayor competencia entre las empresas de modelos.

Cada mes más o menos, las tres grandes empresas de modelos se turnan en el podio, y los demás competidores no se quedan tan atrás. Parece haber alguna fuerza, y esto es potencialmente el robo de talentos, podrían ser los rumores en SF, o simplemente ingeniería inversa normal, lo que hasta ahora ha neutralizado cualquier ventaja abrumadora que un solo laboratorio pudiera haber tenido.

Esta fue la narración de un ensayo que publiqué originalmente en mi blog, en dwarkesh.com. Voy a estar publicando muchos más ensayos. Descubrí que es bastante útil para organizar y pulir mis ideas antes de las entrevistas. Si quieres mantenerte al día con ellos, puedes suscribirte en dwarkesh.com. De lo contrario, te veré en el próximo podcast. ¡Saludos!