O que estamos escalando? Dwarkesh sobre aprendizado contínuo, RL e o ritmo real rumo à AGI

Estou confuso por que algumas pessoas têm prazos super curtos, mas ao mesmo tempo estão otimistas em escalar o aprendizado por reforço sobre LLMs. Se estamos realmente perto de um aprendiz como um humano, então toda essa abordagem de treinamento com resultados verificáveis está condenada.

Agora, os laboratórios estão tentando incorporar diversas habilidades nesses modelos durante o treinamento. Há toda uma cadeia de empresas que estão construindo ambientes de RL que ensinam o modelo a navegar em um navegador web ou usar o Excel para criar modelos financeiros.

Agora, ou estes modelos aprendem sozinhos no trabalho, tornando inútil esta pré-preparação, ou não, e a IAG não é iminente. Humanos não precisam de uma fase de treino especial para ensaiar cada software que usarão no trabalho. Beren Millidge fez um ponto interessante sobre isso num post recente.

Ele escreve, cito: "Quando vemos modelos de ponta melhorando em vários benchmarks, devemos pensar não apenas na escala aumentada e nas ideias inteligentes de pesquisa de ML, mas nos bilhões de dólares pagos a doutores, médicos e outros especialistas para formular perguntas e fornecer respostas de exemplo e raciocínio visando essas capacidades precisas." Essa tensão é mais visível na robótica.

Em certo sentido fundamental, a robótica é um problema de algoritmos, não de hardware ou de dados. Com muito pouco treinamento, um humano pode aprender a operar o hardware atual para fazer um trabalho útil. Então, se tivéssemos um aprendiz semelhante a um humano, a robótica seria, em grande parte, um problema resolvido. Mas o fato de não termos tal aprendiz torna necessário ir a mil casas diferentes e praticar um milhão de vezes como pegar pratos ou dobrar roupas.

Agora, um contra-argumento que ouvi das pessoas que pensam que teremos uma decolagem nos próximos cinco anos é que temos que fazer todo esse RL desajeitado a serviço de construir um pesquisador de IA super-humano, e então o milhão de cópias deste Ilya automatizado pode descobrir como resolver o aprendizado robusto e eficiente a partir da experiência.

Isso me lembra aquela velha piada: "Estamos perdendo dinheiro em cada venda, mas vamos compensar no volume." De alguma forma, este pesquisador automatizado vai descobrir o algoritmo para IAG, que é um problema que os humanos têm quebrado a cabeça há mais de meio século, mesmo sem ter as capacidades básicas de aprendizado que as crianças possuem. Eu acho isso super implausível.

Além disso, mesmo que acredite nisso, não descreve como os laboratórios abordam o aprendizado por reforço a partir de recompensa verificável. Você não precisa incorporar a habilidade de um consultor em criar slides de PowerPoint para automatizar Ilya.

Assim, claramente, as ações do laboratório indicam uma visão onde esses modelos falharão na generalização e aprendizagem em contexto, tornando preciso embutir as competências que esperamos úteis economicamente, previamente, nesses modelos.

Outro contra-argumento que se pode fazer é que, mesmo que o modelo pudesse aprender essas habilidades no trabalho, é muito mais eficiente incorporá-las uma vez durante o treinamento, em vez de repetidamente para cada usuário e cada empresa. E veja bem, faz todo o sentido integrar a fluência com ferramentas comuns como navegadores e terminais, e, de fato, uma das principais vantagens que as AGIs terão é essa maior capacidade de compartilhar conhecimento entre cópias.

Mas as pessoas subestimam o quão importantes são as habilidades específicas de empresa e contexto para a maioria dos trabalhos, e atualmente não existe uma maneira robusta e eficiente para as IAs adquirirem essas habilidades.

Eu estava recentemente num jantar com uma pesquisadora de IA e uma bióloga, e descobrimos que a bióloga tinha prazos longos, e então perguntamos por que ela tinha esses prazos tão longos. Ela disse que uma parte do trabalho dela recentemente no laboratório tem envolvido olhar lâminas e decidir se o ponto naquela lâmina é realmente um macrófago ou apenas parece um macrófago.

E a pesquisadora de IA, como você deve imaginar, respondeu: "Olha, classificação de imagens é um problema clássico de deep learning. Isso está bem no cerne do tipo de coisa que poderíamos treinar esses modelos para fazer." E eu achei que esta foi uma troca muito interessante porque ilustrou um ponto crucial entre mim e as pessoas que esperam um impacto econômico transformador nos próximos anos.

Trabalhadores humanos são valiosos precisamente porque não precisamos criar esses ciclos de treinamento maçantes para cada pequena parte do seu trabalho.

Não é produtivo criar um sistema de treino personalizado para identificar macrófagos, dada a forma como este laboratório prepara as lâminas, e depois outro ciclo de treino para a próxima microtarefa específica do laboratório, e assim por diante. O que realmente precisamos é de uma IA que aprenda com feedback semântico ou experiência autodirigida, e generalize como um humano.

Todos os dias, você tem que fazer cem coisas que exigem julgamento, consciência situacional, e habilidades e contexto que são aprendidos no trabalho. Essas tarefas diferem não apenas entre pessoas diferentes, mas até de um dia para o outro para a mesma pessoa. Não é possível automatizar sequer um único trabalho apenas incorporando um conjunto predefinido de habilidades, muito menos todos os trabalhos.

Na verdade, acho que as pessoas subestimam o impacto da AGI real, pois só imaginam mais do regime atual. Não pensam em bilhões de inteligências humanoides num servidor, capazes de copiar e fundir todo o conhecimento. E para ser claro, eu espero isso, ou seja, inteligências cerebrais na próxima década ou duas, o que é bem louco pra caralho.

Às vezes, as pessoas dirão que a razão pela qual as IAs não estão mais amplamente implementadas agora em todas as empresas e já fornecendo muito valor fora da programação é que a tecnologia leva muito tempo para se difundir, e eu acho que isso é uma desculpa. Eu acho que as pessoas estão usando essa desculpa para encobrir o fato de que esses modelos simplesmente não têm as capacidades necessárias para um amplo valor econômico.

Se esses modelos fossem realmente como humanos num servidor, eles se espalhariam incrivelmente rápido. Na verdade, seriam muito mais fáceis de integrar e de treinar do que um funcionário humano normal.

Eles poderiam ler todo o seu Slack e Drive em minutos, e poderiam imediatamente destilar todas as habilidades que seus outros funcionários de IA têm. Além disso, o mercado de contratação de humanos é muito parecido com um mercado de limões, onde é difícil saber de antemão quem são as pessoas boas, e então, obviamente, contratar alguém que se revela ruim é muito caro.

Esta não é uma dinâmica que você teria que enfrentar ou se preocupar se estivesse apenas criando outra instância de um modelo AGI verificado. Por essas razões, espero que seja muito mais fácil difundir o trabalho de IA nas empresas do que contratar uma pessoa. E as empresas contratam pessoas o tempo todo.

Se as capacidades estivessem realmente ao nível de AGI, as pessoas estariam dispostas a gastar trilhões de dólares por ano comprando tokens que esses modelos produzem. Trabalhadores do conhecimento em todo o mundo ganham cumulativamente dezenas de trilhões de dólares por ano em salários. E a razão pela qual os laboratórios estão ordens de magnitude abaixo desse valor agora é que os modelos não são nem de perto tão capazes quanto os trabalhadores do conhecimento humanos.

Agora você deve estar pensando: "Como o padrão se tornou que laboratórios precisam faturar trilhões de dólares anualmente?" Até pouco tempo, as pessoas diziam: "Esses modelos raciocinam? Têm bom senso? Eles estão apenas fazendo reconhecimento de padrões?" E, obviamente, os otimistas da IA têm razão em criticar os pessimistas da IA por moverem repetidamente esses limites. E isso é muito frequentemente justo. É fácil subestimar o progresso que a IA tem feito ao longo da última década. Mas alguma mudança de critérios é, de fato, justificada.

Se você me mostrasse o Gemini 3 em 2020, eu teria certeza de que ele automatizaria metade do trabalho intelectual. E assim continuamos resolvendo o que pensávamos serem os gargalos suficientes para a IAG.

Temos modelos que possuem uma compreensão geral, têm aprendizagem com poucos exemplos, têm capacidade de raciocínio, e, no entanto, ainda não alcançamos a IAG. Então, qual seria uma resposta racional ao observar tudo isto?

Acho bem razoável olhar para isso e dizer: "Há muito mais na inteligência e no trabalho do que eu percebia." E, embora estejamos perto, e de muitas formas já tenhamos superado aquilo que eu, no passado, teria definido como IAG, o facto de as empresas de modelos não estarem a gerar os triliões de dólares em receita que seriam implicados pela IAG revela claramente que a minha definição anterior de IAG era demasiado restrita.

E eu espero que isso continue acontecendo no futuro. Espero que até 2030 os laboratórios tenham feito progressos significativos no meu tema favorito de aprendizado contínuo, e os modelos estarão gerando centenas de bilhões de dólares em receita por ano. Mas eles não terão automatizado todo o trabalho de conhecimento. E eu direi: "Olha, fizemos muito progresso, mas ainda não atingimos a IAG. Também precisamos destas outras capacidades. Precisamos de capacidades X, Y e Z nestes modelos."

Os modelos continuam a tornar-se mais impressionantes à velocidade que as pessoas com prazos curtos preveem, mas mais úteis à velocidade que as pessoas com prazos longos preveem.

Vale a pena perguntar: o que estamos escalando? Com o pré-treinamento, tivemos essa tendência extremamente clara e geral de melhoria na perda em múltiplas ordens de magnitude em computação. Embora isso tenha sido numa lei de potência, que é tão fraca quanto o crescimento exponencial é forte.

Mas as pessoas tentam lavar o prestígio do escalonamento de pré-treinamento, que é quase tão previsível quanto uma lei física do universo, para justificar previsões otimistas sobre a aprendizagem por reforço com recompensa verificável, para a qual não temos nenhuma tendência pública robusta. E quando pesquisadores intrépidos tentam reunir as implicações de dados públicos escassos, obtêm resultados bastante pessimistas.

Por exemplo, Toby Ord tem um excelente post onde ele conecta habilmente os pontos entre os benchmarks da série o, e isso o levou a sugerir que, cito: "Precisamos de algo como um aumento de escala de um milhão de vezes na computação total de RL para dar um impulso semelhante ao de um único nível de GPT", fim de citação.

Então, as pessoas têm dedicado muito tempo a discutir a possibilidade de uma singularidade de software, onde modelos de IA escreverão o código que gera um sistema sucessor mais inteligente. Ou uma singularidade de software e hardware, onde as IAs também aprimoram o hardware de computação de seu sucessor. No entanto, todos esses cenários negligenciam o que eu considero ser o principal impulsionador de melhorias adicionais sobre a IAG, o aprendizado contínuo.

Novamente, pense em como os humanos se tornam mais capazes em qualquer coisa. É principalmente da experiência no domínio relevante. Durante uma conversa, Beren Millidge fez esta sugestão interessante: que o futuro poderia ser como agentes de aprendizado contínuo que saem, fazem trabalhos diferentes, geram valor e depois trazem de volta todo o seu aprendizado para o modelo de mente coletiva, que faz algum tipo de destilação em lote em todos esses agentes.

Os próprios agentes podem ser bastante especializados, contendo o que Karpathy chamou de núcleo cognitivo, além de conhecimento e habilidades relevantes para a função em que estão sendo empregados. Resolver o aprendizado contínuo não será uma conquista única e definitiva. Em vez disso, parecerá resolver o aprendizado em contexto.

O GPT-3 já demonstrou que a aprendizagem em contexto poderia ser muito poderosa em 2020. As suas capacidades de aprendizagem em contexto eram tão notáveis que o título do artigo do GPT-3 era "Modelos de Linguagem são Aprendizes de Poucas Amostras". Mas é claro, não resolvemos a aprendizagem em contexto quando o GPT-3 foi lançado, e, de facto, ainda há muito progresso a ser feito, desde a compreensão até ao comprimento do contexto.

Espero uma progressão semelhante com aprendizado contínuo.

Laboratórios provavelmente lançarão algo no próximo ano, que eles chamam de aprendizado contínuo, e que de fato contará como progresso em direção ao aprendizado contínuo. Mas o aprendizado no trabalho em nível humano pode levar mais cinco a dez anos para ser aprimorado. É por isso que não espero ganhos descontrolados do primeiro modelo que desvendar o aprendizado contínuo, que está sendo cada vez mais amplamente implantado e capaz.

Se tivesses resolvido completamente a aprendizagem contínua do nada, então, claro, seria jogo, set, partida, como Satya disse no podcast quando lhe perguntei sobre essa possibilidade. Mas provavelmente não é isso que vai acontecer. Em vez disso, algum laboratório vai descobrir como obter alguma tração inicial neste problema, e então, ao experimentar essa funcionalidade, ficará claro como foi implementada, e outros laboratórios replicarão a descoberta em breve, e a aprimorarão um pouco.

Além disso, eu já tenho uma noção prévia de que a competição permanecerá bem acirrada entre todas essas empresas de modelos. E isso é informado pela observação de que todos esses supostos "flywheels" anteriores, seja o engajamento do usuário no chat ou dados sintéticos, ou o que for, fizeram muito pouco para diminuir a crescente competição entre as empresas de modelos.

Todo mês, mais ou menos, as três grandes empresas de modelos se revezam no pódio, e os outros concorrentes não ficam muito atrás. Parece haver alguma força, e isso é potencialmente caça a talentos, é potencialmente a fábrica de boatos em SF, ou apenas engenharia reversa normal, que até agora neutralizou qualquer vantagem disparada que um único laboratório poderia ter tido.

Esta foi uma narração de um ensaio que originalmente publiquei no meu blog em dwarkesh.com. Vou publicar muito mais ensaios. Descobri que é bastante útil para organizar meus pensamentos antes das entrevistas. Se quiser ficar atualizado com eles, pode se inscrever em dwarkesh.com.

Caso contrário, vejo vocês no próximo podcast. Até mais.