Afinal, o autoaperfeiçoamento recursivo da IA pode não acontecer tão rapidamente assim
A promessa mais ousada do setor da IA neste momento é que a IA em breve se aperfeiçoará a si própria, quase sem necessidade de supervisão humana. Os LLMs já conseguem escrever código, gerar dados sintéticos para treino e otimizar os chips de computador em que funcionam. As previsões de um progresso explosivo da IA apontam para que aquilo a que os investigadores chamam de «autoaperfeiçoamento recursivo» esteja prestes a acontecer.
No entanto, um novo estudo sugere que poderá demorar algum tempo até chegarmos a esse ponto. Os investigadores responsáveis pelo estudo descobriram que os agentes de IA ainda não são capazes de realizar investigação aberta em IA — investigações de formato livre que não têm respostas claras e exigem discernimento e bom gosto, o que pode ser essencial para a construção de uma IA capaz de se autoaperfeiçoar.
Um grupo de investigadores de várias instituições, liderado por Peter Kirgis e Sayash Kapoor da Universidade de Princeton, descobriu que os agentes de IA conseguiam resolver os problemas de engenharia necessários para realizar investigação em IA, mas careciam do discernimento e da criatividade necessários para produzir investigação original ao nível dos artigos aceites por uma conferência de referência na área da aprendizagem automática. Esta lacuna sugere que alguns dos prazos tão alardeados para a automatização da investigação em IA podem estar a antecipar-se às evidências.
A maior parte da investigação existente sobre como os agentes podem automatizar a investigação em IA avalia a sua capacidade de realizar tarefas específicas com respostas verificáveis, tais como resolver problemas de engenharia ou testar pequenos modelos linguísticos após o treino, comparando-os com um ponto de referência. Mas avançar na investigação em IA também requer um pensamento aberto — escolher um conjunto de hipóteses, decidir que evidências resolveriam uma questão ou saber quando recomeçar do zero.
Para testar os agentes nessas competências, os investigadores do estudo propuseram um novo método de avaliação denominado «avaliação-sombra», que exige que a IA responda a uma questão de investigação retirada de um artigo de alta qualidade ainda não publicado.
Os investigadores pediram ao Claude Opus 4.8 da Anthropic, que funciona com software de código aberto chamado OpenClaw, para abordar essas questões, neste caso provenientes de dois artigos submetidos à prestigiada conferência de aprendizagem automática NeurIPS 2026.
A primeira questão era se as «personas» de um grande modelo de linguagem — que determinam o seu comportamento — podem ser controladas através da edição dos pesos do modelo (os milhares de milhões de números que armazenam tudo o que este aprende durante o treino). A outra questionava como conceber um detetor que indicasse quando um modelo que faz previsões com base em dados de folhas de cálculo se torna pouco fiável. Como os artigos não tinham sido tornados públicos, os agentes não podiam memorizar as respostas a partir dos seus dados de treino nem encontrá-las online.
Foi concedido aos agentes um prazo de seis dias, 3 000 dólares em créditos da API da Anthropic, um orçamento de GPU para realizar as experiências, os seus próprios computadores virtuais e acesso à Internet aberta para produzirem um artigo de investigação digno de publicação numa conferência de IA de primeira linha. Os autores originais dos artigos avaliaram os artigos dos agentes da mesma forma que avaliariam um artigo submetido a uma conferência.
Esses autores rejeitaram ambos os artigos.
Os cientistas humanos constataram que os agentes eram capazes de realizar toda a engenharia necessária para conduzir a investigação. Os agentes analisaram a literatura, realizaram centenas de experiências e compilaram os resultados.
«Por outro lado, os agentes revelaram-se inequivocamente maus na realização da própria investigação», afirma Kapoor. Realizaram experiências bizarras (em alguns casos, testando as suas hipóteses em minúsculos conjuntos de dados sintéticos), tiveram dificuldade em escrever de forma inteligível sobre o seu trabalho e não deram qualquer contributo inovador aos seus domínios. «Os artigos estavam muito aquém do nível exigido para uma conferência de ponta sobre IA», afirma ele.
Isso deve-se ao facto de os agentes terem tido dificuldade em reunir a criatividade e o discernimento necessários para conduzir a investigação. Não fizeram o suficiente para explorar ideias diferentes e comprometeram-se com abordagens pouco promissoras demasiado depressa. Embora os agentes tenham desenvolvido hipóteses inovadoras e ambiciosas, semelhantes às que os próprios autores originais utilizaram inicialmente, rejeitaram-nas com base em dados muito limitados. E não conseguiram recuar face a abordagens falhadas. Conseguiram fazer pequenos ajustes, mas não conseguiram repensar fundamentalmente a sua abordagem nem experimentar novas abordagens a partir do zero.
Os agentes também não conseguiram incorporar o feedback de subagentes ou de ferramentas externas de revisão de IA. Em vez de reverem a sua metodologia, os agentes restringiram as suas afirmações e acrescentaram ressalvas. Também não conseguiram utilizar eficazmente os recursos, tais como tokens, capacidade de computação e tempo. E não conseguiram seguir instruções sobre aspetos como o tempo a dedicar às diferentes fases da investigação ou a extensão máxima do seu artigo.
Apesar de todas as suas falhas, os agentes não se envolveram no comportamento indevido a que os investigadores chamam «reward hacking», ou seja, ocultar ou deturpar experiências ou dados. Embora os subagentes — ou IAs auxiliares que o agente principal gera para lidar com partes do trabalho —, ocasionalmente tivessem alucinações ou deturpassem os resultados, estes foram detetados pelo agente orquestrador, a IA principal que supervisiona o projeto.
A razão pela qual os modelos de IA são bons em engenharia de investigação, mas não em investigação aberta, pode resumir-se à forma como são treinados, afirma Kapoor. Os modelos tornam-se bons naquilo em que podem ser treinados num regime denominado «aprendizagem por reforço», que é mais fácil de aplicar a tarefas cujo sucesso pode ser verificado automaticamente. «Mas é mais difícil criar ambientes para treinar estes modelos quando a própria tarefa é de resultado aberto», afirma.
Kapoor afirma que a equipa está agora a realizar a experiência com o Mythos, o modelo mais avançado da Anthropic, lançado em abril. Posteriormente, a administração Trump exigiu que o modelo cumprisse várias restrições de segurança e, atualmente, está disponível apenas para organizações aprovadas. A Anthropic não respondeu a um pedido de comentário.
Existem algumas limitações ao estudo. Este abrangeu apenas dois artigos de investigação, e os autores originais sabiam que os artigos que estavam a avaliar tinham sido gerados por agentes de IA, o que pode ter influenciado as suas avaliações. Além disso, os investigadores tiveram uma margem de manobra substancial na conceção e execução do estudo, o que significa que as suas crenças e preconceitos pré-existentes podem ter-se infiltrado nos resultados. As avaliações de investigação aberta trocam alguma objetividade por um teste muito mais rico do que qualquer benchmark possa oferecer.
Ainda assim, os resultados podem moderar as alegações de que o autoaperfeiçoamento recursivo está ao virar da esquina. Em junho, a Anthropic publicou um artigo no blogue intitulado «Quando a IA se constrói a si própria», traçando o seu progresso no sentido de modelos que aceleram o seu próprio desenvolvimento. Em julho, a OpenAI divulgou o facto de que o seu novo modelo GPT-5.6 Sol tinha ajudado a treinar posteriormente um modelo mais pequeno, poupando semanas de trabalho aos investigadores.
Mesmo assim, a descoberta pode também fazer eco do que as empresas de IA estão a constatar internamente. O cofundador da Anthropic, Jack Clark, escreveu na sua newsletter «Import AI» que isso coincide com o que a empresa descobriu quando tentou automatizar alguns aspetos da investigação sobre segurança da IA.
«Existe uma certa ausência de criatividade valiosa e intuitiva nos sistemas de IA atuais e, embora sejam engenheiros extraordinariamente competentes, parecem ter uma certa tendência para o pensamento mecânico e estereotipado que poderá impedi-los de serem bons investigadores», escreveu ele. Ele classificou a falta de criatividade dos sistemas de IA como um «sinal negativo em prazos curtos de autoaperfeiçoamento recursivo».
As empresas de IA têm, de facto, todos os incentivos para desenvolver sistemas de IA capazes de acelerar rapidamente o seu próprio progresso, tal como fizeram para melhorar os modelos na área da programação. A OpenAI estabeleceu como objetivo explícito a criação de um investigador de IA automatizado, e a Anthropic identifica a IA com capacidade de autoaperfeiçoamento como o próximo marco do setor.
«Se houver investimento e, em seguida, um esforço consciente nesse sentido, sinto que haveria progressos interessantes, mesmo que, atualmente, isso esteja a falhar», afirma Najoung Kim, professora de linguística e ciência da computação na Universidade de Boston, que investiga como os agentes de IA podem automatizar a investigação em IA, mas que não participou no estudo. Por outro lado, é possível que o progresso da IA venha a bifurcar-se. Os sistemas de IA podem avançar rapidamente em tarefas específicas — do tipo que podem ser avaliadas —, enquanto progridem lentamente na investigação aberta.
A grande questão em aberto, então, é até que ponto a investigação aberta é crucial para o autoaperfeiçoamento recursivo — se os sistemas de IA conseguem chegar lá sem ela, simplesmente aperfeiçoando-se nas tarefas mais específicas. «Se olharmos para os maiores avanços na área, a invenção dos transformadores ou a criação de novas e grandes arquiteturas que nos permitiram alcançar muitos progressos na IA — tudo isso exigiu saltos criativos», afirma Kapoor.
«Dito isto, há quem defenda a hipótese de que tudo o que precisamos para uma IA transformadora, em particular para o autoaperfeiçoamento recursivo, já existe», como, por exemplo, tornar um modelo mais rápido e melhorar as suas pontuações nos testes de desempenho.
«Essa é, francamente, a questão de um bilião de dólares neste momento», afirma ele.