Todos os dados úteis da internet já foram usados para treinar modelos de IA. Mas há uma nova solução

Nos últimos anos a inteligência artificial tem evoluído e as principais empresas dedicadas ao sector, como a OpenAI e Google procuram oferecer modelos cada vez mais inteligentes. Para treinar os modelos são usados dados disponíveis publicamente na internet, mas segundo afirmou recentemente o cofundador da OpenAI, Ilya Sutskever, citado pelo Business Insider, atingiu-se aquilo que é conhecido como “pico de dados”. Ou seja, todos os dados úteis disponíveis na internet já foram utilizados para treinar os modelos de IA e os avanços tendem a abrandar.

Apesar de não parecerem boas notícias para os investidores em IA e para as empresas que continuam a puxar pelos limites da tecnologia, os investigadores não parecem muito preocupados. A nova fase de evolução da IA passa por refinar a tecnologia rumo à Inteligência Geral (AGI, na sigla em inglês) através de uma técnica chamada de “inference-time compute”.

Em termos práticos, a inteligência artificial pensa melhor nas respostas que vai dar, oferecendo resultados mais elaborados para as tarefas mais desafiantes. E estes primeiros modelos já estão disponíveis, como é o caso do OpenAI 01, que faz parte da assinatura ChatGPT Pro. A Google também lançou o Gemini 2.0 com características de IA bastante semelhantes.

Esta nova computação inference-time é uma técnica que fatia os pedidos em tarefas mais pequenas, transformando cada uma numa nova prompt para o modelo resolver. Cada passo obriga a um novo pedido, que aqui é conhecido como fase de inferência. É explicado que isto produz uma cadeia de raciocínio em cada parte do problema abordado e o modelo não avança para o próximo nível até resolver cada parte, resultando numa resposta final melhor.

O que os investigadores da Google DeepMind propôem agora é utilizar esses resultados com melhor qualidade como dados para treinar os próximos modelos e sucessivamente obter melhores resultados. No estudo publicado, é referido que permitir aos LLMs continuar a melhorar os seus resultados ao utilizar computação inference-time é um passo crítico para a construção de agentes que possam operar em linguagens naturais.

Os investigadores apontam que este método vai permitir ciclos de autoaperfeiçoamento e dessa forma ultrapassar as barreiras impostas pela falta de novos dados na internet para alimentar o treino dos modelos. Será esta a nova fonte de dados para treino dos modelos. A ideia é apoiada pelo CEO da Microsoft, Satya Nadella, que considera que o uso destes tokens mais elaborados que podem ser “reciclados” como nova fonte de dados para próximos treinos, criando modelos ainda mais poderosos do que aqueles que estão a correr as inferências.

O CEO da OpenAI, Sam Altman, também está otimista com o futuro e fala na superinteligência numa entrada no seu blogue. Refere que a empresa sabe como construir AGI e acredita em que em 2025 os primeiros avanços e agentes de IA sejam lançados.