O artigo The Illusion of Thinking feito por pesquisadores da Apple propõe uma reflexão crítica sobre os atuais Modelos de Raciocínio de Grande Escala (LRMs), como Claude 3.7 Thinking e DeepSeek-R1. Ao contrário das abordagens convencionais que avaliam esses modelos apenas com base na precisão da resposta final em benchmarks matemáticos, os autores introduzem ambientes de quebra-cabeças controláveis, com lógica explícita e complexidade variável. Essa metodologia permite examinar não apenas o desempenho final, mas também os rastros de raciocínio produzidos pelos modelos, revelando como eles “pensam” ao resolver problemas.
A principal descoberta do estudo é que, embora os LRMs demonstrem inicialmente um aumento no esforço de raciocínio à medida que a complexidade dos problemas cresce, eles colapsam completamente ao ultrapassar um certo limiar. Esse colapso ocorre mesmo quando há tokens suficientes disponíveis para gerar raciocínios mais longos. A análise revela três regimes distintos: em tarefas simples, modelos padrão (sem mecanismos explícitos de raciocínio) superam os LRMs; em tarefas intermediárias, os LRMs se destacam com cadeias de pensamento mais elaboradas; e em tarefas de alta complexidade, ambos os tipos de modelo falham igualmente.
Para conduzir essa investigação, os autores utilizaram quatro ambientes clássicos de quebra-cabeça: Torre de Hanoi, Troca de Damas, Travessia do Rio e Mundo dos Blocos. Esses contextos permitem controlar variáveis como profundidade composicional e número de elementos móveis, assegurando uma análise precisa da relação entre complexidade e desempenho. Em todos os casos, os LRMs demonstraram dificuldades consistentes em aplicar algoritmos explícitos, mesmo quando esses algoritmos foram fornecidos nos prompts, evidenciando fragilidades na execução lógica passo a passo.
Outro aspecto central da pesquisa é a análise dos rastros de raciocínio (as “thoughts”) gerados pelos modelos. Em tarefas simples, os LRMs frequentemente encontram a solução correta logo no início, mas continuam gerando alternativas incorretas, caracterizando um comportamento de “overthinking”. Em tarefas intermediárias, o acerto tende a aparecer após várias tentativas erradas. Já nas tarefas mais complexas, as cadeias de raciocínio falham completamente em produzir uma resposta correta, indicando uma incapacidade dos modelos de se autocorrigirem eficazmente à medida que o desafio aumenta.
Mesmo com a introdução de algoritmos prontos no prompt, como no caso da Torre de Hanoi, os modelos continuaram apresentando falhas nas mesmas etapas, o que sugere que sua limitação não está apenas na geração de raciocínios, mas também na capacidade de seguir instruções lógicas com fidelidade. Isso reforça a ideia de que os LRMs dependem fortemente de padrões observados durante o treinamento, e não da manipulação simbólica estruturada que caracteriza o raciocínio humano.
A conclusão do artigo é clara: apesar dos avanços recentes nos LRMs, como o uso de aprendizado por reforço e mecanismos de reflexão, ainda existem barreiras fundamentais à generalização do raciocínio. A ideia de que adicionar mais “pensamento” leva automaticamente a melhores resultados é colocada em xeque. O estudo mostra que os modelos atuais, mesmo os mais sofisticados, não são capazes de sustentar raciocínios robustos diante de tarefas complexas. Ao trazer uma nova metodologia baseada em ambientes controláveis, os autores oferecem um caminho promissor para futuras investigações sobre as reais capacidades cognitivas dessas tecnologias.
