Introdução | O trabalho da disciplina pede uma revisão sobre a área de Agent em modelos de linguagem de grande escala, sendo necessário organizar todo um conjunto de frameworks: ReAct, Plan&Solve e ToolLLM. São dezenas de preprints do arXiv; ler e comparar manualmente levaria três ou quatro dias. Este artigo mostra como reduzir isso à dimensão de uma única pesquisa.
1. Ler um artigo em profundidade leva 20 minutos; dezenas deles levam três ou quatro dias
A literatura na área de Agent tem uma característica: avanço rápido, muitos preprints, estruturas semelhantes mas detalhes diferentes. O ReAct aborda a interligação entre raciocínio e ação, o Plan&Solve planeia primeiro e executa depois, o ToolLLM centra-se na chamada de ferramentas — cada artigo tem de ser lido, anotado e comparado com os anteriores.
A 20 minutos por leitura aprofundada, 30 artigos dão 10 horas; e depois de preencher a tabela “comparar as estratégias de prompt e os casos de falha de cada um”, três ou quatro dias é perfeitamente normal.
O problema é que: a parte que realmente exige o teu julgamento é muito pequena; a maior parte do tempo é gasta a copiar e organizar.
2. Primeiro passo: recolha em lote, para que a literatura entre sozinha na biblioteca
No MuchSci Paper Sailor, cria um novo projeto, define a área de Agent como tema e faz uma pesquisa em lote:
• Com o arXiv como fonte principal, acrescenta fontes como o Semantic Scholar e, após fusão e remoção de duplicados, adiciona à biblioteca.
• Ao mesmo tempo que os metadados entram na biblioteca, descarrega automaticamente o PDF.
• Em tarefas em chinês, são também apresentados termos de pesquisa em inglês (por exemplo, “estrutura de agente” com “LLM agent framework”), o que aumenta a taxa de correspondência.
Depois deste passo, tens uma biblioteca de literatura pesquisável e citável, em vez de trinta PDF dispersos.
3. Segundo passo: comparação transversal, transformar a “leitura aprofundada” em “alinhamento”
Para a literatura que está na biblioteca, chama literature/compare e obtém de uma só vez uma comparação transversal. As dimensões a observar são, em geral, estas:
| Dimensão de comparação | O que comparar | Porque é fundamental |
| Estratégia de prompt | Como o raciocínio e a ação se interligam | Determina a direção do framework |
| Modo de planeamento | Planear primeiro ou pensar enquanto se faz | Afeta o desempenho em tarefas longas |
| Chamada de ferramentas | Como escolher e como chamar ferramentas | Ponto central de métodos como o ToolLLM |
| Casos de falha | Como cada um falha | A parte mais valiosa de uma revisão |
O essencial deste passo é transformar a leitura artigo a artigo num alinhamento estruturado na mesma dimensão. Já não precisas de comparar de memória “em que é que o ReAct e o Plan&Solve diferem exatamente”; vês diretamente os valores que assumem na mesma dimensão.
4. Terceiro passo: escrever a revisão apenas com base em material original
Ao escrever a revisão, o MuchSci Paper Sailor usa apenas resumos e notas da literatura que está na biblioteca como material, incluindo automaticamente números de citação normalizados ([número]).
Isto é especialmente importante numa revisão, porque significa:
• Não inventa conclusões. Juízos que não estão escritos na literatura não são “resumidos” pela ferramenta.
• Não fabrica citações. Cada [número] aponta para um artigo que existe realmente na biblioteca.
• A comparação transversal tem fonte. Cada “melhor que / limitado por” que escreves pode ser remetido para o texto original.
5. Uma verificação completa
Tomemos como exemplo uma revisão sobre frameworks de Agent:
1. Cria um novo projeto e define o tema como frameworks de Agent (ReAct / Plan&Solve / ToolLLM, etc.).
2. Pesquisa em lote e adiciona à biblioteca, recolhendo todos os PDF; em tarefas em chinês, lembra-te de pedir termos de pesquisa em inglês.
3. Define as dimensões de comparação: estratégia de prompt, modo de planeamento, chamada de ferramentas, casos de falha e método de avaliação.
4. Usa literature/compare para obter a tabela de comparação transversal.
5. Escreve a revisão com base no material da biblioteca; as citações incluem automaticamente [número].
6. Verifica as citações em três frentes: usadas / em falta / não usadas, tratando cada categoria.
7. Executa uma verificação de veracidade (resolução de DOI / arXiv) para confirmar zero alucinações.
8. Remove o tom de IA + exporta e verifica novamente antes de entregar o trabalho ou de submeter.
6. Armadilhas comuns
• Comparar diretamente conclusões obtidas com configurações de avaliação diferentes. Vê primeiro em que tarefas e com que dados cada artigo chegou às suas conclusões.
• Pedir à IA para “resumir as diferenças”. Um resumo que não se baseia no material da biblioteca é pura invenção — confirma sempre que estás a usar o texto original da literatura.
• Organizar os números de citação à mão. Se os números de trinta artigos se baralharem, corrigi-los é extremamente penoso; deixa isso à numeração automática + verificação tripartida.
• Escrever apenas “quem é melhor”, sem “porquê”. O valor de uma revisão está nas dimensões de comparação e nos fundamentos do julgamento, não na frase da conclusão.
7. Conclusão
O difícil numa revisão sobre a área de Agent não é “não perceber”, mas “não conseguir acabar de ler e não conseguir comparar”. O MuchSci Paper Sailor liga a recolha em lote para a biblioteca, a comparação transversal e a escrita com citações numa única linha — comprime o trabalho de copiar e organizar de três ou quatro dias e deixa-te a parte que realmente exige julgamento.
Verificação antes de começar a escrever:
• A literatura está a ser comparada na mesma dimensão?
• Todo o material vem da biblioteca e é verificável?
• Os números de citação já foram verificados?
• Há alguma conclusão que eu tenha completado por “suposição”?