O maior risco de escrever artigos com IA não é escrever devagar, mas sim que, sem se dar por isso, invente dados e referências. Um parágrafo aparentemente completo cita um artigo que não existe; um gráfico bonito assenta em números fabricados. Este tipo de problema é difícil de detetar na escrita generativa, porque o modelo preocupa-se mais com «soar bem» do que com «ser verdadeiro». O PaperAssist da MuchSci procura resolver este problema através do design do fluxo: nove passos em todo o processo, cada um produz ficheiros reais e, nos pontos críticos, bloqueia dados reais e referências reais.
A forma de o compreender é separar «gerar um trecho de texto» de «concluir um manuscrito verificável». O primeiro procura velocidade; o segundo procura rastreabilidade.
01 O maior receio das ferramentas de escrita de artigos: dados e referências inventados
As alucinações na escrita com IA assumem duas formas comuns.
▲ Figura 1 | A escrita generativa comum procura rapidez; o PaperAssist procura que cada passo seja verificável
Uma é a alucinação de dados. O modelo não sabe que dados tem em mãos, mas pode «inferir razoavelmente» um conjunto de números que faz o gráfico parecer completo.A outra é a alucinação bibliográfica. O modelo consegue gerar citações com o formato correto, mas o artigo correspondente a essa citação pode não existir, ou o autor, o ano e o título podem não coincidir. O que estas duas alucinações têm em comum é que parecem plausíveis localmente, mas são difíceis de detetar de relance na validação global.
A abordagem do PaperAssist da MuchSci não passa por tornar o modelo mais honesto, mas por usar o fluxo para bloquear a «invenção» à entrada. Exige que carregue dados reais, que crie uma biblioteca de referências a partir de bases de dados reais e que, ao citar, exista obrigatoriamente um registo correspondente na biblioteca. O suspeito não é o modelo, mas sim o ambiente de geração sem restrições.
02 A cadeia de nove passos do PaperAssist (os primeiros oito são visíveis)
A captura de ecrã mostra a interface de apresentação do PaperAssist, onde são visíveis os primeiros oito passos.
▲ Figura 2 | Interface do PaperAssist: descreve o fluxo completo em nove passos; a captura mostra os primeiros oito
O primeiro passo éDefinir a direção: transformar ideias vagas em questões de investigação, fichas de ideias e uma proposta. O segundo éCriar a biblioteca de referências: pesquisa em múltiplas fontes, deduplicação, DOI e número de citações, descarregamento automático de PDF para a biblioteca e, em seguida, escrita da revisão da literatura com base nos resumos reais da biblioteca. O terceiro éCriar o plano: gerar o índice, o esqueleto dos capítulos, o modelo da revista-alvo e assinalar `data_needed` (capítulos que necessitam de dados reais).
▲ Figura 3 | Os primeiros seis passos completam a acumulação inicial de tema, bibliografia, dados e gráficos
O quarto passo éReceção de dados: carregar CSV / Excel / JSON, perfilagem automática com pandas, mapeamento capítulo a capítulo de «o que o plano exige → o que tem em mãos → produzir análise de lacunas + lista de ações». O quinto éAnálise de dados: executar estatísticas sobre dados reais e gerar gráficos. O sexto éFiguras para o artigo: suporta 8 tipos de gráficos, figuras compostas com vários painéis a/b/c e exportação em SVG editável de acordo com a largura da coluna da revista.
▲ Figura 4 | Os sétimo e oitavo passos executam separadamente o «escrever» e o «escrever de forma fiável»
O sétimo passo éEscrever o corpo do texto: escrever por capítulos, usar `[cite:key]` nas citações do texto e fazer uma verificação em três vias no back-end (usadas / em falta / não usadas). O oitavo éRevisão e autoverificação: até 3 rondas + bloqueio, incluindo validação da autenticidade das citações e um motor para remover o «sabor a IA». O fluxo completo afirma ter nove passos, mas a captura de ecrã só mostra até perto do oitavo, pelo que não especulamos sobre os detalhes concretos do nono passo.
03 Como são bloqueados os dados reais
A chave para a veracidade dos dados está em não dar ao modelo a oportunidade de «preencher números falsos».
▲ Figura 5 | Os três pontos de bloqueio correspondem aos três momentos com maior risco de má conduta académica
O PaperAssist faz várias coisas na fase de dados. Primeiro,os dados têm de ser carregados, não podem ser gerados do nada. Segundo, após a perfilagem automática com pandas, a ferramenta faz um mapeamento capítulo a capítulo entre as exigências do plano e os dados existentes, assinalando claramente as lacunas. Além disso,as lacunas não são preenchidas automaticamente; é gerada uma lista de ações que indica o que ainda falta. Isto significa que, se um capítulo exigir dados reais e estes ainda não tiverem sido fornecidos, o sistema não inventa um número plausível por si; deixa o problema para o utilizador resolver.
A vantagem deste design é a honestidade. Sacrifica a rapidez de «parecer completo» em troca da fiabilidade de «cada passo ser verificável».
04 Como são bloqueadas as referências reais
As alucinações bibliográficas são mais difíceis de prevenir, porque o formato da citação pode ser perfeitamente normalizado, mas a fonte é falsa.
A abordagem do PaperAssist é criar umabiblioteca interna de referências. Na fase de pesquisa, são encontradas referências em várias fontes de dados reais; após deduplicação automática, os PDF são descarregados para a biblioteca. Na fase de escrita, o formato de citação é `[cite:key]`, e o back-end verifica se esta citação existe realmente na biblioteca, se foi utilizada e se há referências que deviam ter sido citadas e não foram. Esta verificação em três vias — «usadas / em falta / não usadas» — leva o ciclo de citação da correção formal para a verificação da fonte.
Naturalmente, isto exige que o utilizador crie realmente a biblioteca de referências. Se a própria biblioteca omitir referências fundamentais, a verificação no back-end também não o detetará. Por isso, o que bloqueia é a «invenção de referências», não a «pesquisa bibliográfica incompleta». Esta última continua a ser responsabilidade do autor.
05 Limites
Como habitualmente, deixamos os limites bem claros.
① Este artigo aborda mecanismos funcionais, não promessas de resultados. O PaperAssist reduz o risco de invenção através do design do fluxo, mas não pode garantir a qualidade académica, a inovação ou a taxa de sucesso de submissão de cada artigo produzido.
② A responsabilidade pela origem dos dados e das referências reais continua a ser do autor. O sistema consegue bloquear o «preenchimento com números falsos» e as «referências alucinadas», mas não pode decidir por si se os dados foram recolhidos adequadamente, se a bibliografia é suficientemente abrangente ou se o argumento é válido.
③ O âmbito permitido da participação de IA na escrita de artigos rege-se pelas normas em vigor da instituição do autor. A responsabilidade final relativa à integridade académica, às normas de citação e à utilização dos dados é sempre do próprio autor.