Voltar ao blog

MuchSci e ChatGPT: um pensa no fluxo de trabalho científico por ti, o outro espera pelas tuas instruções

A forma mais comum de comparar ferramentas é colocar duas coisas lado a lado e perguntar «qual é mais forte». No caso do MuchSci e do ChatGPT, esta pergunta está errada desde o início — não estão no mesmo nível e não servem o mesmo tipo de necessidades. O MuchSci é um espaço de trabalho científico:

Comparação de produtosEscrita científicaFluxo de trabalho de artigos, seleção de agentes e divisão de tarefas entre ferramentas

No mundo das ferramentas, a forma mais comum de comparar duas coisas é colocá-las lado a lado e perguntar «qual é a mais forte». Aplicada ao MuchSci e ao ChatGPT, esta pergunta está mal formulada desde o início — não estão na mesma camada e não servem o mesmo tipo de necessidades. O MuchSci é uma bancada de trabalho para investigação: a pesquisa, a tradução, a leitura aprofundada, a redação e a criação de figuras — tarefas recorrentes na investigação — já foram pensadas e transformadas em componentes fixos; basta seguir o fluxo de trabalho. O ChatGPT é um grande modelo de diálogo generalista lançado pela OpenAI, capaz de responder a perguntas gerais, escrever e programar, mas não inclui uma base de dados de literatura académica — faz o que lhe for indicado, e tanto o fluxo de trabalho como os critérios têm de ser definidos por si no momento.

Por analogia: um é como o instrumento de laboratório concebido especificamente para medir determinado parâmetro — o processo está definido pelo instrumento, basta colocar a amostra e ler o valor; o outro é como um assistente generalista que consegue falar de tudo e escrever sobre quase tudo, mas não sabe por si qual é o parâmetro a medir nem segundo que normas escrever. O instrumento ganha em especialização, rapidez e normalização; o assistente ganha em amplitude e flexibilidade, mas à custa de ter de pensar claramente no que quer fazer e de explicar bem os critérios.

Este artigo não aborda benchmarks; fala apenas do mecanismo e de quando usar cada um.

01 Não estão na mesma camada

Se dispusermos as coisas por camadas, o posicionamento torna-se claro.

▲ Figura 1|Quanto mais acima, mais próximo das tarefas concretas de investigação; quanto mais abaixo, mais generalista

A camada inferior é a capacidade dos modelos — compreensão de contexto longo, reconhecimento multimodal, código e raciocínio, expressão multilingue. Esta camada é a base; ambas as soluções acima a utilizam, e a diferença de qualidade depende sobretudo dela. Tanto o ChatGPT como o MuchSci assentam neste tipo de base, e a robustez do modelo subjacente influencia simultaneamente o limite superior de ambos.

A camada intermédia é a capacidade de diálogo generalista, ou seja, a posição do ChatGPT. A sua característica é «não pressupor um fluxo de trabalho»: dá-lhe uma pergunta e ele responde de imediato, ajuda a redigir, escreve código, acompanha a discussão. Tanto o processo como os critérios têm de ser indicados por si — isto é simultaneamente a fonte da sua flexibilidade e o seu custo, porque tem de saber o que quer e segundo que normas, caso contrário só pode improvisar de acordo com os parâmetros que lhe forem dados.

A camada superior é a aplicação à investigação, onde está o MuchSci. Fixa em componentes as ações recorrentes da investigação: pesquisa ligada a bases de dados académicas, tradução que preserva a estrutura dos parágrafos, leitura aprofundada que extrai os pontos essenciais, redação segundo o formato académico e criação de figuras segundo as normas das revistas. O fluxo de trabalho está definido por ele para si, pelo que é rápido de aprender; o custo é que só faz aquelas tarefas predefinidas e não consegue intervir quando a necessidade fica fora do fluxo de trabalho científico.

As camadas mantêm uma relação de suporte, não de competição. Quanto mais forte for a base, mais ambas as camadas beneficiam; quanto mais ampla for a capacidade de diálogo generalista, mais trabalho a camada superior consegue absorver. Comparar a força de ambos lado a lado equivale a cronometrar um instrumento e um assistente na mesma pista: a pista, à partida, está mal escolhida.

02 Na mesma tarefa de «escrever um artigo», o ponto de intervenção é diferente

Se decompormos «escrever um artigo» em ações concretas, sobressaem os pontos fortes de cada um.

▲ Figura 2|Um tem fluxos de trabalho científico já prontos; o outro tem capacidades generalistas de perguntas e respostas e de escrita

Na pesquisa de literatura, o MuchSci inclui bases de dados académicas e critérios uniformes; os resultados de uma pesquisa podem ser arquivados diretamente nos materiais. O ChatGPT também consegue discutir com base na Internet ou em literatura que lhe seja colada, mas não inclui uma base de dados de literatura académica; o âmbito da pesquisa e os critérios de proveniência têm de ser definidos por si, os resultados não têm necessariamente uma fonte uniforme e o arquivo também tem de ser feito manualmente.

Na tradução e na leitura aprofundada, o MuchSci preserva a estrutura dos parágrafos e os pontos essenciais da leitura podem ser arquivados na biblioteca de materiais, facilitando citações posteriores; o ChatGPT consegue traduzir e explicar textos longos, mas os materiais lidos ficam dispersos pela conversa e têm de ser organizados por si no seu próprio sistema, sendo especialmente fácil perder o contexto ao longo de várias interações.

Na redação e no formato, o MuchSci produz o texto segundo o formato académico e o entregável está pronto a usar; o ChatGPT consegue escrever textos longos, rever e continuar textos, mas as normas de formatação têm de ser indicadas ponto por ponto, e é o utilizador que controla se o resultado respeita rigorosamente o estilo académico, sendo frequentemente necessário rever tudo mais uma vez antes da entrega.

Nas citações e fontes, os materiais e citações do MuchSci estão naturalmente ligados à base de dados de literatura, e a proveniência é rastreável; o ChatGPT não inclui uma base de dados de literatura, pelo que a exatidão das citações e a possibilidade de as remeter ao texto original têm de ser verificadas uma a uma, não podendo ser usadas diretamente como fonte.

No registo do processo, o MuchSci permite, dentro do fluxo de trabalho, remeter para a literatura e as citações; as conversas do ChatGPT podem ser guardadas, mas a cadeia de «que frase vem de que artigo» tem de ser mantida por si, e a revisão posterior não é tão prática como no primeiro.

03 Ligar os dois num fluxo contínuo

Uma vez clara a divisão de tarefas, usá-los em conjunto é a escolha natural.

▲ Figura 3|Não é escolher um dos dois, mas colocar cada um na posição mais adequada

Uma combinação comum é a seguinte: a definição do tema e a procura de orientação ficam consigo — ambos podem servir de interlocutor, mas a decisão é sua; a pesquisa de literatura e o respetivo arquivo passam pelo MuchSci — o processo está consolidado e os critérios são uniformes, os resultados da pesquisa são arquivados diretamente e as citações posteriores têm proveniência; a leitura aprofundada e a organização de materiais também passam pelo MuchSci — os pontos essenciais ficam na biblioteca e não se dispersam por dezenas de caixas de diálogo; a discussão geral e o código ficam a cargo do ChatGPT — aqui colmata com perguntas e respostas generalistas, escrita de código, ajuda a organizar argumentos e consulta de materiais externos que não inclui; a redação e as normas de formato voltam ao MuchSci — produz o texto segundo o formato académico e o entregável fica imediatamente utilizável; a verificação e o arquivo final ficam consigo.

O passo 4 é o ponto em que os dois mais facilmente se complementam. As partes do fluxo de trabalho científico que já foram transformadas em componentes seguem o padrão do MuchSci; quando é necessário discutir uma ideia de forma pontual, escrever um script de processamento ou consultar um material que ele não inclui, a capacidade de diálogo generalista do ChatGPT vem precisamente colmatar essa lacuna. Os dois não competem pelo trabalho, cada um ocupa o seu lugar, e a linha de trabalho no seu todo torna-se mais eficiente do que usar apenas um deles.

04 Um critério prático de decisão

No fundo, para escolher não é preciso comparar forças; basta fazer uma pergunta: existe já uma forma consolidada de executar esta tarefa?

▲ Figura 4|O critério não é «qual é mais poderoso», mas «existe uma forma consolidada de o fazer»

Tarefas já definidas — redigir, traduzir, pesquisar, formatar segundo as normas de uma revista — devem ser entregues ao MuchSci. O seu valor está no facto de «as ações normalizadas já terem sido percorridas por outra pessoa em seu benefício»: seguir os componentes é rápido; sobretudo quando os resultados exigem citações rastreáveis ou têm de ser entregues diretamente, um produto que já traz fontes poupa muito mais trabalho do que acrescentar as fontes à posteriori.

Tarefas que ainda não foram transformadas em componentes, ou situações em que só precisa de uma capacidade generalista — discutir um argumento de forma pontual, escrever um trecho de código, consultar um material externo, redigir um e-mail do dia a dia — devem ser entregues ao ChatGPT. O seu valor está em que «faz o que lhe for indicado», desde que exponha primeiro claramente a necessidade e defina os critérios; caso contrário, a qualidade do resultado varia conforme os parâmetros que fornecer.

Os dois não são mutuamente exclusivos. No mesmo artigo, entregar a pesquisa de literatura ao MuchSci e a discussão geral e o código ao ChatGPT é uma divisão bastante comum e bastante eficiente — um encarrega-se de levar as tarefas consolidadas ao padrão, o outro de responder de imediato às necessidades pontuais.

05 Limites

① Este artigo é uma análise de mecanismos e de divisão de tarefas, não uma avaliação de produtos. Não foram realizados testes comparativos sistemáticos entre os dois; a descrição das capacidades baseia-se nas funcionalidades públicas e na observação da utilização real. Ambos evoluem rapidamente, pelo que o desempenho concreto deve ser confirmado na versão mais recente.

② A divisão de tarefas não altera a atribuição de responsabilidades. Independentemente da ferramenta utilizada, a veracidade dos dados, a adequação das citações e a solidez das conclusões são da responsabilidade final de quem assina; qualquer resultado produzido pela ferramenta deve ser tratado como um «rascunho por verificar».

③ O âmbito permitido da participação da IA na escrita de artigos está sujeito às normas em vigor da instituição de ensino correspondente. Em contextos que envolvam integridade académica e conformidade de dados, recomenda-se a confirmação prévia das regras aplicáveis e que não se submeta diretamente o resultado da ferramenta sem verificação.

Voltar aos artigos