Das größte Risiko beim Schreiben einer wissenschaftlichen Arbeit mit KI ist nicht, dass es langsam geht, sondern dass sie unbemerkt Daten und Literatur erfindet. Ein scheinbar vollständiger Absatz zitiert eine Arbeit, die es nicht gibt; hinter einer schönen Abbildung stehen erfundene Zahlen. Solche Probleme sind beim generativen Schreiben schwer zu erkennen, weil das Modell eher darauf achtet, ob es sich flüssig liest, als darauf, ob es wahr ist. MuchSci PaperAssist versucht, dieses Problem durch das Prozessdesign zu lösen: neun Schritte im gesamten Ablauf, jeder Schritt erzeugt echte Dateien, und an kritischen Stellen werden echte Daten und echte Literatur abgesichert.
Man versteht es am besten, wenn man „einen Text generieren“ und „ein überprüfbares Manuskript fertigstellen“ voneinander trennt. Ersteres strebt nach Geschwindigkeit, Letzteres nach Nachvollziehbarkeit.
01 Wovor wissenschaftliche Schreibwerkzeuge am meisten Angst haben: erfundene Daten und erfundene Literatur
Die Halluzinationen beim KI-Schreiben haben zwei häufige Formen.
▲ Abb. 1 | Gewöhnliches generatives Schreiben strebt nach Geschwindigkeit, PaperAssist nach Überprüfbarkeit in jedem Schritt
Die eine ist Datenhalluzination. Das Modell weiß nicht, welche Daten Ihnen vorliegen, kann aber eine Zahlenreihe „plausibel schätzen“, sodass Diagramme vollständig wirken.Die andere ist Literaturhalluzination. Das Modell kann formal korrekte Zitate erzeugen, aber die zitierte Arbeit existiert möglicherweise nicht oder Autor, Jahr und Titel stimmen nicht. Beiden Halluzinationen ist gemeinsam, dass sie lokal plausibel wirken, bei der Gesamtprüfung aber nicht auf einen Blick zu durchschauen sind.
Der Ansatz von MuchSci PaperAssist besteht nicht darin, das Modell ehrlicher zu machen, sondern „Erfindungen“ durch den Prozess draußen zu halten. Es verlangt, dass Sie echte Daten hochladen, eine Literaturdatenbank aus echten Datenbanken aufbauen und dass beim Zitieren der entsprechende Eintrag in der Datenbank gefunden werden kann. Verdächtig ist nicht das Modell, sondern eine ungebundene Generierungsumgebung.
02 Die neunstufige Kette von PaperAssist (die ersten acht Schritte sind sichtbar)
Der Screenshot zeigt die Selbstbeschreibungsoberfläche von PaperAssist, auf der die ersten acht Schritte zu sehen sind.
▲ Abb. 2 | PaperAssist-Oberfläche: Beschreibung des gesamten neunstufigen Ablaufs, im Screenshot sind die ersten acht Schritte sichtbar
Der erste Schritt istRichtung festlegen: vage Ideen in Forschungsfragen, Ideenkarten und ein Proposal verwandeln. Der zweite Schritt istLiteraturdatenbank aufbauen: Suche in mehreren Quellen, Deduplizierung, mit DOI und Zitationszahlen, automatischer PDF-Download in die Datenbank und anschließend ein Literaturüberblick auf Basis echter Zusammenfassungen aus der Datenbank. Der dritte Schritt istPlanung erstellen: Gliederung, Kapitelgerüst und Vorlage für die Zielzeitschrift erzeugen und `data_needed` markieren (Kapitel, die echte Daten benötigen).
▲ Abb. 3 | Die ersten sechs Schritte schaffen die Grundlage für Thema, Literatur, Daten und Abbildungen
Der vierte Schritt istDatenübernahme: CSV / Excel / JSON hochladen, pandas erstellt automatisch ein Profil, und es wird Kapitel für Kapitel zugeordnet: „Was verlangt die Gliederung → Was haben Sie → Lückenanalyse + Aktionsliste ausgeben“. Der fünfte Schritt istDatenanalyse: Statistiken mit echten Daten berechnen und Diagramme erzeugen. Der sechste Schritt istAbbildungen für die Arbeit: Unterstützung für 8 Diagrammtypen, mehrteilige Panels Figure a/b/c und Export als bearbeitbares SVG in der Spaltenbreite der Zeitschrift.
▲ Abb. 4 | Die Schritte sieben und acht trennen „schreiben“ und „zuverlässig schreiben“ in der Ausführung
Der siebte Schritt istHaupttext schreiben: Kapitel für Kapitel schreiben, Zitate im Text mit `[cite:key]`, im Hintergrund erfolgt eine dreifache Prüfung (verwendet / fehlend / ungenutzt). Der achte Schritt istPrüfung und Selbstkontrolle: bis zu 3 Runden + Sperrung, einschließlich Prüfung der Zitatauthentizität und einer Engine zum Entfernen von KI-Klang. Der gesamte Ablauf gibt an, neun Schritte zu haben, aber der Screenshot zeigt nur etwa bis zum achten Schritt; daher spekulieren wir nicht über die konkreten Details des neunten Schritts.
03 Wie echte Daten abgesichert werden
Der Schlüssel zur Datenauthentizität liegt darin, dem Modell keine Gelegenheit zu geben, „falsche Zahlen einzutragen“.
▲ Abb. 5 | Die drei Kontrollpunkte entsprechen den drei Abschnitten mit dem höchsten Risiko wissenschaftlichen Fehlverhaltens
PaperAssist unternimmt im Datenbereich mehrere Dinge. Erstensmüssen Daten hochgeladen werden und können nicht aus dem Nichts erzeugt werden. Zweitens ordnet das Werkzeug nach dem automatischen pandas-Profil die Anforderungen der Gliederung und die vorhandenen Daten Kapitel für Kapitel zu und markiert Lücken eindeutig. Drittenswerden Lücken nicht automatisch geschlossen, sondern es wird eine Aktionsliste erstellt, die Ihnen sagt, was noch fehlt. Das bedeutet: Wenn ein Kapitel echte Daten benötigt, Sie diese aber noch nicht bereitgestellt haben, erfindet das System keine plausible Zahl für Sie, sondern überlässt Ihnen die Lösung des Problems.
Der Vorteil dieses Designs ist Ehrlichkeit. Es opfert die Geschwindigkeit eines „vollständig wirkenden“ Ergebnisses und gewinnt dafür die Zuverlässigkeit, dass „jeder Schritt überprüfbar“ ist.
04 Wie echte Literatur abgesichert wird
Literaturhalluzinationen sind schwerer zu verhindern, weil das Zitatformat sehr formal korrekt sein kann, die Quelle aber falsch ist.
PaperAssist geht so vor, dass es eineLiteraturdatenbank innerhalb der Bibliothek aufbaut. In der Suchphase werden Treffer aus mehreren echten Datenquellen erzielt, nach automatischer Deduplizierung werden PDFs heruntergeladen und in die Datenbank aufgenommen. Das Zitatformat in der Schreibphase ist `[cite:key]`; im Hintergrund wird geprüft, ob dieses Zitat tatsächlich in der Datenbank vorhanden ist, ob es verwendet wurde und ob es Literatur gibt, die zitiert werden sollte, aber nicht zitiert wurde. Diese dreifache Prüfung „verwendet / fehlend / ungenutzt“ führt den Zitationskreislauf von formaler Korrektheit zu verifizierbarer Herkunft.
Natürlich setzt dies voraus, dass die Nutzenden die Literaturdatenbank tatsächlich aufbauen. Wenn der Datenbank selbst wichtige Literatur fehlt, kann auch die Hintergrundprüfung dies nicht entdecken. Was sie also abfängt, ist „erfundene Literatur“, nicht „unvollständige Literaturrecherche“. Letzteres bleibt weiterhin die Verantwortung der Autorin oder des Autors.
05 Grenzen
Wie üblich werden die Grenzen offen dargelegt.
① Dieser Beitrag beschreibt den funktionalen Mechanismus, keine Wirkungsgarantie. PaperAssist senkt durch das Prozessdesign das Risiko von Erfindungen, kann aber nicht die wissenschaftliche Qualität, Innovationskraft oder Erfolgsquote bei der Einreichung jeder einzelnen Ausgabe garantieren.
② Die Verantwortung für die Quelle echter Daten und echter Literatur liegt weiterhin bei der Autorin oder dem Autor. Das System kann „falsche Zahlen“ und „halluzinierte Literatur“ abfangen, aber nicht für Sie beurteilen, ob Daten angemessen erhoben, Literatur umfassend abgedeckt und Argumente stichhaltig sind.
③ Der zulässige Rahmen für KI-Beteiligung beim Verfassen wissenschaftlicher Arbeiten richtet sich nach den geltenden Vorschriften der jeweiligen Institution. Die endgültige Verantwortung für wissenschaftliche Integrität, Zitierregeln und Datennutzung liegt stets bei der Autorin oder dem Autor selbst.