Einleitung | Für den Kurs müssen Sie eine Überblicksarbeit zum Thema LLM-Agenten schreiben und dabei den gesamten Framework-Stack aus ReAct, Plan&Solve und ToolLLM aufarbeiten. Für Dutzende arXiv-Preprints würde man für manuelle Detaillektüre und Vergleich drei bis vier Tage brauchen. Dieser Artikel zeigt, wie sich das auf den Umfang einer einzigen Suche reduzieren lässt.
I. Manuelle Detaillektüre eines Papers dauert 20 Minuten – bei Dutzenden sind es drei bis vier Tage
Die Literatur im Agent-Bereich hat eine Besonderheit: schnelle Fortschritte, viele Preprints, ähnliche Struktur, aber unterschiedliche Details. ReAct beschreibt die Verschränkung von Reasoning und Handeln, Plan&Solve plant zuerst und führt dann aus, ToolLLM konzentriert sich auf Tool-Aufrufe – jedes Paper muss gelesen, notiert und mit den vorherigen verglichen werden.
Bei 20 Minuten Detaillektüre pro Paper sind 30 Paper 10 Stunden; wenn man dann noch die Tabelle „Prompt-Strategien und Fehlerfälle im Vergleich“ ausfüllt, sind drei bis vier Tage völlig normal.
Das Problem: Nur ein kleiner Teil davon erfordert wirklich Ihre Beurteilung; der Großteil der Zeit geht für das Zusammentragen und Aufbereiten drauf.
II. Schritt 1: Stapelweise abrufen – die Literatur wandert von selbst in die Datenbank
Legen Sie in MuchSci 论文水手 ein neues Projekt an, wählen Sie den Agent-Bereich als Thema und starten Sie eine Batch-Suche:
• arXiv als Hauptquelle, ergänzt um Quellen wie Semantic Scholar; nach dem Zusammenführen und Deduplizieren in die Datenbank aufnehmen.
• Beim Import der Metadaten werden die PDFs automatisch heruntergeladen.
• Bei chinesischen Aufgaben werden gleichzeitig englische Suchbegriffe ausgegeben (z. B. „智能体框架“ zusammen mit „LLM agent framework“), was die Trefferquote erhöht.
Nach diesem Schritt haben Sie eine durchsuchbare und zitierfähige Literaturdatenbank statt dreißig verstreuter PDFs.
III. Schritt 2: Quervergleich – aus „Detaillektüre“ wird „Abgleich“
Rufen Sie für die importierte Literatur literature/compare auf und erzeugen Sie in einem Durchgang einen Quervergleich. Die wichtigsten Dimensionen sind ungefähr diese:
| Vergleichsdimension | Was verglichen wird | Warum es entscheidend ist |
| Prompt-Strategie | Wie Reasoning und Handeln ineinandergreifen | Bestimmt die Ausrichtung des Frameworks |
| Planungsansatz | Erst planen oder während des Handelns denken | Beeinflusst die Leistung bei langen Aufgaben |
| Tool-Aufrufe | Wie Tools ausgewählt und aufgerufen werden | Schwerpunkt von Methoden wie ToolLLM |
| Fehlerfälle | Wie die einzelnen Methoden scheitern | Der wertvollste Teil einer Überblicksarbeit |
Der Schlüssel dieses Schritts ist, das Lesen Paper für Paper in einen strukturierten Abgleich entlang derselben Dimensionen zu verwandeln. Sie müssen sich nicht mehr aus dem Gedächtnis merken, „worin sich ReAct und Plan&Solve unterscheiden“, sondern sehen direkt ihre Ausprägungen in derselben Dimension.
IV. Schritt 3: Die Überblicksarbeit nur auf Basis von Originalmaterial schreiben
Beim Schreiben der Überblicksarbeit verwendet MuchSci 论文水手 nur Zusammenfassungen und Notizen der Literatur aus der Datenbank als Material und fügt automatisch standardisierte Zitationsnummern ([Nummer]) hinzu.
Das ist für eine Überblicksarbeit besonders wichtig, denn es bedeutet:
• Es werden keine Schlussfolgerungen dazugedichtet. Beurteilungen, die nicht in der Literatur stehen, werden nicht für Sie „zusammengefasst“.
• Keine erfundenen Zitate. Jede [Nummer] verweist auf ein tatsächlich in der Datenbank vorhandenes Paper.
• Quervergleiche sind belegt. Jedes von Ihnen geschriebene „besser als / eingeschränkt durch“ lässt sich auf den Originaltext zurückführen.
V. Ein vollständiger Durchlauf
Am Beispiel einer Überblicksarbeit zu Agent-Frameworks:
1. Neues Projekt anlegen, Thema: Agent-Frameworks (ReAct / Plan&Solve / ToolLLM usw.).
2. Batch-Suche und Import in die Datenbank, alle PDFs erfassen; bei chinesischen Aufgaben daran denken, englische Suchbegriffe ausgeben zu lassen.
3. Vergleichsdimensionen festlegen: Prompt-Strategie, Planungsansatz, Tool-Aufrufe, Fehlerfälle, Evaluationsmethode.
4. Mit literature/compare eine Quervergleichstabelle erzeugen.
5. Die Überblicksarbeit auf Basis des Materials in der Datenbank verfassen; Zitate erhalten automatisch [Nummer].
6. Zitate in drei Kategorien prüfen: verwendet / fehlend / unbenutzt – jede Kategorie einzeln bearbeiten.
7. Eine Echtheitsprüfung durchführen (DOI / arXiv resolve), um null Halluzinationen zu bestätigen.
8. KI-Stil entfernen + exportieren, vor Abgabe oder Einreichung noch einmal prüfen.
VI. Häufige Fallstricke
• Schlussfolgerungen aus unterschiedlichen Evaluationssetups direkt vergleichen. Prüfen Sie zuerst, auf welchen Aufgaben und Daten die einzelnen Paper zu ihren Schlüssen kommen.
• Die KI bitten, „die Unterschiede kurz zusammenzufassen“. Eine Zusammenfassung, die nicht auf dem Material in der Datenbank basiert, ist ausgedacht – stellen Sie unbedingt sicher, dass der Originaltext der Literatur verwendet wird.
• Zitationsnummern manuell verwalten. Wenn die Nummern von dreißig Papers durcheinandergeraten, ist die Korrektur extrem mühsam; überlassen Sie das der automatischen Nummerierung + Drei-Kategorien-Prüfung.
• Nur schreiben, „wer besser ist“, aber nicht „warum“. Der Wert einer Überblicksarbeit liegt in den Vergleichsdimensionen und der Begründung, nicht in dem einen Satz der Schlussfolgerung.
VII. Fazit
Beim Agent-Bereich ist das Schwierige an einer Überblicksarbeit nicht „es nicht zu verstehen“, sondern „nicht fertig zu lesen und nicht vergleichen zu können“. MuchSci 论文水手 verbindet Batch-Import, Quervergleich und Schreiben mit Zitationen zu einer Linie – der drei- bis viertägige Zusammentrageaufwand wird reduziert, und übrig bleibt das, was wirklich Ihre Beurteilung erfordert.
Selbstcheck vor dem Schreiben:
• Wird die Literatur entlang derselben Dimensionen verglichen?
• Stammt alles Material aus der Datenbank und ist es nachprüfbar?
• Wurden die Zitationsnummern geprüft?
• Gibt es eine Schlussfolgerung, die ich „aus dem Bauch heraus“ ergänzt habe?