Zum Blog

Governance eines Expertenreview-Pools: Von einem Haufen Namen zu einem langfristig nutzbaren Asset

Fast jede Arbeitsgruppe, jede Fakultät und jede Redaktion hat ihre eigene „Expertenliste“. Der Ausgangspunkt ist meist recht beliebig: Bei einer Besprechung werden ein paar Namen notiert, ein Kollege empfiehlt ein paar Personen, beim Durchblättern von Papers werden nebenbei ein paar Einträge gespeic

ExpertendatenbankÖffentliche QuellenWissenschaftliche Zusammenarbeit

Fast jede Arbeitsgruppe, jede Fakultät und jede Redaktion hat eine eigene „Expert:innenliste“. Ihr Ausgangspunkt ist meist recht willkürlich: Bei einer Besprechung werden ein paar Namen notiert, ein Kollege empfiehlt einige Personen, beim Durchblättern von Papers werden nebenbei ein paar Einträge gespeichert. Erst bei der Nutzung fallen die Probleme auf – die Institutionen in der Liste sind noch die von vor fünf Jahren, manche Personen sind längst weggegangen, und bei einigen Einträgen steht nur ein Name, ohne dass klar ist, wo er ursprünglich abgeschrieben wurde.

Diese Datei möchte sagen: Eine Liste zusammenzutragen ist einfach; schwierig ist, sie auch zwei Jahre später noch nutzbar zu machen. Das Tool „MuchSci Talentprofil“ stellt im Kern Regeln für genau diese Aufgabe auf.

01 Von einem Haufen Namen zu einem Asset – fünf Schritte

Zerlegen wir zunächst den Governance-Prozess.

▲ Abb. 1|Schritt 5 wird am leichtesten übersehen – und ist am kritischsten.

Das Festlegen der Aufnahmekriterien ist der erste Schritt und zugleich der Schritt, der am ehesten übersprungen wird. Welche Einträge zählen und welche nur als Hinweis gelten dürfen, muss vorab festgeschrieben werden. Ohne diesen Schritt fehlt den späteren Prüfungen die Grundlage – man wird ständig darüber grübeln, ob „dieser Eintrag nun zählt oder nicht“.

Die Einzelprüfung und das Markieren von Zweifelsfällen bilden ein zusammengehöriges Paar. Geprüft wird im Dreierabgleich: Name, Institution und Werdegang werden Punkt für Punkt mit öffentlich zugänglichen Informationen abgeglichen; was nicht übereinstimmt, wird nicht mit Gewalt aufgenommen, sondern in den „Zu prüfen“-Bereich verschoben. Die Existenz dieses „Zu prüfen“-Bereichs ist der zurückhaltendste Teil des gesamten Mechanismus—er räumt ein, dass Unsicherheit bestehen kann, und stellt Unsicheres separat ab, damit es die offizielle Liste nicht verunreinigt.

Die Klassifizierung und Archivierung entscheidet über die Nutzbarkeit. Gruppiert wird nach Fachrichtung, Institution und Position; je nachdem, welche Art von Expert:innen benötigt wird, lassen sie sich über diese Dimensionen abrufen. Die regelmäßige Überprüfung steht am Ende dieser Kette und ist zugleich der am leichtesten übersehene Schritt: Institutionen ändern sich, Positionen ändern sich, Forschungsschwerpunkte ändern sich – wer eine drei Jahre alte Liste ohne Prüfung direkt verwendet, liegt ganz selbstverständlich falsch—und merkt es nicht einmal.

02 Natürlich gewachsene Listen und nach Regeln gepflegte Listen

Die Namen darin mögen identisch sein, doch ob man sie bedenkenlos nutzen kann, ist ein gewaltiger Unterschied.

▲ Abb. 2|Der Unterschied liegt nicht darin, wie viel gesammelt wurde, sondern ob man bei jedem Eintrag sagen kann, „warum er hier ist“.

Bei einer natürlich gewachsenen Liste kann man nicht nach dem „Warum“ fragen. Fragt man „Warum stehen diese drei hier?“, lautet die Antwort „Irgendjemand hat sie damals wohl erwähnt“. Für den internen Gebrauch in kleinem Kreis mag eine solche Liste taugen; sobald sie an Vorgesetzte gemeldet, an die Redaktion weitergegeben oder in einem formellen Verfahren verwendet werden soll, kann man darauf keine Antwort geben.

Bei einer nach Regeln gepflegten Liste ist jeder Eintrag belastbar. Die Aufnahmegründe sind angegeben, die Informationsgranularität reicht bis auf Feldebene, Quellen sind nachprüfbar, und der Zeitpunkt der Überprüfung ist dokumentiert. Wird gefragt, „warum diese Person empfohlen wird“, kann man auf konkrete Felder verweisen: ob das Forschungsgebiet passt, ob die geleiteten Projekte in diese Richtung gehen, wann die Institutionsangaben geprüft wurden.

Am praktischsten zeigt sich der Unterschied in dem Moment, in dem ein Fehler auftritt. Ein Fehler in einer Liste ist nicht schlimm; schlimm ist, wenn sich im Fehlerfall die Grundlage nicht erklären lässt. Bei einer nach Regeln gepflegten Liste kann man selbst dann, wenn sich ein Eintrag später als falsch erweist, darlegen, worauf die damalige Entscheidung beruhte; bei einer natürlich gewachsenen Liste bleibt einem nur einzuräumen: „Das wurde damals einfach irgendwie notiert.“

03 Eine langfristig nutzbare Datenbank hat drei Ebenen

Informationen mit unterschiedlichem Gewissheitsgrad zu vermischen, ist die Ursache dafür, dass eine Liste schnell unübersichtlich wird.

▲ Abb. 3|Drei getrennte Ebenen, jede mit ihrer eigenen Aufgabe

Die Ebene der offiziellen Akten ist der Teil, der alle Prüfungen bestanden hat und nach außen verwendet werden darf: vier Feldkategorien sind vollständig, Quellen sind gekennzeichnet, und der Zeitpunkt der Überprüfung liegt noch innerhalb der Gültigkeit. Diese Ebene ist der Teil, den man direkt herausgeben kann.

Die Ebene „Zu prüfen“ enthält Einträge, deren Informationen nicht übereinstimmen oder deren Quelle unklar ist – gleichnamige Personen, die noch unterschieden werden müssen, widersprüchliche Institutionsangaben, nur eine einzige Quelle. Sie sind nicht nutzlos, zählen aber derzeit noch nicht; sie werden separat aufbewahrt und erst nach oben verschoben, wenn mehr Material vorliegt.

Die Ebene der Beobachtungshinweise ist am leichtesten und existiert nur als Hinweis: Referent:innen bei Konferenzen, Koautor:innen von Papers, Projektbeteiligte. Der Sinn dieser Ebene liegt in der Erweiterung des Suchraums – wenn man Personen für eine bestimmte Richtung sucht, ist es weit effektiver, von hier aus nach außen zu erweitern, als sich Namen aus dem Nichts auszudenken.

Der größte Vorteil der drei getrennten Ebenen ist: Wenn die Liste erweitert werden muss, filtert man von der dritten Ebene nach unten, statt unsichere Informationen direkt in die offiziellen Akten zu mischen.

04 Oberfläche: Der Kopf der Akte legt die Regeln offen dar

Kehren wir zum Tool selbst zurück und sehen wir, wie diese Regeln in die Oberfläche umgesetzt werden.


▲ Abb. 4|Ganz oben in der Akte stehen Aufnahmeumfang und Abgleichanforderungen sowie der Umgang mit „Zu prüfen zählt nicht als Experte“.

Der Erläuterungstext ganz oben in der Oberfläche ist die zuvor genannte „Aufnahmekriterien“-Vorgabe in ihrer öffentlichen Fassung: Aufgenommen werden nur nationale Projekte, und es wird verlangt, dass Name, Institution und Werdegang exakt mit öffentlich zugänglichen Informationen übereinstimmen; was nicht passt, wird als „Zu prüfen“ vermerkt und nicht als Expert:in gezählt. Wenn die Regeln im Kopf stehen, kann die nutzende Person beim Erhalt einer Akte auf den ersten Blick beurteilen, nach welchen Kriterien sie zusammengestellt wurde.

Betrachten wir weiter unten die Organisation der Felder:


▲ Abb. 5|Beruflicher Werdegang und Forschungsergebnisse werden jeweils in Tabellen geführt; jede Zeile ist einzeln nachprüfbar.

Bemerkenswert ist, dass es in dieser Struktur keine Dinge wie „Bewertung“, „Übereinstimmungswert“ oder „Empfehlungsindex“ gibt. Es gibt nur Zeit, Institution, Position, Fachgebiet, Ergebnis – Felder, die sich durch externe Materialien verifizieren lassen. Diese Zurückhaltung ist beabsichtigt: MuchSci übernimmt nur die Aufgabe, die verifizierbaren Teile ordentlich aufzubereiten; ob diese Person verwendet werden sollte und wo, ist die Entscheidung der nutzenden Person.

05 Grenzen

① Dieser Beitrag beschreibt den Mechanismus der Listenpflege und stellt keine Wirkungszusage dar. Der Vollständigkeitsgrad einer Liste hängt von der Verfügbarkeit öffentlicher Materialien ab; der Aufnahmeumfang ist begrenzt und bedeutet nicht, dass alle Expert:innen eines Bereichs abgedeckt werden können.

② Strukturierung ist nicht gleich Bewertung. Die Akte ist eine Aufbereitung öffentlicher Materialien und stellt keine Bewertung der Fähigkeiten, Empfehlung oder Fürsprache für irgendeine Person dar; jeder Eintrag in der Liste ist lediglich ein zu bestätigender Hinweis, und Beurteilungen konkreter Personen müssen von der nutzenden Person selbst überprüft werden und liegen in deren Verantwortung.

③ Bei Verwendung in formellen Verfahren gelten die einschlägigen Vorschriften. Zwecke wie Begutachtung, Einstellung und Due Diligence berühren Vertraulichkeit, Befangenheit und Verfahrensanforderungen; die geltenden Regelungen der jeweiligen Einrichtung sind zu befolgen. Alle Materialien verwenden ausschließlich öffentliche Informationen und betreffen keine personenbezogenen Privatdaten.

Zur Artikelliste