GPT-5.4 erreichte in einem Test des Allen Institute for AI (Ai2) 93,5 Prozent Trefferquote, als es aus zwei Forschungsideen die neuere herausfinden sollte. Nach einer kleinen Änderung der Anweisung sank der Wert auf 40,9 Prozent – schlechter als Raten. Ursache war keine neue Modellversion und kein anderes Datenmaterial, sondern nur ein paar Wörter im Prompt. Die Studie „Old Ideas, Novel Problems“ fragt deshalb, ob große Sprachmodelle verlässlich beurteilen können, ob eine wissenschaftliche Idee neu ist. Für den heutigen Betrieb solcher Systeme fällt die Antwort ernüchternd aus.
Im Mittelpunkt steht der Novelty Judge: ein Sprachmodell, das prüft, ob eine Forschungsidee gegenüber vorhandener Arbeit tatsächlich neu ist – allein oder im Vergleich mit einer zweiten Idee. Solche Gutachter entstehen nicht nach einem Standardverfahren. Forschungsteams wählen Modell, Prompt, Auswertungsformat, Budget für Zwischenschritte und manchmal eine Literaturrecherche. Jede Entscheidung kann das Ergebnis beeinflussen. Validiert werden diese Richter oft an handgeschriebenen Papers, nicht an den KI-generierten Ideen, über die sie später urteilen sollen. Wer solche Systeme einsetzt, verlässt sich auf ein Messinstrument, dessen Eichung niemand überprüft hat.
Ein Gutachter ohne Eichung: was ein Novelty Judge leistet und was nicht
Das Problem lässt sich mit einer Waage erklären. Eine Waage nützt nur, wenn dieselbe Last beim zweiten Wiegen denselben Wert ergibt. Genau das fehlt den untersuchten Novelty Judges. Legt man dieselbe Idee in anderer Reihenfolge, mit anderer Formulierung oder anderem Kontext auf dieselbe Waage, zeigt die Nadel etwas anderes an. Die Autoren sehen darin keinen Randfall, sondern den Kernbefund: Neuheitsbewertung durch LLMs ist kein gelöstes Werkzeug, sondern ein offenes Forschungsproblem.
Ai2 baut seit Längerem an Systemen für einzelne Etappen wissenschaftlicher Arbeit: DataVoyager erschließt strukturierte Daten, AutoDiscovery erzeugt und prüft Hypothesen, Theorizer verdichtet Evidenz aus großen Literaturbeständen zu Kandidatentheorien. Mit Asta entsteht daraus eine Kette vom Verstehen vorhandener Arbeit bis zum Vorschlagen neuer Ideen. Ideen zu produzieren ist aber nur die halbe Aufgabe. Sie müssen etwas beitragen, das es vorher nicht gab. Dafür braucht es eine Instanz, die eine neue Richtung von einer bloß neu verpackten unterscheiden kann. In der Praxis ist das meist ein weiteres Sprachmodell.
154 Ideen gegen 145: wie aus ICLR-Gutachten ein Benchmark wird
Ob Novelty Judges zwischen neuartigeren und weniger neuartigen Ideen trennen können, lässt sich nur mit belastbaren Beispielen prüfen. Das Team griff deshalb auf Peer Reviews von ICLR 2026 zurück – nicht auf die Annahmeentscheidung. Ein Paper kann angenommen werden, ohne besonders originell zu sein, wenn es in anderen Punkten überzeugt. Umgekehrt kann eine abgelehnte Arbeit einen originellen Beitrag enthalten und an anderer Stelle scheitern. Die Autoren durchsuchten die Gutachten nach Passagen, in denen Gutachter ausdrücklich über Originalität sprachen.
Daraus entstand ein Pool von 154 menschlich verfassten Ideen mit hoher Neuheit: angenommene Papers aus den bestbewerteten zehn Prozent ihres ICLR-Fachgebiets, bei denen Gutachter die Neuheit positiv hervorhoben und niemand widersprach. Der Gegenpool umfasst 145 Ideen aus abgelehnten Papers der untersten zehn Prozent, bei denen Originalitätsbedenken geäußert wurden, ohne dass jemand die Neuheit positiv vermerkte. Zur Kontrolle prüfte eine annotierende Person 50 Fälle nach. In 47 stimmte sie mit der automatisch extrahierten Signalrichtung überein; keine Abweichung hätte die Zuordnung verändert. Diese beiden Pools bilden das erste Testszenario, Human-Only.
Weil Novelty Judges in der Praxis zunehmend KI-generierte Ideen bewerten, kam ein zweites Szenario hinzu: Human+Generated. Dieselben 154 validierten menschlichen Ideen wurden mit 154 Ideen gepaart, die ein einfacher LLM-Generator produziert hatte – ohne Literatursuche, Werkzeuge oder Iteration. Die Autoren behandeln diese Paarungen als schwache Labels, nicht als gesicherte Einzelurteile. Zur Absicherung sah sich ein Experte 30 Paare an, darunter gezielt Fälle, in denen der stärkste Judge danebenlag. Er bevorzugte in allen 30 Paaren die menschliche Idee und hielt keine der generierten für neu. Alle Ideen wurden zudem in eine einheitliche Struktur umgeschrieben, damit die Richter nicht nur auf Schreibstil reagieren.
Ein paar Wörter im Prompt – und das Urteil kippt um mehr als 50 Punkte
Getestet wurden sechs Modelle: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6. Sie bewerteten Neuheit punktuell als absolute Einschätzung und paarweise im direkten Vergleich. Variiert wurde jeweils ein Faktor: Prompt, Reasoning-Budget, Sichtbarkeit verwandter Papers, Formatierung der Ideen, Zahl zusammengefasster Einzelurteile und bei generierten Ideen das erzeugende Modell. Die größten Ausschläge kamen fast immer von der Formulierung der Anweisung.
Am deutlichsten zeigt das der Fall mit GPT-5.4. Ein Prompt teilte dem Modell mit, dass die Gutachter in jedem Paar genau eine Idee als neu bewertet hatten, und bat um Benennung dieser Idee. Der andere fragte schlicht, welche der beiden Ideen neu sei. Beim einfacheren Prompt fiel die Genauigkeit von 93,5 auf 40,9 Prozent; das Modell änderte sein Urteil in mehr als der Hälfte der Paare. Auf dem Human-Only-Datensatz verschob dieselbe Änderung die Trefferquote nur um rund sieben Punkte. Ein Novelty Judge kann auf menschlicher Forschung also stabil wirken und auf KI-generierten Ideen völlig anders reagieren.
Gegen solche Ausschläge gefeit waren die menschlichen Ideen nicht. Bei Claude Opus 4.6 bewegte dieselbe Prompt-Änderung die Genauigkeit auf Human-Only um 21 Punkte. Einen universell besseren Prompt gibt es nicht: Ließ man die Warnung weg, triviale oder inkrementelle Beiträge nicht als neu zu zählen, verbesserte das die Trefferquote bei einem Teil der Modelle und verschlechterte sie bei einem anderen. Ein Prompt, der für ein Modell funktioniert, lässt sich nicht ohne Weiteres übertragen. Zusätzlich verglich das Team Ideen zweier Generatoren: Claude Opus 4.5 gegen Claude Sonnet 4.5 und GPT-5.4 gegen GPT-5.1. Über die getesteten Prompt-Varianten hinweg änderten sich im Schnitt etwa ein Viertel bis ein Drittel der Urteile – gemessen, ohne vorauszusetzen, welcher Generator die besseren Ideen liefert.
Mehr Suche, mehr Rechenzeit, höhere Kosten: kein verlässlicheres Urteil
Die naheliegende Reaktion auf solche Schwankungen ist mehr Aufwand: mehr Zwischenschritte, mehr Literatur, mehr Rechenzeit. Die Daten stützen diese Hoffnung nicht. Ein agentischer Judge auf Basis von GPT-5.6 Sol erhielt ein sehr hohes Reasoning-Budget und eine iterative Live-Suche, beschränkt auf arXiv. Er erreichte einen macro-F1-Wert von 0,78 und lag damit elf Punkte hinter einem schlichten Claude-Opus-4.6-Ansatz mit 0,89 – bei rund zehnfachen Kosten pro Entscheidung. Macro-F1 misst, wie gut ein Richter neue und nicht neue Ideen auseinanderhält; höher ist besser.
Auch speziell gebaute Evaluationssysteme schnitten nicht besser ab, trotz deutlich höherem Preis. Ein einfacher Claude-Opus-4.6-Prompt mit niedrigem Reasoning-Budget und Mehrheitsentscheid über drei Aufrufe kam auf 0,854 macro-F1 bei Gesamtkosten von 2,59 Dollar. Der Idea Novelty Checker, eine Pipeline aus Literaturrecherche und Reranking, erreichte 0,642 bei 30,66 Dollar. Sakana AIs AI Scientist, dessen Neuheitsprüfer iterativ Semantic Scholar durchsucht, kam auf 0,772 bei 82,05 Dollar. Die schlichte Baseline war damit genauer und erheblich günstiger als beide Speziallösungen. Mehr Aufwand brachte in diesen Versuchen keinen besseren Messarm, nur eine teurere Nadel, die genauso unruhig ausschlägt.
Was das für KI-gestützte Forschungsbewertung bedeutet
Die Autoren ziehen daraus keine pauschale Absage, sondern konkrete Konsequenzen. Novelty Judges sollten an der Art von Ideen getestet werden, die sie später bewerten – also auch an KI-generierten. Ihre Empfindlichkeit gegenüber Prompts und Modellwechseln muss systematisch gemessen werden, statt sich auf einen einzelnen Durchlauf zu verlassen. Die Einbindung vorhandener Literatur braucht bessere Verfahren, und die Benchmarks müssen mitwachsen, wenn Literatur und Systeme besser werden. Dafür veröffentlicht Ai2 den Benchmark, die Daten, den Code und eine Pipeline, mit der sich aus neuen Peer Reviews weitere Evaluationssets bauen lassen.
Für die Praxis heißt das: Ein Neuheitsurteil ist derzeit ein Datenpunkt unter Vorbehalt, kein Zertifikat. Wer automatisierte Ideenfindung betreibt oder bewertet, sollte mehrere Prompts und Modelle gegeneinander laufen lassen und die Streuung der Antworten als Information lesen. Ein stabiles Ergebnis über Varianten hinweg sagt mehr als eine hohe Trefferquote in einem einzigen Setup. Wichtiger als die sechs Modellnamen ist die Beobachtung, dass zwei vernünftige Bewertungsaufbauten für dasselbe Ideenpaar zu entgegengesetzten Antworten kommen können. Dieser Widerspruch ist messbar. Er verschwindet nicht, wenn man das Instrument öfter laufen lässt.
Quelle: allenai.org
