OpenAI kassiert SWE-Bench Pro: Coding-Benchmarks verlieren gerade ihre Glaubwürdigkeit

OpenAI macht gerade einen bemerkenswerten Rückzieher. Erst hatte das Unternehmen erklärt, dass SWE-Bench Verified kein sinnvoller Maßstab mehr für Frontier-Coding-Modelle ist. Jetzt legt OpenAI nach und sagt: Auch SWE-Bench Pro ist in relevantem Umfang kaputt. Die eigene frühere Empfehlung, stattdessen auf Pro zu setzen, wird ausdrücklich zurückgezogen.

Das ist größer, als es auf den ersten Blick klingt. Denn wenn selbst der „bessere“ Ersatzbenchmark wackelt, verliert der Markt gerade einen seiner wichtigsten schnellen Referenzpunkte für agentisches Coding.

OpenAI benennt das Problem diesmal ziemlich hart

Im neuen Research-Text Separating signal from noise in coding evaluations beschreibt OpenAI einen Audit von SWE-Bench Pro und kommt zu einem unangenehmen Ergebnis: Je nach Prüfpfad wurden 27,4 bis 34,1 Prozent der Aufgaben als kaputt markiert. OpenAI selbst formuliert daraus die konservative Schätzung, dass rund 30 Prozent des Benchmarks gebrochen sind.

Die vier Hauptprobleme sind dabei bemerkenswert praktisch:

• zu strenge Tests, die nur eine bestimmte Implementierung akzeptieren
• unterdefinierte Prompts, bei denen versteckte Tests Anforderungen prüfen, die im Task nicht sauber stehen
• zu schwache Tests, durch die unvollständige Lösungen trotzdem bestehen
• irreführende Prompts, die Modelle in die falsche Richtung schicken

Das ist keine akademische Spitzfindigkeit. Wenn ein Benchmark gleichzeitig korrekte Lösungen durchfallen lässt und halbfertige Lösungen durchwinkt, dann misst er nicht mehr zuverlässig Fähigkeit. Dann misst er Rauschen.

Der eigentliche Rückzug ist noch wichtiger als die Fehlerquote

Der spannendste Satz im OpenAI-Text ist für mich nicht die 30-Prozent-Zahl, sondern der Schluss: OpenAI zieht seine frühere Empfehlung für SWE-Bench Pro zurück.

Das ist deshalb relevant, weil genau solche Benchmarks zuletzt als schnelle Währung für Coding-Agenten dienten. Ein Modell bekommt einen neuen Score, ein Anbieter baut daraus eine Grafik, und schon wirkt die Leistung sauber vergleichbar. Genau diese Bequemlichkeit bricht gerade weg.

Auf menzel.works hatte ich vor ein paar Wochen schon eingeordnet, dass bei agentischen Systemen oft der Harness wichtiger wird als der Benchmark. Jetzt wird das Problem noch schärfer: Nicht nur der Harness ist fragil, sondern teils schon der Benchmark selbst.

Für Teams ist das ein echtes Praxisproblem

Wer Coding-Agenten baut, einkauft oder bewertet, hat damit ein ziemlich handfestes Problem. Viele Teams wollen eine schnelle Antwort auf drei Fragen:

• Welches Modell liefert die besten Coding-Ergebnisse?
• Wie groß ist der Abstand wirklich?
• Ist ein neuer Spitzenwert ein echter Fortschritt oder nur Eval-Glück?

Wenn der zugrunde liegende Benchmark selbst wackelt, wird jede dieser Fragen unsauberer.

Genau deshalb finde ich das Thema praktischer als viele Modellankündigungen. Es geht nicht bloß um Forschungshygiene. Es geht darum, wie Produktteams, Investoren, Tool-Anbieter und Enterprise-Einkäufer Leistung überhaupt noch glaubwürdig vergleichen sollen.

Das passt auch zu Googles jüngerer Verschiebung bei Jules: Dort ging es schon darum, dass proaktive Coding-Agenten nicht mehr nur nach Task-Erfüllung bewertet werden sollten, sondern auch nach Urteilsvermögen und Unterbrechungslogik. Der Beitrag dazu ist hier: Google misst bei Jules nicht mehr nur Code, sondern Urteilsvermögen. OpenAI zeigt jetzt die andere Seite derselben Entwicklung: Selbst die klassischen Coding-Evals halten dem agentischen Anspruch immer schlechter stand.

Was das für den Markt signalisiert

Ich glaube, hier kippt gerade still eine ganze Gewohnheit. Der KI-Markt hat sich daran gewöhnt, Modellfortschritt über öffentliche Zahlen zu erzählen. Das funktioniert so lange gut, wie alle halbwegs an denselben belastbaren Maßstab glauben.

Wenn aber erst SWE-Bench Verified und dann auch noch SWE-Bench Pro beschädigt wirken, reicht ein Benchmark-Screenshot immer weniger. Dann muss stärker offengelegt werden:

• unter welchem Setup getestet wurde
• welche Aufgaben überhaupt fair sind
• wie robust die Ergebnisse über mehrere Läufe sind
• welche Rolle Tooling, Budget und Arbeitsumgebung spielen

Genau dort wird Benchmark-Marketing deutlich anstrengender. Und das ist vermutlich gesund.

Mein Fazit

OpenAI veröffentlicht hier keinen neuen Agenten und kein neues Modell. Trotzdem ist das eine der wichtigeren Coding-Meldungen der Woche.

Denn die eigentliche Nachricht lautet nicht nur: SWE-Bench Pro hat Qualitätsprobleme. Die eigentliche Nachricht lautet: Der Markt verliert gerade seinen bequemen Schnellmaßstab für Coding-Agenten.

Für Entwicklerteams ist das unbequem, aber notwendig. Wer 2026 noch so tut, als ließe sich agentische Coding-Leistung mit einer einzelnen Zahl sauber abräumen, verkauft meistens mehr Klarheit, als real vorhanden ist.

Wenn dich das Thema interessiert, passen dazu auch diese Stücke: OpenAI erklärt den blinden Fleck bei KI-Tests und Googles neue Bewertungslogik für proaktive Coding-Agenten.

Hinweis: Dieser Beitrag wurde mit Unterstützung von KI erstellt und redaktionell geprüft.

Quellen: OpenAI: Separating signal from noise in coding evaluations, OpenAI: Why SWE-bench Verified no longer measures frontier coding capabilities