Zum Inhalt springen
Archiv 30. Juli 2026

OpenAI zeigt den Memory-Hebel bei Agenten: Warum retained reasoning und compaction mehr zaehlen als ein nackter ARC-AGI-3-Score

KI-Hinweis: Dieser Beitrag wurde mit Unterstuetzung von KI erstellt und redaktionell eingeordnet.

OpenAI hat am 29. Juli 2026 einen bemerkenswert offenen Technikbeitrag zu ARC-AGI-3 veroeffentlicht. Darin geht es nicht primaer um ein neues Modell, sondern um eine unbequeme Einsicht fuer die ganze Agenten-Debatte: Wie gut ein Agent wirkt, haengt oft nicht nur am Modell, sondern daran, ob er sein eigenes Denken und seine bisherigen Schritte ueberhaupt sinnvoll mitnehmen darf.

Genau deshalb halte ich den Post fuer blogtauglich. OpenAI zeigt, dass GPT-5.6 Sol auf dem oeffentlichen ARC-AGI-3-Set mit dem offiziellen Harness auf 13,3 Prozent kommt, mit retained reasoning und compaction aber auf 38,3 Prozent steigt. Gleichzeitig sollen die benoetigten Output-Tokens laut OpenAI um den Faktor sechs sinken.

Das ist fuer mich die eigentliche Nachricht. Agentische Leistung ist nicht nur eine Frage von IQ oder Benchmarks, sondern von Erinnerung, Kontextpflege und Laufzeitdesign.

Was OpenAI am 29. Juli 2026 konkret zeigt

Der Ausgangspunkt ist fast schon peinlich einfach. OpenAI wunderte sich laut eigenem Text, warum GPT-5.6 Sol auf ARC-AGI-3 zunaechst so schwach wirkte. ARC-AGI-3 ist ein interaktiver Benchmark mit unbekannten 2D-Spielumgebungen, in denen Agenten Regeln und Ziele selbst herausfinden muessen.

OpenAI nennt dazu drei besonders aufschlussreiche Zahlen:

  • GPT-5.6 Sol kommt im offiziellen Setup auf 13,3 Prozent RHAE auf dem oeffentlichen Set.
  • Mit retained reasoning und compaction steigt derselbe Lauf laut OpenAI auf 38,3 Prozent.
  • Die durchschnittliche menschliche Vergleichsleistung liegt laut OpenAI auf Basis offizieller Gameplay-Logs bei etwa 48 Prozent.

RHAE steht dabei fuer Relative Human Action Efficiency. ARC-AGI-3 misst also nicht nur, ob ein System irgendwie ankommt, sondern wie effizient es im Vergleich zu Menschen durch die unbekannten Umgebungen navigiert.

Spannend ist: OpenAI fuehrt den grossen Sprung nicht auf ein ploetzlich besseres Modell zurueck, sondern auf zwei Betriebsentscheidungen aus der Responses API, die laut OpenAI auch in ChatGPT und Codex genutzt werden.

Der erste Hebel: Agenten werden dumm, wenn sie ihr eigenes Denken verlieren

OpenAI beschreibt, dass im offiziellen ARC-Harness nach jeder Aktion die private Reasoning-Spur wegfaellt. Das Modell sieht zwar vergangene Zuege und kurze Notizen, aber nicht mehr die zugrundeliegenden Ueberlegungen, Hypothesen und Plaene.

Genau das ist fuer laengere Agentenlaeufe fatal. Wenn ein Agent nach jedem Schritt wieder fast bei null anfangen muss, dann wird aus Lernen ueber Zeit eher ein endloses Neu-Raten. OpenAI argumentiert deshalb, dass retained reasoning den Lauf deutlich verbessert, weil GPT-5.6 Sol nicht mehr jeden Zug so behandeln muss, als haette es das Spiel gerade erst gesehen.

Das ist fuer mich weit mehr als ein Benchmark-Detail. Viele reale Agentenaufgaben bestehen genau aus solchen iterativen Schleifen: Hypothese bilden, Tool benutzen, Rueckmeldung sehen, Strategie anpassen, weitermachen. Wenn das System sein eigenes Zwischenwissen verliert, sinkt nicht nur die Leistung. Es wird auch langsamer, teurer und unsteter.

Der zweite Hebel: Compaction ist etwas anderes als simples Abschneiden

Der zweite Punkt ist fast noch wichtiger. OpenAI kritisiert am offiziellen Harness die rolling truncation. Sobald das Kontextfenster ueberlaeuft, werden dort aeltere Teile schlicht abgeschnitten. Das bedeutet: fruehere Beobachtungen verschwinden und mit ihnen ein Teil der Lerngeschichte.

OpenAI setzt stattdessen auf compaction. In der eigenen Responses-API-Logik wird eine lange Unterhaltung nicht nur grob gestutzt, sondern fuer das weitere Arbeiten verdichtet fortgesetzt. Der Effekt soll laut OpenAI doppelt positiv sein:

  • mehr erhaltenes Arbeitsgedaechtnis ueber laengere Trajektorien hinweg,
  • und weniger Tokenverschwendung durch ueberfuellte, schlecht gepflegte Kontexte.

Gerade diese Kombination finde ich fuer Workflow-Themen relevant. Compaction ist nicht einfach Speicheroptimierung. Es ist eine Aussage darueber, wie ein Agent unter langen Realbedingungen arbeitsfaehig bleibt.

Warum das mehr ist als noch ein Benchmark-Streit

Man koennte das Ganze leicht als typisches Benchmark-Geplänkel abtun. Der eine Harness benachteiligt dieses Modell, der andere jenes. Ich glaube aber, dass der wichtigere Punkt tiefer liegt.

OpenAI zeigt hier sehr offen, dass Eval-Ergebnisse fuer Agenten immer auch eine Aussage ueber das Laufzeitmodell sind. Wer Reasoning wegwirft, alte Schritte amputiert oder Kontext nur roh durchschiebt, misst am Ende eben nicht nur den Modellkern. Er misst auch, wie schlecht der Arbeitslauf zusammengebaut ist.

Das passt auffaellig gut zu einer Linie, die auf menzel.works schon laenger sichtbar ist. Beim aelteren Beitrag zu OpenAIs Harness-Kritik an Benchmarks ging es bereits darum, dass die Umgebung um ein Modell herum zu oft unterschaetzt wird. Der gestrige Post zu GPT-5.6, Codex und Effizienz zeigte dann, wie stark OpenAI gerade an der Orchestrierung laengerer Arbeitsketten arbeitet. ARC-AGI-3 liefert jetzt das fast schon didaktische Beispiel dafuer, warum genau diese Schicht so wichtig ist.

Besonders relevant fuer Coding- und Tool-Agenten

Fuer Coding-Agenten ist die Botschaft noch direkter. Ein Coding-Agent arbeitet selten in einer einzigen Antwort. Er liest Code, bildet eine Theorie, veraendert Dateien, startet Tests, wertet Fehler aus, korrigiert sich, prueft erneut. Genau dabei zaehlt, ob Zwischenwissen erhalten bleibt und ob der Kontext ueber viele Iterationen kontrolliert verdichtet wird.

Deshalb ist der ARC-AGI-3-Post fuer mich nicht nur ein Spielbenchmark-Thema. Er ist ein Hinweis darauf, warum manche Agenten-Setups in echten Arbeitslaeufen ploetzlich stabil wirken und andere trotz guter Grundmodelle merkwuerdig kurzatmig bleiben.

Wenn retained reasoning fehlt, denkt der Agent zu oft neu an derselben Stelle. Wenn compaction fehlt, traegt er zu viel Ballast oder verliert genau das Falsche. Beides sind keine Randdetails mehr, sondern Kernfragen agentischer Produktqualitaet.

Wo ich trotzdem vorsichtig waere

Natuerlich bleibt auch dieser OpenAI-Post eine Herstellerdarstellung. OpenAI waehlt den Vergleich, die Implementierung und die Erzaehlung selbst aus. Dass ein Lab sein eigenes Produktionssetup fuer realitaetsnaeher haelt als ein generischer Fremd-Harness, ist nicht ueberraschend.

Trotzdem waere es zu einfach, die Meldung nur als Eigen-PR wegzuwischen. Die beschriebenen Probleme sind in sich plausibel und decken sich stark mit dem, was Entwickler in echten Tool-Loops beobachten: Agenten scheitern oft nicht am ersten Denkzug, sondern an schlechter Erinnerung und schlechtem Kontextmanagement ueber viele Schritte hinweg.

Mein Fazit

OpenAI liefert mit dem ARC-AGI-3-Beitrag keinen weiteren Modell-Sieg, sondern eine wichtige Korrektur fuer die Agenten-Debatte. Der groesste Hebel lag hier nicht in neuer Intelligenz, sondern in zwei Betriebsentscheidungen: Reasoning behalten und langen Kontext sauber verdichten.

Wenn sich diese Sicht durchsetzt, dann werden wir Agenten kuenftig weniger nur nach einem nackten Benchmark-Wert beurteilen koennen. Wir werden staerker fragen muessen: Wie gut kann das System ueber Zeit lernen, was es schon getan hat, ohne an seinem eigenen Kontext zu ersticken?

Genau darin steckt fuer mich die eigentliche praktische Relevanz des Posts vom 29. Juli 2026. Nicht nur smartere Modelle gewinnen. Es gewinnen die Arbeitslaeufe, die Erinnerung und Kontext als produktive Ressourcen behandeln.

Weiterfuehrende Beitraege auf menzel.works

Quellen

KI-Hinweis: Dieser Beitrag wurde mit KI-Unterstuetzung recherchiert, strukturiert und redaktionell eingeordnet.

Frage zu diesem Inhalt?
Kurz schreiben.
Kontakt