ArtikelARC Prize FoundationForschung
Große Sprach- und Denkmodelle (LRMs) glänzen vor allem in Domänen, für die sie massenhaft Trainingsdaten und deterministische Prüfmechanismen (Verifier) besitzen, wie etwa bei Programmierwerkzeugen. ARC-AGI-3 zeigt die Grenzen dieser wissensgebundenen Systeme auf, indem es autonome Anpassung in völlig neuartigen Umgebungen verlangt und damit den tatsächlichen Abstand zu menschlicher AGI quantifiziert.
Das Papier der ARC Prize Foundation um François Chollet und Mike Knoop ordnet die Entwicklung der Reasoning-Modelle der letzten Jahre ein: Test-Time-Training und Test-Time-Compute (etwa in OpenAI o1 und o3) brachten signifikante Sprünge, stießen jedoch bei statischen Aufgaben an die Grenzen echter Generalisierung. Da Modelle wie Gemini 3 Deep Think selbst ohne Vorgabe die internen Farbcodierungen von ARC rekonstruieren konnten, wurden hochstufige Abkürzungen und Overfitting sichtbar. Mit ARC-AGI-3 verlagert sich der Test daher auf dynamische Exploration und Zielinferenz, was KI-Agenten zwingt, echte interne Weltmodelle aufzubauen, anstatt Muster aus vorab generierten Verifikationsschleifen abzurufen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:arcprize.org
ARC-AGI-3 ist ein neuer interaktiver Benchmark zur Messung menschenähnlicher Intelligenz in KI-Agenten. Statt statischer Aufgaben müssen Agenten unbekannte Umgebungen interaktiv erkunden, Ziele eigenständig ableiten und Strategien über längere Zeithorizonte anpassen.
Link:arcprize.org
Die Veranstalter des ARC Prize stellen den Track ARC-AGI-3 für 2026 vor. Der Benchmark verlässt statische Testdaten und verlangt von KI-Agenten, unbekannte, dynamische Spielumgebungen ohne Vorgaben interaktiv zu erkunden und zu meistern. Insgesamt sind 850.000 US-Dollar an Preisgeldern ausgeschrieben.
Artikel:Terry Chen, Yeyin (Eva) Zhu, Zhifan Ye, Jean-Francois Puget and Humphrey Shi
NVIDIA präsentiert mit Agentic Variation Operators (AVO) eine Agentenarchitektur für langlaufende Aufgaben, die Claude Opus 5 zu einem perfekten Ergebnis im ARC-AGI-3-Benchmark verhilft.
Artikel:Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang
ToolSandbox ist ein Evaluierungs-Benchmark, der die Fähigkeiten von Sprachmodellen bei der Werkzeugnutzung anhand zustandsbehafteter Umgebungen und mehrteiliger Dialoge testet.
Link:The Cognition Team
Cognition hat mit FrontierCode einen Benchmark und ein Leaderboard veröffentlicht, das bewertet, ob von KI-Modellen erstellte Pull Requests von Open-Source-Maintainern tatsächlich gemergt werden würden. Die Bewertung stützt sich auf Unit-Tests, Verifizierer und praxisnahe Rubriken von Maintainern.
Link:Epoch AI
Epoch AI bietet ein zentrales Dashboard, das Benchmark-Ergebnisse führender KI-Modelle sammelt und visualisiert. Die Plattform umfasst eigene Tests von Epoch AI sowie Daten externer Evaluierer zu Disziplinen wie Mathematik, Softwareentwicklung, Agenten und multimodalen Aufgaben.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
