Context-CoT: Verbesserung des Context Learnings durch Reasoning-Synthese

ArtikelHongbo Jin, Mingnan Zhu, Jingqi Tian, Xu Jiang, Zhongjing Du, Haoran Tang, Siyi Xie, Qiaoman Zhang, Jiayu DingForschung

Ein Forschungsteam um Hongbo Jin untersucht in einem arXiv-Paper Schwächen moderner Sprachmodelle beim sogenannten Context Learning. Während Modelle gut mit vortrainiertem Wissen argumentieren, erreichen Spitzenmodelle im Benchmark CL-Bench bei kontextabhängigen Aufgaben im Schnitt nur 17,2 Prozent Genauigkeit.

Das Wichtigste

  1. Große Sprachmodelle haben erhebliche Probleme beim Context Learning, also beim dynamischen Extrahieren, Verinnerlichen und Anwenden neuer Informationen aus komplexen Kontexten.
  2. Laut Ergebnissen auf dem Benchmark CL-Bench lösen aktuelle Spitzenmodelle durchschnittlich lediglich 17,2 % der kontextabhängigen Aufgaben.
  3. Die Autoren schlagen mit 'Context-CoT' einen Ansatz vor, um diese Lücke durch die Synthese qualitativ hochwertiger Reasoning-Schritte zu schließen.

Warum das relevant ist

Viele produktive LLM-Anwendungen wie Retrieval-Augmented Generation (RAG) hängen davon ab, dass Modelle neue Fakten aus bereitgestellten Dokumenten exakt aufnehmen und logisch korrekt anwenden. Schwächen in diesem Bereich führen trotz hoher allgemeiner Modellleistung zu Fehlern bei kontextspezifischen Abfragen.

Einordnung

Das Paper adressiert eine zentrale Diskrepanz bei modernen Modellen: Vortrainiertes Standardwissen wird zuverlässig abgerufen, doch dynamisch im Kontext übergebene Informationen werden oft unzureichend verarbeitet. Die im Abstract zitierte Erfolgsquote von 17,2 % auf CL-Bench unterstreicht die Schwere dieses Problems.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Artikel:Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang

    ToolSandbox: Zustandsbasierter Benchmark für die Tool-Nutzung von LLMs

    ToolSandbox ist ein Evaluierungs-Benchmark, der die Fähigkeiten von Sprachmodellen bei der Werkzeugnutzung anhand zustandsbehafteter Umgebungen und mehrteiliger Dialoge testet.

    KI & AI· Forschung

  • Artikel:Lei Liang et al.

    KAG: Wissensgraphen und Vektorsuche kombiniert für professionelle LLM-Anwendungen

    Ein Forschungsteam um Lei Liang stellt mit Knowledge Augmented Generation (KAG) ein Framework vor, das klassisches RAG um Wissensgraphen erweitert. KAG adressiert typische Schwächen rein vektorbasierten Abrufs bei logischen, zeitlichen und numerischen Abhängigkeiten in Fachdomänen.

    KI & AI· Forschung

  • Artikel:Anthropic

    Context Engineering fuer KI-Agenten: Strategien fuer den Attention-Budget-Umgang

    Anthropic beschreibt den Wandel vom reinen Prompt Engineering hin zum umfassenden Context Engineering fuer autonome KI-Agenten. Da das Kontextfenster von Sprachmodellen durch transformer-bedingte Aufmerksamkeitsgrenzen limitiert ist, muessen Tokens gezielt kuratiert und dynamisch nachgeladen werden.

    KI & AI· Sammlung

  • Artikel:Siru Ouyang, Jun Yan, I-Hung Hsu, et al.

    ReasoningBank: Selbstlernende KI-Agenten durch Reasoning Memory

    ReasoningBank ist ein neuartiges Speicher-Framework für LLM-Agenten, das verallgemeinerbare Denkstrategien aus selbst bewerteten Erfolgen und Fehlern destilliert, um kontinuierliches Lernen im laufenden Betrieb zu ermöglichen.

    KI & AI· Forschung

  • Link:Subquadratic Inc.

    Subquadratic stellt SubQ vor: LLM-Architektur für Multi-Millionen-Token-Kontexte

    Das KI-Forschungsunternehmen Subquadratic hat mit SubQ ein Modell vorgestellt, das für die Verarbeitung von mehreren Millionen Tokens ausgelegt ist. Die Architektur nutzt ein proprietäres Verfahren namens Subquadratic Sparse Attention (SSA), um den Rechenaufwand bei sehr langen Kontexten im Vergleich zu herkömmlichen Transformer-Modellen drastisch zu reduzieren.

    KI & AI· Ankündigung

  • Artikel:Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

    BridgeVLA++: 3D-Roboter-Manipulations-Framework mit spatio-temporalem Gedächtnis

    Forschende stellen BridgeVLA++ vor, ein Vision-Language-Action-Framework für 3D-Roboter-Manipulationen. Aufbauend auf BridgeVLA erweitert das Modell vortrainierte Vision-Language-Modelle (VLMs) um eine Architektur für räumlich-zeitliches Gedächtnis, um vergangene Beobachtungen und Interaktionshistorien effizient einzubeziehen.

    KI & AI· Forschung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.