End-to-End Test-Time Training (TTT) für lange Kontexte in JAX

Repositorytest-time-training/e2eForschung

Dieses Repository enthält die offizielle JAX-Implementierung für End-to-End Test-Time Training (TTT) für lange Kontexte. Der Ansatz modelliert die Verarbeitung langer Kontexte als Continual-Learning-Problem: Ein Standard-Transformer mit Sliding-Window-Attention passt seine Gewichte zur Testzeit via Next-Token-Prediction an und komprimiert den Kontext direkt in die Parameter.

Das Wichtigste

  1. Formulierung von Long-Context-Modellierung als Continual Learning statt als reine Architekturänderung.
  2. Verwendung einer Standard-Transformer-Architektur mit Sliding-Window-Attention.
  3. Kontextkompression zur Testzeit durch Next-Token-Prediction auf dem vorliegenden Kontext.
  4. Meta-Learning während der Trainingsphase optimiert die Initialisierung für das Test-Time Training.
  5. Vollständige Implementierung in JAX mit Paketmanagement über uv und Experimentverwaltung über Hydra.

Warum das relevant ist

Anstatt Kontextfenster über immer größere Attention-Matrizen oder spezialisierte Architekturen zu erweitern, zeigt dieses Verfahren, wie Modelle Informationen zur Inferenzzeit dynamisch in ihre Gewichte schreiben können. Das verbindet Meta-Learning mit praktischer Kontexterweiterung.

Einordnung

Das Projekt adressiert die Skalierung von Sprachmodellen auf lange Kontexte. Statt neuer Architekturen wird Continual Learning genutzt: Das Modell lernt zur Testzeit end-to-end über Next-Token-Prediction weiter. Die Codebasis setzt auf JAX, Python (verwaltet mit uv), Hydra für Konfigurationen, Weights & Biases für Metriken sowie Slurm/Submitit für Multi-Node-Cluster. Als Datensätze dienen Llama-3-tokenisierte Daten (z. B. dclm-filter-8k und books3). Die Zielgruppe sind Forschende und ML-Engineers im Bereich LLM-Architekturen und Test-Time Adaptation. Der Reifegrad entspricht einer universitären Forschungs-Codebasis zur Reproduktion der Paper-Ergebnisse (inklusive 125M-Modell-Konfigurationen); eine explizite Open-Source-Lizenz ist nicht angegeben.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:volotat/mini-AGI

    mini-AGI: Kontinuierliches Lernen auf Byte-Ebene für 8-GB-VRAM-Hardware

    mini-AGI ist ein experimentelles Open-Source-Sprachmodell auf Byte-Ebene, das kontinuierliches Lernen aus einem fortlaufenden Datenstrom (Batch Size 1) auf gewöhnlicher Consumer-Hardware mit 8 GB VRAM demonstriert. Das Modell speichert Gewichte auf der Festplatte und lagert sie nach Bedarf in den GPU-Speicher ein, passt seine Netzwerkarchitektur dynamisch an und vermeidet katastrophales Vergessen.

    793SternePython

    KI & AI· Forschung

  • Repository:vectorize-io/hindsight

    Hindsight: Lernendes Langzeit-Gedächtnis für KI-Agenten

    Hindsight ist ein unter der MIT-Lizenz veröffentlichtes Speichersystem für KI-Agenten. Im Gegensatz zu einfachen Chatverlauf-Speichern oder traditionellen RAG- und Wissensgraph-Ansätzen zielt das Projekt darauf ab, dass Agenten über die Zeit hinweg tatsächlich lernen.

    41.300SternePython

    KI & AI· Tool

  • Artikel:Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter

    xLSTM: Extended Long Short-Term Memory

    Ein Forschungsteam um Sepp Hochreiter stellt xLSTM vor, eine Weiterentwicklung der klassischen Long Short-Term Memory-Architektur für moderne Large Language Models. Die Erweiterung behebt bisherige Skalierungs- und Parallelisierungsgrenzen von LSTMs und erzielt vergleichbare Ergebnisse zu Transformer- und State-Space-Modellen.

    KI & AI· Forschung

  • Repository:hhhuang/CAG

    Cache-Augmented Generation (CAG): Alternative zu RAG über KV-Caching

    Das Open-Source-Repository CAG stellt Cache-Augmented Generation als schlanke Alternative zu Retrieval-Augmented Generation (RAG) vor. Statt Dokumente zur Laufzeit über Vektordatenbanken abzurufen, wird der gesamte Wissensbestand vorab in das Kontextfenster geladen und als KV-Cache vorgehalten.

    1540SternePython

    KI & AI· Sammlung

  • Repository:fudan-generative-vision/Remory

    Remory: Gelerntes Residual-Gedächtnis für Kontext-Kompaktierung bei LLM-Agenten

    Remory ergänzt klassische Text-Zusammenfassungen bei LLM-Agenten um ein erlerntes Soft-Memory aus dem Gesprächsverlauf. Dieses Residual-Gedächtnis wird konditioniert an die Zusammenfassung angehängt und hilft eingefrorenen Basismodellen, ihre Arbeit über Kompaktierungszyklen hinweg präzise fortzusetzen.

    236SternePython

    KI & AI· Tool

  • Artikel:Opher Lieber, Barak Lenz, Hofit Bata et al.

    Jamba: Hybrides Sprachmodell aus Transformer, Mamba und Mixture-of-Experts

    Ein Forschungsteam stellt Jamba vor, ein großes Basis-Sprachmodell mit einer neuartigen Hybrid-Architektur. Das Modell verzahnt Transformer- und Mamba-Schichten und ergänzt diese teilweise durch Mixture-of-Experts (MoE). Die vorgestellte Konfiguration passt auf eine einzelne 80-GB-GPU und unterstützt Kontextlängen von bis zu 256.000 Token.

    KI & AI· Forschung

Zurück zur Wissensbasis

Sprechen wir über Ihr Projekt.

Kontakt

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.