Repository:test-time-training/e2e
End-to-End Test-Time Training (TTT) für lange Kontexte in JAX
Dieses Repository enthält die offizielle JAX-Implementierung für End-to-End Test-Time Training (TTT) für lange Kontexte. Der Ansatz modelliert die Verarbeitung langer Kontexte als Continual-Learning-Problem: Ein Standard-Transformer mit Sliding-Window-Attention passt seine Gewichte zur Testzeit via Next-Token-Prediction an und komprimiert den Kontext direkt in die Parameter.
693SternePython
Aus Video: Weekly AI Updates: Local Models, GPT-6 Astra, and Agent Architectures