ArtikelKimi Team (Yu Zhang et al.)Forschung
Klassische Transformer mit voller Attention stoßen bei extrem langen Kontexten an Speicher- und Effizienzgrenzen. Kimi Linear liefert eine praxistaugliche Drop-in-Alternative, die ohne Leistungsverluste drastisch weniger KV-Cache benötigt und vLLM-Unterstützung direkt mitbringt.
Lineare Attention-Ansätze litten in der Vergangenheit oft unter spürbaren Qualitätsverlusten gegenüber herkömmlichen Full-Attention-Modellen. Die Autoren von Kimi Linear begegnen diesem Problem durch die Kopplung von KDA und MLA sowie einer maßgeschneiderten DPLR-Formulierung. Die Ergebnisse zeigen deutliche Effizienzgewinne insbesondere bei langen Kontexten, ohne Einbußen bei kurzer Kontextlänge oder beim Reinforcement Learning hinnehmen zu müssen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:AYi
Ein viraler Thread analysiert den technischen Werdegang von GPT-2 bis zum Open-Source-Modell Kimi K3 von Moonshot AI. Die Gegenüberstellung zeigt, wie Innovationen von linearer Attention bis zu DeltaNet konkrete Flaschenhälse klassischer Transformer lösen.
1878Lesezeichen401.994Aufrufe
Artikel:Albert Gu, Tri Dao
Albert Gu und Tri Dao stellen mit Mamba eine Architektur vor, die auf selektiven State Space Models (SSMs) basiert. Das Modell skaliert linear mit der Sequenzlänge, verzichtet auf Attention-Mechanismen sowie MLP-Blöcke und übertrifft vergleichbare Transformer bei fünffachem Inferenzdurchsatz.
Link:Subquadratic Inc.
Das KI-Forschungsunternehmen Subquadratic hat mit SubQ ein Modell vorgestellt, das für die Verarbeitung von mehreren Millionen Tokens ausgelegt ist. Die Architektur nutzt ein proprietäres Verfahren namens Subquadratic Sparse Attention (SSA), um den Rechenaufwand bei sehr langen Kontexten im Vergleich zu herkömmlichen Transformer-Modellen drastisch zu reduzieren.
Artikel:Opher Lieber, Barak Lenz, Hofit Bata et al.
Ein Forschungsteam stellt Jamba vor, ein großes Basis-Sprachmodell mit einer neuartigen Hybrid-Architektur. Das Modell verzahnt Transformer- und Mamba-Schichten und ergänzt diese teilweise durch Mixture-of-Experts (MoE). Die vorgestellte Konfiguration passt auf eine einzelne 80-GB-GPU und unterstützt Kontextlängen von bis zu 256.000 Token.
Link:inclusionAI
inclusionAI hat Ling-3.0-tiny veröffentlicht, ein leichtgewichtiges MoE-Modell mit 7,9 Milliarden Gesamtparametern, das pro Token nur 1,3 Milliarden Parameter aktiviert. Das Modell setzt auf eine hybride Architektur aus linearen Aufmerksamkeits- und Latent-Attention-Schichten und zielt auf recheneffizientes Reasoning sowie Agenten-Aufgaben auf lokaler Hardware ab.
Link:Qwen
Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
