ArtikelOpher Lieber, Barak Lenz, Hofit Bata et al.Forschung
Klassische Transformer-Modelle stoßen bei langen Kontexten an speicher- und rechenintensive Grenzen. Durch die Kopplung linear skalierender Mamba-Zellen mit Attention-Mechanismen und MoE zeigt Jamba, wie extrem lange Kontexte ressourceneffizient auf Standard-Enterprise-GPUs verarbeitet werden können.
Das Forschungsteam untersucht systematisch, wie Transformer- und Mamba-Ebenen optimal verschachtelt und Expertenmodule integriert werden müssen. Die Ergebnisse belegen, dass die Hybrid-Architektur die Stärken beider Paradigmen vereint: hohe Benchmark-Leistung und Aufmerksamkeitsfähigkeit bei drastisch reduziertem KV-Cache- und Speicherbedarf. Die Veröffentlichung unter permissiver Lizenz sowie geplante Ablation-Checkpoints ermöglichen unabhängige Verifikation und Weiterentwicklung.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Albert Gu, Tri Dao
Albert Gu und Tri Dao stellen mit Mamba eine Architektur vor, die auf selektiven State Space Models (SSMs) basiert. Das Modell skaliert linear mit der Sequenzlänge, verzichtet auf Attention-Mechanismen sowie MLP-Blöcke und übertrifft vergleichbare Transformer bei fünffachem Inferenzdurchsatz.
Artikel:Kimi Team (Yu Zhang et al.)
Das Kimi-Team stellt Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in Tests über kurze und lange Kontexte sowie im RL-Scaling übertrifft. Sie senkt den KV-Cache-Bedarf um bis zu 75 Prozent und steigert den Decoding-Durchsatz bei Kontexten von 1 Million Token um das bis zu Sechsfache.
Repository:inclusionAI/Ling
InclusionAI stellt mit Ling eine Open-Source-Modellfamilie auf Basis einer Mixture-of-Experts-Architektur (MoE) bereit. Die Modelle erscheinen in zwei Größen: Ling-lite (16,8 Milliarden Gesamtparameter, 2,75 Milliarden aktivierte Parameter) und Ling-plus (290 Milliarden Gesamtparameter, 28,8 Milliarden aktivierte Parameter).
267SternePython
Artikel:Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter
Ein Forschungsteam um Sepp Hochreiter stellt xLSTM vor, eine Weiterentwicklung der klassischen Long Short-Term Memory-Architektur für moderne Large Language Models. Die Erweiterung behebt bisherige Skalierungs- und Parallelisierungsgrenzen von LSTMs und erzielt vergleichbare Ergebnisse zu Transformer- und State-Space-Modellen.
Artikel:Nikita Pavlichenko
JetBrains hat Mellum2 vorgestellt, ein von Grund auf trainiertes Mixture-of-Experts-Modell mit insgesamt 12 Milliarden Parametern. Das Modell aktiviert pro Token lediglich 2,5 Milliarden Parameter, läuft unter der Apache-2.0-Lizenz und zielt auf latenzkritische Aufgaben in Entwicklungs- und KI-Pipelines ab.
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
