LinkSubquadratic Inc.Ankündigung
Große Kontextfenster führten bei traditionellen Transformer-Modellen bisher zu extrem steigenden Rechen- und Betriebskosten oder erforderten fehleranfällige Vorverarbeitungsschritte wie Chunking und Vektorsuchen. Subquadratische Aufmerksamkeitsmechanismen könnten es ermöglichen, gesamte Codebasen oder umfangreiche Dokumentensammlungen in einer einzigen Eingabe stabil zu analysieren.
Subquadratic adressiert die strukturellen Nachteile klassischer quadratischer Aufmerksamkeitsmechanismen in LLMs. Anstatt auf inkrementelle Anpassungen bestehender Architekturen zu setzen, soll SSA Rechen- und Speichereffizienz bei extrem langen Sequenzen sicherstellen. Ob die theoretischen Einsparungen und Benchmarkergebnisse in komplexen Produktivumgebungen standhalten, muss sich nach der Vergabe des derzeitigen Early-Access-Zugangs in der Praxis zeigen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Kimi Team (Yu Zhang et al.)
Das Kimi-Team stellt Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in Tests über kurze und lange Kontexte sowie im RL-Scaling übertrifft. Sie senkt den KV-Cache-Bedarf um bis zu 75 Prozent und steigert den Decoding-Durchsatz bei Kontexten von 1 Million Token um das bis zu Sechsfache.
Artikel:Albert Gu, Tri Dao
Albert Gu und Tri Dao stellen mit Mamba eine Architektur vor, die auf selektiven State Space Models (SSMs) basiert. Das Modell skaliert linear mit der Sequenzlänge, verzichtet auf Attention-Mechanismen sowie MLP-Blöcke und übertrifft vergleichbare Transformer bei fünffachem Inferenzdurchsatz.
Link:Z.ai
Z.ai hat das Flaggschiff-Modell GLM-5.2 auf Hugging Face unter der freien MIT-Lizenz bereitgestellt. Das Modell zielt auf komplexe Coding- und Agentic-Workflows ab und bietet ein stabiles Kontextfenster von einer Million Tokens. Durch Architekturverbesserungen wie IndexShare und einen optimierten MTP-Layer wurden Rechenaufwand gesenkt und Inferenzzeiten verkürzt.
Link:Qwen
Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.
Link:Together AI
Together AI bietet das proprietäre Flaggschiff-Modell Qwen3.7-Max über seine API an. Das Modell verfügt über ein Kontextfenster von einer Million Token und wurde speziell für autonome Agenten, Softwareentwicklung und lange Ausführungszeiten trainiert.
Link:Apodex AI
Apodex AI hat das Modell Apodex-1.1-mini unter der Apache-2.0-Lizenz auf Hugging Face bereitgestellt. Das Modell basiert auf der Architektur qwen3_5_moe und ist speziell auf komplexe Recherche- und Agenten-Aufgaben mit nativer Tool-Nutzung ausgelegt.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
