3 Einträge
Schlagwort: mambaArtikel:Opher Lieber, Barak Lenz, Hofit Bata et al.
Ein Forschungsteam stellt Jamba vor, ein großes Basis-Sprachmodell mit einer neuartigen Hybrid-Architektur. Das Modell verzahnt Transformer- und Mamba-Schichten und ergänzt diese teilweise durch Mixture-of-Experts (MoE). Die vorgestellte Konfiguration passt auf eine einzelne 80-GB-GPU und unterstützt Kontextlängen von bis zu 256.000 Token.
Artikel:Albert Gu, Tri Dao
Albert Gu und Tri Dao stellen mit Mamba eine Architektur vor, die auf selektiven State Space Models (SSMs) basiert. Das Modell skaliert linear mit der Sequenzlänge, verzichtet auf Attention-Mechanismen sowie MLP-Blöcke und übertrifft vergleichbare Transformer bei fünffachem Inferenzdurchsatz.
VideoVideo:Lev Selector
Lev Selector fasst die wichtigsten KI-Entwicklungen von Mitte August 2026 zusammen. Schwerpunkte sind neue Modell-Releases (u. a. Muse Glimmer, Grok 4.6, DeepSeek V4 Pro, NeMo Tron 3.5 Lightning), modulare Agent-Architekturen wie Prime Agent und DeepSeek Harness sowie Werkzeuge zur Token- und Kostenoptimierung beim Agent-Coding.
3 von 3 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
