ArtikelJu-yeong Ji, Ravin KumarSammlung
Lokale und offene Modelle erhalten mit Gemma 3 native Bildverarbeitung und Kontextfenster von bis zu 128k Tokens bei gleichzeitig optimiertem Speicherverbrauch. Die Umstellung auf QK-Norm und Interleaved Attention macht den Betrieb auf eigener Hardware ressourcenschonender.
Ju-yeong Ji und Ravin Kumar grenzen Gemma 3 explizit von PaliGemma 2 ab: Während PaliGemma 2 für spezialisierte Aufgaben wie Objekterkennung und Bildsegmentierung gedacht bleibt, zielt Gemma 3 auf dialogorientierte Vision-Aufgaben mit Zero-Shot-Fähigkeiten ab. Technisch sticht die Kombination aus bidirektionaler Bild-Attention und komprimierten Soft-Tokens hervor, die trotz hoher Auflösung die Inferenzlast begrenzen soll.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Qwen
Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.
Link:Z.ai
Z.ai hat mit GLM-5.3-Flash das erste nativ multimodale Modell der GLM-5-Reihe unter MIT-Lizenz auf Hugging Face bereitgestellt. Mit 320 Milliarden Gesamtparametern und 18 Milliarden aktiven Parametern zielt das Modell auf hohe Effizienz bei Programmier- und Agenten-Workloads ab.
Artikel:Kimi Team (Yu Zhang et al.)
Das Kimi-Team stellt Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in Tests über kurze und lange Kontexte sowie im RL-Scaling übertrifft. Sie senkt den KV-Cache-Bedarf um bis zu 75 Prozent und steigert den Decoding-Durchsatz bei Kontexten von 1 Million Token um das bis zu Sechsfache.
X-Post:AYi
Ein viraler Thread analysiert den technischen Werdegang von GPT-2 bis zum Open-Source-Modell Kimi K3 von Moonshot AI. Die Gegenüberstellung zeigt, wie Innovationen von linearer Attention bis zu DeltaNet konkrete Flaschenhälse klassischer Transformer lösen.
1878Lesezeichen401.994Aufrufe
Artikel:Opher Lieber, Barak Lenz, Hofit Bata et al.
Ein Forschungsteam stellt Jamba vor, ein großes Basis-Sprachmodell mit einer neuartigen Hybrid-Architektur. Das Modell verzahnt Transformer- und Mamba-Schichten und ergänzt diese teilweise durch Mixture-of-Experts (MoE). Die vorgestellte Konfiguration passt auf eine einzelne 80-GB-GPU und unterstützt Kontextlängen von bis zu 256.000 Token.
Link:Unsloth AI
Unsloth AI stellt mit Qwen3.6-27B-MTP-GGUF quantisierte Versionen des ersten Open-Weight-Modells aus der Qwen3.6-Reihe bereit. Das multimodale 27-Milliarden-Parameter-Modell nutzt Multi-Token Prediction (MTP) für schnellere Inferenz und bringt Verbesserungen bei Agentic Coding sowie Tool Calling mit.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
