X-PostHamid MaeiAnkündigung
Große Sprachmodelle mit 27 Milliarden Parametern übersteigen im Vollpräzisionsformat oft den VRAM herkömmlicher Arbeitsplatzrechner. Mit einem Speicherbedarf von unter 6 GB können solche Modelle lokal auf Consumer-Geräten ausgeführt werden, ohne auf Cloud-APIs angewiesen zu sein.
Ternary Bonsai 2 27B demonstriert erhebliche Fortschritte bei ternärer Kompression und Quantisierung. Bei einer Verkleinerung auf ein Neuntel der ursprünglichen Größe bleibt der Leistungsverlust minimal, während Fähigkeiten wie Coding und Tool-Einsatz gezielt verbessert wurden. Die Freigabe unter Apache 2.0 macht das Modell attraktiv für lokale Entwicklungs- und Agent-Workflows.
Hamid Maei
@HamidMaei · 17. September 2026
Really proud of this one. At @PrismML, we took Qwen3.8 27B, made it 9× smaller, and brought it down to just 5.9 GB—while retaining 98.2% of its benchmark performance. Kind of wild that a model this capable can run locally. t.co/gVOnULRS39
358 Likes25 Antworten97 Lesezeichen20.996 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:Udi Wertheimer
Udi Wertheimer hebt die Ankündigung von PrismMLs Ternary Bonsai 2 27B hervor. Das Modell basiert auf Qwen3.8 27B, benötigt lediglich 5,9 GB Speicher und soll laut Hersteller 98,2 % der Benchmark-Leistung des Vollpräzisionsmodells erreichen.
1468Lesezeichen260.139Aufrufe
Link:prismml.com
PrismML stellt mit der Bonsai-Modellfamilie extrem komprimierte KI-Modelle vor, die auf Forschungsarbeiten am Caltech basieren. Das Flaggschiff Bonsai 27B läuft als 1-Bit-Variante direkt auf Smartphones und benötigt lediglich 3,9 GB Speicherplatz.
Artikel:trendforce.com
Das Caltech-Spinout PrismML hat Alibabas Open-Source-Modell Qwen 3.6 von etwa 54 GB auf unter 4 GB komprimiert, um es direkt auf dem iPhone 17 Pro auszuführen. Laut Medienberichten prüft Apple die Technologie, um mehr On-Device-KI-Funktionen ohne Cloud-Anbindung anzubieten.
Link:Qwen
Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.
Link:Unsloth AI
Unsloth AI hat quantisierte GGUF-Versionen des neuen Modells Qwen3.8-27B unter der Apache-2.0-Lizenz bereitgestellt. Die Quantisierungen nutzen das neue Verfahren Dynamic V3.0, das gegenüber anderen Anbietern eine höhere Genauigkeit bei gleicher Dateigröße erzielen soll. Qwen3.8-27B ist ein 27 Milliarden Parameter starkes Vision-Language-Modell mit nativer Bild- und Videoverarbeitung, hybridem DeltaNet- und Attention-Aufbau sowie flexibler Steuerung von Denkprozessen.
Repository:Tencent/AngelSlim
AngelSlim ist ein quelloffenes Python-Toolkit von Tencent zur Komprimierung und Beschleunigung großer Sprach- und Multimodalmodelle. Es bietet Methoden für Quantisierung, spekulatives Decoding und Sparse Attention, um ressourcenintensive Modelle wie Hunyuan oder Qwen effizienter zu trainieren und auszuführen.
1627SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
