ArtikelNews
Große Sprachmodelle scheitern auf Smartphones bisher meist am begrenzten Arbeitsspeicher. Eine funktionierende Kompression von 27-Milliarden-Parameter-Modellen auf unter 4 GB ermöglicht leistungsfähige lokale Workflows ohne Serverlatenz, senkt Rechenzentrumskosten und erhöht den Datenschutz.
Für Hersteller wie Apple ist On-Device-Ausführung der Schlüssel zu skalierbarer KI: Werden rechenintensive Aufgaben lokal auf der Hardware des Nutzers verarbeitet, schrumpfen die Betriebskosten für Private-Cloud-Infrastrukturen drastisch. Zugleich adressiert lokale Verarbeitung Vorbehalte bei Privatsphäre und Datensicherheit. Technisch sticht PrismMLs Ansatz hervor, weil er 27 Milliarden Parameter vollständig aktiv hält, statt wie Apples bisherige Modelle auf Sparse-Architekturen auszuweichen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Joe Rossignol
Laut einem Bericht von The Information hat Apple Gespräche mit dem Startup PrismML geführt. Ziel ist es, deutlich größere KI-Modelle direkt lokal auf iPhones auszuführen. PrismML gelang es, Alibabas Open-Source-Modell Qwen 3.6 mit 27 Milliarden Parametern vollständig auf einem iPhone 17 Pro lauffähig zu machen.
Link:prismml.com
PrismML stellt mit der Bonsai-Modellfamilie extrem komprimierte KI-Modelle vor, die auf Forschungsarbeiten am Caltech basieren. Das Flaggschiff Bonsai 27B läuft als 1-Bit-Variante direkt auf Smartphones und benötigt lediglich 3,9 GB Speicherplatz.
X-Post:Hamid Maei
PrismML hat Ternary Bonsai 2 27B vorgestellt, eine stark komprimierte Version von Qwen3.8 27B. Das Modell ist neunmal kleiner als das Original, belegt nur 5,9 GB Speicher und erreicht laut Anbieter 98,2 Prozent der Benchmark-Leistung.
97Lesezeichen20.996Aufrufe
X-Post:Udi Wertheimer
Udi Wertheimer hebt die Ankündigung von PrismMLs Ternary Bonsai 2 27B hervor. Das Modell basiert auf Qwen3.8 27B, benötigt lediglich 5,9 GB Speicher und soll laut Hersteller 98,2 % der Benchmark-Leistung des Vollpräzisionsmodells erreichen.
1468Lesezeichen260.139Aufrufe
Artikel:Zhidx
Ant Groups Bailian hat das Open-Source-Modell Ling-3.0-tiny vorgestellt. Die Architektur kombiniert DeepSeeks MLA mit Kimis KDA in einem Mixture-of-Experts-Design mit 7,9 Milliarden Gesamtparametern, von denen pro Token nur 1,3 Milliarden aktiviert werden. Das Modell zielt auf den effizienten lokalen Einsatz auf Rechnern wie Apple-Silicon-Macs und DGX-Workstations ab.
Link:PocketAiHub
PocketAiHub hat eine inoffizielle Reihe von MLX-Konvertierungen des multimodalen Modells Qwen3.8-27B veröffentlicht. Durch 'Abliteration' wurde das antrainierte Verweigerungsverhalten (Refusals) modifiziert. Das Repository bietet Quantisierungen von 2-Bit AWQ bis BF16 speziell für Apple Silicon.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
