ArtikelJoe RossignolNews
Die lokale Ausführung von Sprachmodellen verringert die Abhängigkeit von externen Servern wie Apples Private Cloud Compute. Dies spart Infrastrukturkosten und stellt sicher, dass Nutzerdaten das Endgerät nicht verlassen müssen.
Bisherige On-Device-Modelle wie AFM 3 Core Advanced sparen Ressourcen durch Sparse-Architekturen ein, bei denen nur ein Bruchteil des Modells aktiv rechnet. Wenn PrismML 27 Milliarden aktive Parameter auf einem Smartphone ausführen kann, verringert dies den Leistungsabstand zwischen lokaler Edge-KI und großen Cloud-Diensten erheblich.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:trendforce.com
Das Caltech-Spinout PrismML hat Alibabas Open-Source-Modell Qwen 3.6 von etwa 54 GB auf unter 4 GB komprimiert, um es direkt auf dem iPhone 17 Pro auszuführen. Laut Medienberichten prüft Apple die Technologie, um mehr On-Device-KI-Funktionen ohne Cloud-Anbindung anzubieten.
Link:prismml.com
PrismML stellt mit der Bonsai-Modellfamilie extrem komprimierte KI-Modelle vor, die auf Forschungsarbeiten am Caltech basieren. Das Flaggschiff Bonsai 27B läuft als 1-Bit-Variante direkt auf Smartphones und benötigt lediglich 3,9 GB Speicherplatz.
Link:PocketAiHub
PocketAiHub hat eine inoffizielle Reihe von MLX-Konvertierungen des multimodalen Modells Qwen3.8-27B veröffentlicht. Durch 'Abliteration' wurde das antrainierte Verweigerungsverhalten (Refusals) modifiziert. Das Repository bietet Quantisierungen von 2-Bit AWQ bis BF16 speziell für Apple Silicon.
X-Post:Hamid Maei
PrismML hat Ternary Bonsai 2 27B vorgestellt, eine stark komprimierte Version von Qwen3.8 27B. Das Modell ist neunmal kleiner als das Original, belegt nur 5,9 GB Speicher und erreicht laut Anbieter 98,2 Prozent der Benchmark-Leistung.
97Lesezeichen20.996Aufrufe
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
