RepositoryPipeNetwork/kimi-k3-mlxTool
Kimi-K3 demonstriert die Grenzen lokaler LLM-Inferenz auf Apple Silicon. Das Repository zeigt, wie neue Modellarchitekturen (wie LatentMoE und KDA) für MLX implementiert und Multiterabyte-Gewichte via Streaming verarbeitet werden können, selbst wenn die Ausführung verteilte Cluster oder extremes Pruning voraussetzt.
Das Projekt richtet sich an ML-Entwickler und Forschende, die neuartige MoE- und Aufmerksamkeitsmechanismen unter MLX untersuchen wollen. Es löst das Skalierungsproblem bei der Konvertierung riesiger Modelle durch Streaming direkt von Hugging Face. Der Reifegrad der mathematischen Portierung (etwa die fp32-Berechnung von SiTU-GLU gegen bf16-Rundungsfehler) ist hoch, die praktische Nutzbarkeit im Alltag bleibt jedoch durch die 512-GB-Speicherbegrenzung von Einzel-Macs stark eingeschränkt.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:PocketAiHub
PocketAiHub hat eine inoffizielle Reihe von MLX-Konvertierungen des multimodalen Modells Qwen3.8-27B veröffentlicht. Durch 'Abliteration' wurde das antrainierte Verweigerungsverhalten (Refusals) modifiziert. Das Repository bietet Quantisierungen von 2-Bit AWQ bis BF16 speziell für Apple Silicon.
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Repository:studio-dots-ai/dots3-note-prev
Dots Studio hat mit dots3-note preview das erste Open-Weight-Modell der dots3-Reihe veröffentlicht. Die Mixture-of-Experts-Architektur kombiniert 280 Milliarden Gesamtparameter mit 16 Milliarden aktivierten Parametern und unterstützt multimodale Eingaben sowie bis zu 512.000 Kontext-Token.
123Sterne
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:JustVugg/colibri
Colibrì ist eine leichtgewichtige Open-Source-Inferenz-Engine in reinem C ohne externe Abhängigkeiten, die riesige Mixture-of-Experts-Modelle (MoE) von 744 Milliarden bis 2,8 Billionen Parametern auf gewöhnlicher Consumer- und heterogener Hardware ausführt. Durch mehrstufiges Speichermanagement (AI Memory Multitiering) werden Experten dynamisch von der Festplatte gestreamt.
37.671SterneC
X-Post:Trevor Wood
Trevor Wood und das PocketAI Model Lab haben optimierte MLX-Versionen des Modells Qwen3.8-27B für Apple Silicon veröffentlicht. Bei diesen Varianten wurden die antrainierten Verweigerungsmechanismen („Abliteration“) entfernt, und sie stehen in Quantisierungen von 2-Bit bis BF16 zur Verfügung.
3198Lesezeichen199.030Aufrufe
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
