Repositorydrumih/turbo-fieldfareTool
Lokale LLM-Inferenz scheitert auf Standard-Hardware oft an zu geringem RAM, insbesondere bei Einsteiger-Macs mit 8 GB Speicher. Durch intelligentes Streaming von Mixture-of-Experts-Layern direkt von der SSD können auch größere Modelle ohne Cloud-Abhängigkeit und teure Hardware-Upgrades lokal betrieben werden.
Das Open-Source-Projekt von drumih zielt auf Nutzer ab, die moderne Open-Weights-Modelle lokal auf MacBooks mit minimaler Speicherausstattung betreiben wollen. Mit über 6.600 Stars, detaillierten Benchmarks und einer dedizierten Mac-App wirkt das Projekt bereits beachtlich ausgereift, erfordert durch den Fokus auf macOS 26 und Swift 6.2 jedoch eine sehr aktuelle Systemumgebung.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:JustVugg/colibri
Colibrì ist eine leichtgewichtige Open-Source-Inferenz-Engine in reinem C ohne externe Abhängigkeiten, die riesige Mixture-of-Experts-Modelle (MoE) von 744 Milliarden bis 2,8 Billionen Parametern auf gewöhnlicher Consumer- und heterogener Hardware ausführt. Durch mehrstufiges Speichermanagement (AI Memory Multitiering) werden Experten dynamisch von der Festplatte gestreamt.
37.671SterneC
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Repository:google-ai-edge/LiteRT-LM
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
Repository:PipeNetwork/kimi-k3-mlx
kimi-k3-mlx portiert Moonshots multimodales Kimi-K3-MoE-Modell (2,78 Billionen Parameter) auf Apples MLX-Framework. Da das Modell selbst im komprimierten Zustand zu groß für handelsübliche Apple-Silicon-Rechner ist, liefert das Projekt neben den Modell- und Vision-Wrappern einen Streaming-Konverter sowie Werkzeuge zum Pruning von Experten.
337SternePython
X-Post:Xuan-Son Nguyen
Xuan-Son Nguyen stellt ein neues Open-Source-Projekt aus der Reddit-Community vor: Eine Desktop-Suchanwendung für macOS, die auf dem Modell EmbeddingGemma 2 basiert und lokal via llama.cpp läuft.
154Lesezeichen11.881Aufrufe
Ein Teil von diesem Inhalt wurde mit KI gemacht.
