RepositoryJustVugg/colibriTool
Riesige MoE-Modelle erfordern üblicherweise teure Rechenzentrums-GPUs mit enormen VRAM-Kapazitäten. Colibrì senkt diese Einstiegshürde dramatisch, indem es Inferenz auch mit geringem Arbeitsspeicher ermöglicht – relevant für lokale Forschung, Datenschutz und kostensensible Deployments.
Colibrì löst das Speicherproblem riesiger Frontier-Modelle durch Multitiering: Das System lagert ungenutzte Experten auf SSDs aus und lädt sie bedarfsgerecht nach. Technisch besticht das Projekt durch Minimalismus (reines C, zero dependencies, modulare Einzeldateien). Mit über 37.000 GitHub-Stars und Release v1.12.1 besitzt das Tool eine beachtliche Reife für ein Forschungsprojekt, wenngleich das Design explizit auf semantische Korrektheit statt fester Latenz-SLAs optimiert ist. Es richtet sich vor allem an Forschende und Entwickler, die extreme Modellgrößen ohne teure Cloud-GPU-Infrastruktur evaluieren wollen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Repository:mw00/project-maya
Project Maya ist eine Open-Source-Inferenz-Engine zum lokalen Betrieb riesiger MoE-Modelle auf eigener Hardware. Durch mehrstufiges Caching auf GPU, RAM und NVMe-SSD lassen sich Modelle mit bis zu 748 Milliarden Parametern ohne Cloud-Abhängigkeit ausführen. Die Lösung richtet sich an Entwickler und Teams mit hohen Anforderungen an Privatsphäre und Autonomie.
2099SterneCuda
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:inclusionAI/Ling
InclusionAI stellt mit Ling eine Open-Source-Modellfamilie auf Basis einer Mixture-of-Experts-Architektur (MoE) bereit. Die Modelle erscheinen in zwei Größen: Ling-lite (16,8 Milliarden Gesamtparameter, 2,75 Milliarden aktivierte Parameter) und Ling-plus (290 Milliarden Gesamtparameter, 28,8 Milliarden aktivierte Parameter).
267SternePython
Repository:PipeNetwork/kimi-k3-mlx
kimi-k3-mlx portiert Moonshots multimodales Kimi-K3-MoE-Modell (2,78 Billionen Parameter) auf Apples MLX-Framework. Da das Modell selbst im komprimierten Zustand zu groß für handelsübliche Apple-Silicon-Rechner ist, liefert das Projekt neben den Modell- und Vision-Wrappern einen Streaming-Konverter sowie Werkzeuge zum Pruning von Experten.
337SternePython
Ein Teil von diesem Inhalt wurde mit KI gemacht.
