RepositoryJustVugg/colibriTool
Riesige MoE-Modelle erfordern üblicherweise teure Rechenzentrums-GPUs mit enormen VRAM-Kapazitäten. Colibrì senkt diese Einstiegshürde dramatisch, indem es Inferenz auch mit geringem Arbeitsspeicher ermöglicht – relevant für lokale Forschung, Datenschutz und kostensensible Deployments.
Colibrì löst das Speicherproblem riesiger Frontier-Modelle durch Multitiering: Das System lagert ungenutzte Experten auf SSDs aus und lädt sie bedarfsgerecht nach. Technisch besticht das Projekt durch Minimalismus (reines C, zero dependencies, modulare Einzeldateien). Mit über 37.000 GitHub-Stars und Release v1.12.1 besitzt das Tool eine beachtliche Reife für ein Forschungsprojekt, wenngleich das Design explizit auf semantische Korrektheit statt fester Latenz-SLAs optimiert ist. Es richtet sich vor allem an Forschende und Entwickler, die extreme Modellgrößen ohne teure Cloud-GPU-Infrastruktur evaluieren wollen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die es ermöglicht, das 26-Milliarden-Parameter-Modell Gemma 4 26B-A4B mit einem minimalen Speicherbedarf von nur etwa 2 GB auf Apple Silicon Macs auszuführen. Durch ein intelligentes Streaming-Verfahren werden nur die benötigten Experten-Parameter von der SSD geladen, anstatt das gesamte Modell im Arbeitsspeicher zu halten.
6609SterneSwift
Link:inclusionAI
inclusionAI hat Ling-3.0-tiny veröffentlicht, ein leichtgewichtiges MoE-Modell mit 7,9 Milliarden Gesamtparametern, das pro Token nur 1,3 Milliarden Parameter aktiviert. Das Modell setzt auf eine hybride Architektur aus linearen Aufmerksamkeits- und Latent-Attention-Schichten und zielt auf recheneffizientes Reasoning sowie Agenten-Aufgaben auf lokaler Hardware ab.
Repository:MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks
Das GitHub-Repository von Mia's AI Lab bietet eine optimierte vLLM-Serving-Konfiguration für GLM-5.3-Flash mit 4-bpw-EXL3-Quantisierung auf zwei NVIDIA GB10 Systemen.
431SternePython
Repository:google-ai-edge/LiteRT-LM
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
