LinkTool
Viele lokale LLM-Laufzeitumgebungen fungieren als reine Ausführungs-Engines ohne tiefen Einblick in den Generierungsprozess. Inferencer kombiniert Inferenz mit detaillierter Beobachtbarkeit von Token-Wahrscheinlichkeiten und manuellen Steuerungseingriffen für Entwickler.
Das Tool zielt auf Entwickler und Power-User ab, die Sprachmodelle lokal betreiben und präzise steuern wollen. Neben Performance-Funktionen wie Prompt-Caching und verteilter Inferenz hebt sich die Software vor allem durch Debugging- und Steuerungselemente hervor: Token-Entropie visualisiert Unsicherheiten im Modell, während Prompt-Prefilling und MoE-Expert-Regulierung direkten Einfluss auf Ausgabequalität und Ressourceneinsatz bieten. Über Schnittstellen zu Tools wie GitHub Copilot, Continue.dev oder Zed lässt sich der lokale Server in bestehende Entwicklungs-Workflows einbinden.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:google-ai-edge/LiteRT-LM
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
Repository:ggml-org/llama.cpp
llama.cpp ist ein quelloffenes C/C++-Projekt der Organisation ggml-org, das auf LLM-Inferenz spezialisiert ist. Mit über 127.000 Sternen auf GitHub bietet es vorkompilierte Binärdateien, Docker-Container, REST-APIs und C-Bibliotheksanbindungen für den Betrieb von Sprachmodellen.
127.115SterneC++
Repository:JustVugg/colibri
Colibrì ist eine leichtgewichtige Open-Source-Inferenz-Engine in reinem C ohne externe Abhängigkeiten, die riesige Mixture-of-Experts-Modelle (MoE) von 744 Milliarden bis 2,8 Billionen Parametern auf gewöhnlicher Consumer- und heterogener Hardware ausführt. Durch mehrstufiges Speichermanagement (AI Memory Multitiering) werden Experten dynamisch von der Festplatte gestreamt.
37.671SterneC
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
