LinkTool
Viele lokale LLM-Laufzeitumgebungen fungieren als reine Ausführungs-Engines ohne tiefen Einblick in den Generierungsprozess. Inferencer kombiniert Inferenz mit detaillierter Beobachtbarkeit von Token-Wahrscheinlichkeiten und manuellen Steuerungseingriffen für Entwickler.
Das Tool zielt auf Entwickler und Power-User ab, die Sprachmodelle lokal betreiben und präzise steuern wollen. Neben Performance-Funktionen wie Prompt-Caching und verteilter Inferenz hebt sich die Software vor allem durch Debugging- und Steuerungselemente hervor: Token-Entropie visualisiert Unsicherheiten im Modell, während Prompt-Prefilling und MoE-Expert-Regulierung direkten Einfluss auf Ausgabequalität und Ressourceneinsatz bieten. Über Schnittstellen zu Tools wie GitHub Copilot, Continue.dev oder Zed lässt sich der lokale Server in bestehende Entwicklungs-Workflows einbinden.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Repository:mw00/project-maya
Project Maya ist eine Open-Source-Inferenz-Engine zum lokalen Betrieb riesiger MoE-Modelle auf eigener Hardware. Durch mehrstufiges Caching auf GPU, RAM und NVMe-SSD lassen sich Modelle mit bis zu 748 Milliarden Parametern ohne Cloud-Abhängigkeit ausführen. Die Lösung richtet sich an Entwickler und Teams mit hohen Anforderungen an Privatsphäre und Autonomie.
2099SterneCuda
Repository:woelper/offgrid
offgrid ist eine portable Einzeldatei-Anwendung in Rust, die das Herunterladen, Ausführen und Bereitstellen von Sprachmodellen komplett offline ermöglicht. llama.cpp ist direkt einkompiliert, wodurch Python-Umgebungen und externe Server entfallen. Das Tool richtet sich an Entwickler, die ohne Cloud, Telemetrie oder Internetabhängigkeiten lokal arbeiten wollen.
4SterneRust
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Ein Teil von diesem Inhalt wurde mit KI gemacht.
