Repositorygoogle-ai-edge/LiteRT-LMTool
On-Device-Inferenz minimiert Latenz, spart Serverkosten und schützt die Privatsphäre, da Daten das Endgerät nicht verlassen müssen. Durch vorkompilierte APIs und plattformübergreifende Werkzeuge vereinfacht LiteRT-LM die Integration lokaler Sprachmodelle in Desktop-, Mobile- und Embedded-Software.
LiteRT-LM löst das Problem, dass LLMs auf ressourcenbeschränkter Edge-Hardware oft nur mit hohem manuellem Optimierungsaufwand lauffähig sind. Es dient als Orchestrierungsschicht auf Basis von C++, LiteRT und XNNPACK/YNNPACK und bietet Schnittstellen für CLI, Python, JavaScript und native C-Bibliotheken. Das Projekt richtet sich an Entwickler von Mobil-, Web- und IoT-Anwendungen, die KI lokal einbinden wollen. Hinsichtlich der Reife befindet sich das Framework mit Version v0.16.0 formell noch in einer frühen Versionsphase, ist laut Google aber bereits produktionsreif und in eigenen Endgeräten wie Pixel Watch und Chromebook Plus im Feldeinsatz erprobt.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:ggml-org/llama.cpp
llama.cpp ist ein quelloffenes C/C++-Projekt der Organisation ggml-org, das auf LLM-Inferenz spezialisiert ist. Mit über 127.000 Sternen auf GitHub bietet es vorkompilierte Binärdateien, Docker-Container, REST-APIs und C-Bibliotheksanbindungen für den Betrieb von Sprachmodellen.
127.115SterneC++
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Artikel:Liquid AI
Liquid AI hat das Open-Weight-Modell LFM2.5-2.6B vorgestellt. Mit 2,6 Milliarden Parametern wurde es speziell für Agenten-Workflows optimiert und läuft vollständig lokal auf Smartphones, CPUs oder Rechenzentrums-GPUs.
Repository:ollama/ollama
Ollama ist ein Open-Source-Framework in Go, mit dem Open-Weight-Modelle lokal ausgeführt, über APIs angesprochen und an Entwicklungswerkzeuge sowie Chat-Assistenten angebunden werden können.
180.203SterneGo
Repository:JustVugg/colibri
Colibrì ist eine leichtgewichtige Open-Source-Inferenz-Engine in reinem C ohne externe Abhängigkeiten, die riesige Mixture-of-Experts-Modelle (MoE) von 744 Milliarden bis 2,8 Billionen Parametern auf gewöhnlicher Consumer- und heterogener Hardware ausführt. Durch mehrstufiges Speichermanagement (AI Memory Multitiering) werden Experten dynamisch von der Festplatte gestreamt.
37.671SterneC
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
