Repositoryggml-org/llama.cppTool
Das Projekt bietet Entwicklern und Teams eine schlanke Möglichkeit, LLM-Inferenz nativ in C/C++ ohne Python-Laufzeitumgebungen umzusetzen. Dank REST-Server und Docker-Unterstützung lässt sich die Inferenz direkt in bestehende Infrastrukturen integrieren.
Das Projekt löst das Problem, LLM-Inferenz performant und portabel in C/C++ bereitzustellen. Es basiert technisch auf C++ und dem GGML-Ökosystem und richtet sich an Entwickler sowie Betreiber, die Sprachmodelle lokal oder serverbasiert betreiben wollen. Angesichts von über 127.000 Sternen, mehr als 22.000 Forks, einer aktiven Maintainer-Basis, automatisierten Nightly- und Release-Builds sowie dokumentierten APIs (lib llama, llama-server REST API) weist das Projekt einen sehr hohen Reifegrad auf.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:google-ai-edge/LiteRT-LM
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
Repository:ollama/ollama
Ollama ist ein Open-Source-Framework in Go, mit dem Open-Weight-Modelle lokal ausgeführt, über APIs angesprochen und an Entwicklungswerkzeuge sowie Chat-Assistenten angebunden werden können.
180.203SterneGo
Repository:spark-arena/sparkrun
sparkrun ist ein Open-Source-CLI-Tool, mit dem LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen ohne Slurm oder Kubernetes bereitgestellt, überwacht und verwaltet werden.
491SternePython
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Repository:woelper/offgrid
offgrid ist eine portable Einzeldatei-Anwendung in Rust, die das Herunterladen, Ausführen und Bereitstellen von Sprachmodellen komplett offline ermöglicht. llama.cpp ist direkt einkompiliert, wodurch Python-Umgebungen und externe Server entfallen. Das Tool richtet sich an Entwickler, die ohne Cloud, Telemetrie oder Internetabhängigkeiten lokal arbeiten wollen.
4SterneRust
Link:Samarveer Singh
Samarveer Singh vergleicht die integrierte WebUI von llama.cpp mit Ollama für das lokale Hosting von Sprachmodellen. Während Ollama bei der Modellverwaltung und einfachen Installation überlegen bleibt, bietet llama.cpp spürbar schnellere Inferenz und tiefere Konfigurationsmöglichkeiten.
Ein Teil von diesem Inhalt wurde mit KI gemacht.
