Repositoryggml-org/llama.cppTool
Das Projekt bietet Entwicklern und Teams eine schlanke Möglichkeit, LLM-Inferenz nativ in C/C++ ohne Python-Laufzeitumgebungen umzusetzen. Dank REST-Server und Docker-Unterstützung lässt sich die Inferenz direkt in bestehende Infrastrukturen integrieren.
Das Projekt löst das Problem, LLM-Inferenz performant und portabel in C/C++ bereitzustellen. Es basiert technisch auf C++ und dem GGML-Ökosystem und richtet sich an Entwickler sowie Betreiber, die Sprachmodelle lokal oder serverbasiert betreiben wollen. Angesichts von über 127.000 Sternen, mehr als 22.000 Forks, einer aktiven Maintainer-Basis, automatisierten Nightly- und Release-Builds sowie dokumentierten APIs (lib llama, llama-server REST API) weist das Projekt einen sehr hohen Reifegrad auf.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:google-ai-edge/LiteRT-LM
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
Repository:ollama/ollama
Ollama ist ein Open-Source-Framework in Go, mit dem Open-Weight-Modelle lokal ausgeführt, über APIs angesprochen und an Entwicklungswerkzeuge sowie Chat-Assistenten angebunden werden können.
180.203SterneGo
Repository:spark-arena/sparkrun
sparkrun ist ein Open-Source-CLI-Tool, mit dem LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen ohne Slurm oder Kubernetes bereitgestellt, überwacht und verwaltet werden.
491SternePython
Link:Samarveer Singh
Samarveer Singh vergleicht die integrierte WebUI von llama.cpp mit Ollama für das lokale Hosting von Sprachmodellen. Während Ollama bei der Modellverwaltung und einfachen Installation überlegen bleibt, bietet llama.cpp spürbar schnellere Inferenz und tiefere Konfigurationsmöglichkeiten.
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
