RepositoryLMCache/LMCacheTool
Bei Multi-Turn-Interaktionen und langen Prompts in Agent-Workflows bildet der KV-Cache ein Nadelöhr im GPU-Speicher. Durch Auslagern und Teilen über CPU-RAM und Netzknoten hinweg lassen sich Infrastrukturkosten senken und Durchsätze bei LLM-Hostings deutlich steigern.
Das Projekt weist mit über 11.000 Sternen, Partnerschaften mit Cloud-Anbietern wie CoreWeave und der Aufnahme in die PyTorch Foundation eine hohe Reife auf. Für Betreiber eigener LLM-Infrastruktur mit vLLM bietet LMCache praxistaugliche Architekturverbesserungen für anspruchsvolle Agent- und MoE-Szenarien.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:lmcache.ai
LMCache ist eine modulare Open-Source-Infrastruktur für den Key-Value-Cache (KV-Cache) bei LLM-Inferenzen. Das System speichert, komprimiert, durchsucht und teilt vorberechnete KV-Caches über GPU-, CPU- und externe Speicher hinweg, um redundante Prefill-Berechnungen zu minimieren.
Repository:spark-arena/sparkrun
sparkrun ist ein Open-Source-CLI-Tool, mit dem LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen ohne Slurm oder Kubernetes bereitgestellt, überwacht und verwaltet werden.
491SternePython
X-Post:0xSero
Ein technischer Leitfaden von Avi Chawla, geteilt von 0xSero, erklärt die Mechanismen des Key-Value-Cachings (KV-Caching) in Transformern. Das Verfahren verhindert redundante Berechnungen bei der autoregressiven Generierung von Tokens und beschleunigt die Inferenz in der Praxis um etwa das Fünffache, verlagert den Engpass jedoch auf den GPU-Speicher.
343Lesezeichen36.448Aufrufe
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Repository:hhhuang/CAG
Das Open-Source-Repository CAG stellt Cache-Augmented Generation als schlanke Alternative zu Retrieval-Augmented Generation (RAG) vor. Statt Dokumente zur Laufzeit über Vektordatenbanken abzurufen, wird der gesamte Wissensbestand vorab in das Kontextfenster geladen und als KV-Cache vorgehalten.
1540SternePython
Repository:MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks
Das GitHub-Repository von Mia's AI Lab bietet eine optimierte vLLM-Serving-Konfiguration für GLM-5.3-Flash mit 4-bpw-EXL3-Quantisierung auf zwei NVIDIA GB10 Systemen.
431SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
