Repositoryspark-arena/sparkrunTool
Große Cluster-Manager wie Kubernetes oder Slurm bringen für reine Inferenz-Workloads oft erheblichen Administrationsaufwand mit sich. sparkrun bietet Teams mit NVIDIA-DGX-Spark-Hardware eine fokussierte CLI-Alternative, um Modelle schnell über mehrere Knoten hinweg produktiv bereitzustellen.
Das Projekt adressiert Betreiber von NVIDIA-DGX-Spark-Systemen, die Modelle schnell testen oder bereitstellen wollen, ohne einen vollen Orchestrierungs-Stack aufzusetzen. Technologisch setzt das Tool auf Python, gängige Inferenz-Engines (vLLM, SGLang, llama.cpp) und Paketierung via uv. Mit Versionsnummern im Bereich von v0.2.40 bis v0.3.0-alpha, rund 490 GitHub-Sternen und Apache-2.0-Lizenz befindet sich das Projekt in einem noch jungen, aber aktiven Stadium mit klarer Nischenausrichtung auf spezialisierte Hardware-Umgebungen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Repository:tonyd2wild/The-Sparky-Command-Center
The Sparky Command Center ist ein abhängigkeitsfreies Web-Dashboard zur Überwachung von DGX-Spark-Clustern und Linux-GPU-Systemen. Es erfasst Hardware-Telemetrie über SSH und Inferenzmetriken von vLLM oder llama.cpp ohne zusätzliche Datenbanken oder externe Python-Pakete.
40SternePython
Link:spark-arena.com
Spark Arena bietet ein öffentliches Leaderboard zum Leistungsvergleich von Large Language Models auf NVIDIA DGX Spark Hardware. Die Plattform nutzt Open-Source-Tools, um Benchmarks über verschiedene Runtime-Engines wie vLLM, SGLang, TensorRT-LLM und llama.cpp hinweg transparent abzubilden.
Repository:MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark
Ein Open-Source-Launcher und Docker-Setup, mit dem DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark mit 128 GiB Unified Memory ausgeführt werden kann.
328SternePython
Artikel:Inferact
Der Leitfaden erläutert den Betrieb von vLLM auf NVIDIAs Desk-Side-System DGX Spark (GB10). Durch den gemeinsamen 128-GB-Unified-Memory-Pool eignet sich das System besonders für lokale Inferenz mit NVFP4-MoE-Modellen wie Nemotron-3-Super.
Repository:LMCache/LMCache
LMCache ist ein Open-Source-Projekt unter Apache-2.0-Lizenz, das als spezialisierter Management-Layer für den KV-Cache bei LLM-Inferenz dient. Es optimiert Latenz und Kosten beim Serving von Sprachmodellen auf GPUs von Nvidia und AMD.
11.660SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
