LinkJames & MiloSammlung
Für kleinere Labore und Entwickler-Teams zeigt das Projekt, wie sich High-Performance-Inference-Hardware ohne teure Rechenzentrumsschränke oder NVIDIA-Spectrum-Switches kostengünstig und platzsparend betreiben lässt.
James und Milo demonstrieren einen pragmatischen Hardware-Ansatz für DGX Sparks mit GB10-Architektur. Statt auf standardisierte Server-Racks zu setzen, dient ein modifiziertes Drahtregal als Gehäuse. Bemerkenswert sind die praktischen Hürden: Die DGX-Spark-Nodes teilen sich intern PCIe-Bandbreite, weshalb pro Node ein 200G-DAC genügt. Zudem offenbart der Bericht Software-Tücken in DGX OS 7.6.0, wo neuere Kernel RDMA unter Last blockieren und ein gezieltes Downgrade erfordern.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 9. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Artikel:Inferact
Der Leitfaden erläutert den Betrieb von vLLM auf NVIDIAs Desk-Side-System DGX Spark (GB10). Durch den gemeinsamen 128-GB-Unified-Memory-Pool eignet sich das System besonders für lokale Inferenz mit NVFP4-MoE-Modellen wie Nemotron-3-Super.
X-Post:C. Michael Gibbs
C. Michael Gibbs beschreibt eine Kühlungslösung für Nvidia-DGX-Spark-Systeme in einem Rack-Gehäuse. Mit sechs Noctua-Lüftern und gezieltem Luftstrom soll die Lebensdauer und Performance der Hardware gesichert werden.
42Lesezeichen7491Aufrufe
Repository:spark-arena/sparkrun
sparkrun ist ein Open-Source-CLI-Tool, mit dem LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen ohne Slurm oder Kubernetes bereitgestellt, überwacht und verwaltet werden.
491SternePython
Repository:MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark
Ein Open-Source-Launcher und Docker-Setup, mit dem DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark mit 128 GiB Unified Memory ausgeführt werden kann.
328SternePython
Link:NVIDIA
NVIDIA stellt mit dem DGX Spark einen kompakten Desktop-Supercomputer vor, der speziell auf lokale autonome Agenten und generative KI-Workloads ausgelegt ist. Das System basiert auf dem GB10 Grace Blackwell Superchip und bietet 128 GB kohärenten Unified Memory.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
