RepositoryMiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-SparksTool
Große MoE-Modelle wie GLM-5.3-Flash erfordern bei lokaler Bereitstellung enormen Speicher und extrem optimierte Kernels, um praktikable Latenzen zu erzielen. Das Setup demonstriert, wie hardwarenahe CUDA-Optimierungen und spekulative Dekodierung komplexe Modelle auf zwei GB10-Beschleunigern performant betreibbar machen.
Das Projekt richtet sich an ML-Engineers und Infrastrukturbetreiber, die das GLM-5.3-Flash-Modell auf Nvidia-GB10-Hardware hosten wollen. Durch den Verzicht auf Marlin-Backends und die Einführung von Kernel-Optimierungen für MoE-Schichten wird Host-Overhead minimiert. Der Reifegrad entspricht einem spezialisierten Performance-Rezept mit maßgeschneiderten Docker-Images und Messungen über sparkDash.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark
Ein Open-Source-Launcher und Docker-Setup, mit dem DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark mit 128 GiB Unified Memory ausgeführt werden kann.
328SternePython
X-Post:Mia
MiaAI-Lab hat ein Open-Source-Setup veröffentlicht, um DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark ohne Multi-Node-Cluster auszuführen.
71Lesezeichen9777Aufrufe
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Artikel:Elite Test Engineering
Ein Erfahrungsbericht dokumentiert das Aufsetzen des Modells DeepSeek-V4-Flash (284B MoE) über zwei DGX-Spark-Nodes mit Grace-Blackwell-Architektur mittels Ray und vLLM. Neben Hardware-Eigenheiten wie Unified Memory und NCCL-Bugs zeigt der Bericht, wie Multi-Token Prediction die Geschwindigkeit um 45 Prozent steigerte.
Artikel:Inferact
Der Leitfaden erläutert den Betrieb von vLLM auf NVIDIAs Desk-Side-System DGX Spark (GB10). Durch den gemeinsamen 128-GB-Unified-Memory-Pool eignet sich das System besonders für lokale Inferenz mit NVFP4-MoE-Modellen wie Nemotron-3-Super.
X-Post:Mia
Mia (@MiaAI_lab) berichtet über den Betrieb von Inkling-Small auf zwei NVIDIA DGX Spark mit einem Kontextfenster von einer Million Tokens via SGLang und dspark Speculative Drafts.
106Lesezeichen9536Aufrufe
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
