X-PostMiaAnkündigung
Große Kontextfenster bei multimodaler Inferenz erfordern performante Serving-Lösungen; der Einsatz von Speculative Decoding in SGLang zeigt hier konkrete Durchsatzwerte auf DGX-Hardware.
Der Post demonstriert konkrete Durchsatzdaten für Inkling-Small bei vollem 1M-Kontext unter Verwendung von SGLang und spekulativem Drafting. Bemerkenswert ist die Gegenüberstellung mit DeepSeek V4 Flash, wobei hervorgehoben wird, dass Inkling-Small multimodale Eingaben (Text, Bild, Audio, Video) unterstützt.
Mia
@MiaAI_lab · 2. August 2026
Run Inkling-Small on 2x @NVIDIAAI DGX Spark with 1M context ✨ - SGLang with dspark speculative drafts ~34 tok/s (single stream) ~79 tok/s (6 concurrent sessions) Unlike DeepSeek V4 Flash which supports only text, Inkling-Small also supports images, audio, and video. Special
129 Likes13 Antworten106 Lesezeichen9536 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:Mia
MiaAI-Lab hat ein Open-Source-Setup veröffentlicht, um DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark ohne Multi-Node-Cluster auszuführen.
71Lesezeichen9777Aufrufe
Repository:MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark
Ein Open-Source-Launcher und Docker-Setup, mit dem DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark mit 128 GiB Unified Memory ausgeführt werden kann.
328SternePython
Artikel:Elite Test Engineering
Ein Erfahrungsbericht dokumentiert das Aufsetzen des Modells DeepSeek-V4-Flash (284B MoE) über zwei DGX-Spark-Nodes mit Grace-Blackwell-Architektur mittels Ray und vLLM. Neben Hardware-Eigenheiten wie Unified Memory und NCCL-Bugs zeigt der Bericht, wie Multi-Token Prediction die Geschwindigkeit um 45 Prozent steigerte.
X-Post:Mia
Mia (@MiaAI_lab) hat ein Performance-Update für das Modell Qwen3.8 Flash Next auf einem einzelnen DGX Spark vorgestellt. Die Aktualisierung steigert die Generierungsrate auf bis zu 108 Tokens pro Sekunde bei mehreren Streams und erweitert den KV-Cache auf 1M.
520Lesezeichen75.709Aufrufe
X-Post:Mike Gannotti
Ein Testbericht von SMF Clearinghouse zeigt, dass das Modell Qwen3.8-Flash-Next (NVFP4) auf einer einzelnen NVIDIA DGX Spark (GB10) im Benchmark 'smf-bench Official A' 87,3 % erreicht hat. Damit übertrifft die Einzel-Node-Konfiguration das bisherige Dual-Spark-Setup von DeepSeek V4 Vision-Exp bei der Ausgabequalität, insbesondere im Bereich Coding.
17Lesezeichen2254Aufrufe
VideoVideo:EliteTestEngineering
EliteTestEngineering demonstriert den Betrieb von DeepSeek V4 Flash auf einem Two-Node-Cluster aus einem DGX Spark und einem Acer GN100. Das MoE-Modell erreicht dabei Inferenzgeschwindigkeiten von 10 bis 16,5 Tokens pro Sekunde, stößt jedoch bei wachsendem Kontext schnell an Speichergrenzen.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
