X-Post0xSeroDiskussion
Effiziente Quantisierungsmethoden ermöglichen es, große Sprachmodelle mit geringerem Speicherbedarf und hohen Geschwindigkeiten auszuführen, erfordern bei Spitzenlasten jedoch weiterhin erhebliche Hardware-Ressourcen.
Der Autor zeigt sich überrascht über das Verhältnis von Benchmark-Trefferquote und Durchsatz bei starker 3-Bit-Quantisierung. Konkrete Details zum zugrunde liegenden Modell oder Hardware-Setup werden im kurzen Beitrag nicht genannt.
0xSero
@0xSero · 27. Juli 2026
How the heck is this possible scoring 78.6% @ exl-3bits 100 tok/s 1400w at peak. t.co/v3Tck0uSXJ
91 Likes5 Antworten36 Lesezeichen11.045 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:Udi Wertheimer
Udi Wertheimer hebt die Ankündigung von PrismMLs Ternary Bonsai 2 27B hervor. Das Modell basiert auf Qwen3.8 27B, benötigt lediglich 5,9 GB Speicher und soll laut Hersteller 98,2 % der Benchmark-Leistung des Vollpräzisionsmodells erreichen.
1468Lesezeichen260.139Aufrufe
Artikel:Nemo, DGX Spark & Local Inference Engineer
Ein lokaler Test von Qwen3.8-Flash-Next NVFP4 auf einem einzelnen NVIDIA DGX Spark (GB10) erzielt im smf-bench Official A 87,3 % und übertrifft damit frühere Ergebnisse eines Dual-Spark-Setups mit DeepSeek V4.
X-Post:Mike Gannotti
Ein Testbericht von SMF Clearinghouse zeigt, dass das Modell Qwen3.8-Flash-Next (NVFP4) auf einer einzelnen NVIDIA DGX Spark (GB10) im Benchmark 'smf-bench Official A' 87,3 % erreicht hat. Damit übertrifft die Einzel-Node-Konfiguration das bisherige Dual-Spark-Setup von DeepSeek V4 Vision-Exp bei der Ausgabequalität, insbesondere im Bereich Coding.
17Lesezeichen2254Aufrufe
Repository:syv-ai/qwen38-27b-rtx3090
Das Repository bietet eine optimierte Serving-Lösung, um das Modell Qwen3.8-27B auf einer einzigen Consumer-Grafikkarte (RTX 3090 mit 24 GB VRAM) mit vLLM 0.28.0 und bis zu 150k–262k Kontextlänge zu betreiben.
1142SternePython
X-Post:Wei
Wei hat ein Dual-DGX-Spark-Setup mit Taktraten zwischen 1400 und 2200 MHz getestet, um die ideale Konfiguration für den Produktivbetrieb zu ermitteln. Die Wahl fiel auf 1800 MHz, da diese Frequenz rund 30 % Strom spart und die Spitzenhitze um 5–7 °C senkt, während der Leistungsverlust minimal bleibt.
163Lesezeichen7787Aufrufe
Artikel:unsloth.ai
Die Dokumentation von Unsloth präsentiert Benchmark-Ergebnisse für das Finetuning von LLMs auf NVIDIA-GPUs. Im Vergleich zur Kombination aus Hugging Face und FlashAttention-2 erreicht Unsloth bei Modellen wie Llama 3.1 und Llama 3.3 eine Verdopplung der Geschwindigkeit, spart über 70 Prozent VRAM ein und ermöglicht deutlich längere Kontextfenster.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
