3 Einträge
Schlagwort: rayArtikel:Elite Test Engineering
Ein Erfahrungsbericht dokumentiert das Aufsetzen des Modells DeepSeek-V4-Flash (284B MoE) über zwei DGX-Spark-Nodes mit Grace-Blackwell-Architektur mittels Ray und vLLM. Neben Hardware-Eigenheiten wie Unified Memory und NCCL-Bugs zeigt der Bericht, wie Multi-Token Prediction die Geschwindigkeit um 45 Prozent steigerte.
Aus Video: Testing DeepSeek V4 Flash on a Clustered DGX Spark and Acer GN100
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
VideoVideo:EliteTestEngineering
EliteTestEngineering demonstriert den Betrieb von DeepSeek V4 Flash auf einem Two-Node-Cluster aus einem DGX Spark und einem Acer GN100. Das MoE-Modell erreicht dabei Inferenzgeschwindigkeiten von 10 bis 16,5 Tokens pro Sekunde, stößt jedoch bei wachsendem Kontext schnell an Speichergrenzen.
3 von 3 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
