DeepSpec: Full-Stack-Framework für spekulative Dekodierung von DeepSeek

Repositorydeepseek-ai/DeepSpecTool

DeepSpec ist eine Open-Source-Codebasis von DeepSeek zum Trainieren und Evaluieren von Draft-Modellen für spekulatives Dekodieren. Die Suite deckt die gesamte Pipeline ab: Datenvorbereitung, Modelltraining auf Multi-GPU-Knoten und Benchmarking.

Das Wichtigste

  1. Vollständige Pipeline für spekulative Dekodierung: Datenextraktion, Draft-Modell-Training und Akzeptanzraten-Evaluation.
  2. Unterstützt Algorithmen wie Eagle3 und Zielmodelle wie Qwen3-4B, Qwen3-8B, Qwen3-14B sowie Gemma-4-12B-it.
  3. Erfordert für den Standard-Cache der Zieldaten erhebliche Speicherressourcen (rund 38 TB beim Standard-Setup Qwen3-4B).
  4. Standardmäßig auf Single-Node-Setups mit 8 GPUs ausgelegt.
  5. Umfassende Evaluierung über Standard-Benchmarks wie GSM8K, MATH500, AIME25, HumanEval, MBPP und MT-Bench.

Warum das relevant ist

Spekulatives Dekodieren ist eine Schlüsseltechnik, um die Inferenzlatenz großer Sprachmodelle deutlich zu senken. DeepSpec stellt den gesamten Workflow von Rohdaten bis hin zu einsatzbereiten Draft-Checkpoints unter MIT-Lizenz bereit und macht die Forschungsmethoden von DeepSeek reproduzierbar.

Einordnung

DeepSpec löst das Problem des hohen Entwicklungsaufwands beim Erstellen spezialisierter Draft-Modelle. Technologisch basiert das Projekt auf Python, PyTorch/CUDA und Anbindungen an Hugging Face. Zielgruppe sind ML-Forscher und Entwickler, die Inferenz-Engines im Produktivbetrieb beschleunigen wollen. Hinsichtlich der Reife präsentiert sich DeepSpec mit über 7.000 Sternen, MIT-Lizenz, verlinktem arXiv-Paper (2607.05147) und vorgefertigten Checkpoints als forschungserprobtes, produktionsnahes Werkzeug, setzt jedoch erhebliche Hardware- und Speicherressourcen voraus.

Erwähnte Links

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Link:deepseek-ai

    DeepSeek veröffentlicht DeepSeek-V4-Pro-DSpark mit spekulativer Dekodierung

    DeepSeek hat die Modelldokumentation und Gewichte für DeepSeek-V4-Pro-DSpark auf Hugging Face bereitgestellt. Es handelt sich um das MoE-Modell DeepSeek-V4-Pro mit einem integrierten Modul für spekulative Dekodierung (DSpark) zur Beschleunigung der Inferenz.

    KI & AI· Sammlung

  • Repository:MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark

    DeepSeek-v4-Flash auf einer einzelnen DGX Spark betreiben

    Ein Open-Source-Launcher und Docker-Setup, mit dem DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark mit 128 GiB Unified Memory ausgeführt werden kann.

    328SternePython

    KI & AI· Tool

  • Repository:github/spec-kit

    Spec Kit: Open-Source-Framework für spezifikationsgetriebene KI-Entwicklung

    Spec Kit von GitHub ist ein Open-Source-Toolkit für Spec-Driven Development (SDD). Es unterstützt Teams dabei, Softwareanforderungen vor der Code-Generierung präzise zu definieren und mit beliebigen KI-Coding-Agenten strukturiert umzusetzen.

    133.552SternePython

    KI & AI· Tool

  • Repository:NVIDIA/Model-Optimizer

    NVIDIA Model Optimizer: Einheitliche Bibliothek für LLM- und Deep-Learning-Kompression

    NVIDIA Model Optimizer (ModelOpt) bündelt Methoden zur Modellkompression und Beschleunigung wie Quantisierung, Pruning, Destillation und Speculative Decoding. Die Bibliothek verarbeitet PyTorch-, Hugging-Face- sowie ONNX-Modelle und exportiert optimierte Checkpoints für Inferenz-Engines wie TensorRT-LLM, vLLM und SGLang.

    5035SternePython

    KI & AI· Tool

Zurück zur Wissensbasis

Sprechen wir über Ihr Projekt.

Kontakt

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.