ArtikelSamuel BatistaSammlung
Für Entwickler und Architekten demonstriert DeepSeek V4, wie sich Context-Längen von einer Million Token durch mehrstufige Cache-Kompression und sparse Selektion effizient ohne exponentielle Hardwarekosten realisieren lassen.
Das größte Hindernis bei extrem langen Kontextfenstern ist der KV-Cache. Samuel Batista veranschaulicht anhand von DeepSeek V4-Pro, wie das Modell das quadratische Wachstum der Attention-Berechnung umgeht. Während ein Standard-Attention-Cache bei 1 Million Token unrentable Hunderte Gigabyte beanspruchen würde, reduziert V4 den Speicherbedarf drastisch.
Das Modell verwendet hierzu zwei komplementäre Mechanismen:
Statt eines einzelnen Residual-Streams transportiert V4 über Manifold-constrained Hyper-Connections (mHC) vier Listen, deren Austausch per Matrix-Normalisierung stabil gehalten wird, um Trainingsinstabilitäten zu verhindern. Auf Netzwerkebene sind pro Schicht 384 geroutete Experten (in 4-Bit gespeichert) vorhanden, von denen jeweils nur sechs sowie ein geteilter Experte genutzt werden. Dadurch werden pro Durchlauf nur etwa 49 Milliarden der insgesamt 1,6 Billionen Parameter aktiviert.
Der Trade-off liegt im potenziellen Informationsverlust: Durch HCA und Indexer-Selektion garantiert das System bei extrem langen Sequenzen kein perfektes Retrieval mehr. DeepSeek berichtet, dass Retrieval-Tests (MRCR) bis ca. 128.000 Token stabil bleiben und darüber hinaus abfallen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 10. November 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Simon Willison
DeepSeek hat mit DeepSeek-V4-Pro und DeepSeek-V4-Flash zwei neue Mixture-of-Experts-Modelle unter MIT-Lizenz veröffentlicht. Simon Willison analysiert deren Architektur, Token-Effizienz und die im Vergleich zu OpenAI, Google und Anthropic drastisch reduzierten API-Kosten.
Link:deepseek-ai
DeepSeek hat die Modelldokumentation und Gewichte für DeepSeek-V4-Pro-DSpark auf Hugging Face bereitgestellt. Es handelt sich um das MoE-Modell DeepSeek-V4-Pro mit einem integrierten Modul für spekulative Dekodierung (DSpark) zur Beschleunigung der Inferenz.
Artikel:DeepSeek AI
DeepSeek hat die Preview-Version von DeepSeek-V4 als Open Source freigegeben. Die Modellreihe umfasst die Varianten DeepSeek-V4-Pro und DeepSeek-V4-Flash, bietet standardmäßig ein Kontextfenster von einer Million Tokens und bringt neue Architekturen zur Rechenzeit- und Speicheroptimierung mit.
Link:deepseek-ai
DeepSeek-V4-Flash-0731 ist ein Mixture-of-Experts-Sprachmodell mit 13 Milliarden aktiven Parametern und einem Kontextfenster von rund einer Million Tokens. Der Modellkatalog von NVIDIA Build listet die Spezifikationen, Architektureigenschaften und Benchmarks für Coding- und Agenten-Workflows.
Repository:Tencent-Hunyuan/Hy4-preview
Das Tencent Hy Team hat Hy4-preview veröffentlicht, ein neues Mixture-of-Experts (MoE) Flaggschiff-Modell mit insgesamt 770 Milliarden Parametern, wovon 49 Milliarden pro Token aktiv sind. Es kombiniert MoE-Layer, Gated DeepSeek Sparse Attention und Multi-Token Prediction für spekulatives Decoding.
344SternePython
Link:deepseek-ai
DeepSeek-AI hat DeepSeek-V4-Flash-0731 offiziell auf Hugging Face veröffentlicht. Das 304-Milliarden-Parameter-Modell ersetzt die Preview-Version und bringt integrierte spekulative Decodierung (DSpark) sowie deutlich verbesserte Agenten-Fähigkeiten mit.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
