Tencent veröffentlicht MoE-Modell Hy4-preview unter Apache-2.0-Lizenz

LinkTencent Hy TeamAnkündigung

Das Tencent Hy Team hat Hy4-preview als quelloffenes Mixture-of-Experts-Modell (MoE) mit 770 Milliarden Gesamtparametern und 49 Milliarden aktiven Parametern pro Token vorgestellt. Das Flaggschiff-Modell bietet ein Kontextfenster von 1 Million Tokens und wurde für Aufgaben in Softwareentwicklung, Büroarbeit und wissenschaftlicher Forschung optimiert.

Das Wichtigste

  1. Architektur mit 770B Gesamtparametern (49B aktiv pro Token), 78 Layern (davon 77 MoE mit 256 gerouteten und 1 geteilten Experten) sowie 1M Kontextlänge.
  2. Einsatz von Gated DeepSeek Sparse Attention (Gated DSA) mit IndexCache sowie nativen MTP-Layern (Multi-Token Prediction) für spekulatives Decoding.
  3. Optimiert auf Coding, Tabellen-, Dokumenten- und Datenanalyse sowie Zusammenarbeit mit Tencent-Tools wie CodeBuddy und WorkBuddy.
  4. Offizielle Bereitstellung über Docker-Images für vLLM und SGLang sowie Veröffentlichung unter der Apache-2.0-Lizenz (inklusive FP8-Variante).
  5. Bekannte Einschränkungen der Vorschauversion umfassen überlange Denkzeiten bei komplexen Aufgaben und eine Neigung zur Überprüfung bereits gelöster Schritte.

Warum das relevant ist

Hy4-preview demonstriert die fortschreitende Skalierung extrem grosser MoE-Architekturen mit sparsamer Token-Aktivierung im Open-Source-Umfeld. Durch die Apache-2.0-Lizenz und optimierte Inferenz-Pipelines für vLLM und SGLang steht Entwicklern eine leistungsfähige Grundlage für lokale Agenten- und Coding-Workflows mit grossen Kontextfenstern zur Verfügung.

Einordnung

Tencent kombiniert architektonische Ansätze wie DeepSeeks Sparse Attention mit eigenen Erweiterungen wie IndexCache und Hyper-Connections, um trotz 770 Milliarden Parametern beherrschbare Inferenzkosten zu erreichen. Der Fokus auf praxisbezogene Benchmarks in Software-Engineering und Datenanalyse zeigt, dass das Modell gezielt für agentenbasierte Entwicklungs- und Arbeitsumgebungen konzipiert wurde. Die transparente Benennung von Schwächen bei Reasoning-Laufzeiten deutet darauf hin, dass Post-Training und Chain-of-Thought-Kalibrierung in kommenden Versionen noch verfeinert werden müssen.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:Tencent-Hunyuan/Hy4-preview

    Tencent Hunyuan stellt Hy4-preview vor: 770B MoE-Modell mit Sparse Attention

    Das Tencent Hy Team hat Hy4-preview veröffentlicht, ein neues Mixture-of-Experts (MoE) Flaggschiff-Modell mit insgesamt 770 Milliarden Parametern, wovon 49 Milliarden pro Token aktiv sind. Es kombiniert MoE-Layer, Gated DeepSeek Sparse Attention und Multi-Token Prediction für spekulatives Decoding.

    344SternePython

    KI & AI· Ankündigung

  • Link:deepseek-ai

    DeepSeek veröffentlicht DeepSeek-V4-Pro-DSpark mit spekulativer Dekodierung

    DeepSeek hat die Modelldokumentation und Gewichte für DeepSeek-V4-Pro-DSpark auf Hugging Face bereitgestellt. Es handelt sich um das MoE-Modell DeepSeek-V4-Pro mit einem integrierten Modul für spekulative Dekodierung (DSpark) zur Beschleunigung der Inferenz.

    KI & AI· Sammlung

  • Artikel:DeepSeek AI

    DeepSeek veröffentlicht DeepSeek-V4 Preview als Open Source mit 1M Kontext

    DeepSeek hat die Preview-Version von DeepSeek-V4 als Open Source freigegeben. Die Modellreihe umfasst die Varianten DeepSeek-V4-Pro und DeepSeek-V4-Flash, bietet standardmäßig ein Kontextfenster von einer Million Tokens und bringt neue Architekturen zur Rechenzeit- und Speicheroptimierung mit.

    KI & AI· Ankündigung

  • Link:Xiaomi MiMo Team

    Xiaomi veröffentlicht MiMo-V2.5-Pro als Open-Source-Modell

    Xiaomi hat MiMo-V2.5-Pro vorgestellt, ein quelloffenes Mixture-of-Experts-Modell mit 1,02 Billionen Parametern und 42 Milliarden aktiven Parametern. Das Modell bietet ein Kontextfenster von bis zu 1 Million Tokens und zielt speziell auf komplexe Agenten-Workflows und langanhaltende Software-Engineering-Aufgaben ab.

    KI & AI· Ankündigung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.