Repository:Tencent-Hunyuan/Hy4-preview
Tencent Hunyuan stellt Hy4-preview vor: 770B MoE-Modell mit Sparse Attention
Das Tencent Hy Team hat Hy4-preview veröffentlicht, ein neues Mixture-of-Experts (MoE) Flaggschiff-Modell mit insgesamt 770 Milliarden Parametern, wovon 49 Milliarden pro Token aktiv sind. Es kombiniert MoE-Layer, Gated DeepSeek Sparse Attention und Multi-Token Prediction für spekulatives Decoding.
344SternePython