Moonshot AI veröffentlicht Kimi K3: Open-Weight-MoE-Modell mit 2,8 Billionen Parametern

LinkMoonshot AIAnkündigung

Moonshot AI hat Kimi K3 bereitgestellt, ein multimodales Agentenmodell mit offenen Gewichten, 2,8 Billionen Parametern und einem Kontextfenster von 1 Million Token. Das Modell nutzt eine Sparse-MoE-Architektur mit 104 Milliarden aktivierten Parametern pro Token.

Das Wichtigste

  1. 2,8 Billionen Gesamtparameter im Mixture-of-Experts-Design (MoE), wovon pro Token 16 aus 896 Experten (104 Milliarden Parameter) gewählt werden.
  2. Architektur kombiniert 69 Kimi Delta Attention (KDA)- und 24 Gated MLA-Schichten mit Attention Residuals (AttnRes) und dem MoonViT-V2 Vision Encoder (401M Parameter).
  3. Unterstützt ein Kontextfenster von 1.048.576 Token für multimodale Eingaben (Text, Bild, Video).
  4. Verwendet Quantization-Aware Training mit nativer MXFP4-Gewichtung und MXFP8-Aktivierungen.
  5. Offene Gewichte unter der Kimi-K3-Lizenz mit Inferenzunterstützung für Transformers, vLLM, SGLang und Docker.

Warum das relevant ist

Kimi K3 ist das erste offene Modell der 3-Billionen-Parameter-Klasse und zielt auf langanhaltende Programmier- sowie Wissensaufgaben ab. Benchmark-Vergleiche stellen das Modell neben proprietäre Systeme wie Claude Fable 5 und GPT-5.6 Sol.

Einordnung

Moonshot AI setzt auf eine hohe MoE-Sparsity: Durch das Zusammenspiel von LatentMoE und Kimi Delta Attention soll die Skalierungseffizienz gegenüber Kimi K2 um das 2,5-Fache steigen. Trotz der Modellgröße von 2,8T Parametern reduzieren die 104B aktivierten Parameter und die MXFP4-Quantisierung den Rechenaufwand bei der Inferenz.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 8. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:PipeNetwork/kimi-k3-mlx

    kimi-k3-mlx: Portierung des 2,78-Billionen-Parameter-MoE-Modells für Apple Silicon

    kimi-k3-mlx portiert Moonshots multimodales Kimi-K3-MoE-Modell (2,78 Billionen Parameter) auf Apples MLX-Framework. Da das Modell selbst im komprimierten Zustand zu groß für handelsübliche Apple-Silicon-Rechner ist, liefert das Projekt neben den Modell- und Vision-Wrappern einen Streaming-Konverter sowie Werkzeuge zum Pruning von Experten.

    337SternePython

    KI & AI· Tool

  • Repository:studio-dots-ai/dots3-note-prev

    dots3-note preview: Open-Weight MoE-Modell mit 280B Parametern und 512K Kontext

    Dots Studio hat mit dots3-note preview das erste Open-Weight-Modell der dots3-Reihe veröffentlicht. Die Mixture-of-Experts-Architektur kombiniert 280 Milliarden Gesamtparameter mit 16 Milliarden aktivierten Parametern und unterstützt multimodale Eingaben sowie bis zu 512.000 Kontext-Token.

    123Sterne

    KI & AI· Ankündigung

  • Link:Xiaomi MiMo Team

    Xiaomi veröffentlicht MiMo-V2.5-Pro als Open-Source-Modell

    Xiaomi hat MiMo-V2.5-Pro vorgestellt, ein quelloffenes Mixture-of-Experts-Modell mit 1,02 Billionen Parametern und 42 Milliarden aktiven Parametern. Das Modell bietet ein Kontextfenster von bis zu 1 Million Tokens und zielt speziell auf komplexe Agenten-Workflows und langanhaltende Software-Engineering-Aufgaben ab.

    KI & AI· Ankündigung

  • Link:ornith-ai

    Ornith-1.5-397B: Open-Source-MoE-Modell mit Fokus auf Coding und Reasoning

    ornith-ai hat das multimodale Mixture-of-Experts-Modell Ornith-1.5-397B unter MIT-Lizenz veröffentlicht. Das 397 Milliarden Parameter schwere Modell setzt auf kontinuierliche Selbstverbesserung und erzielt in Programmier- und Reasoning-Benchmarks Ergebnisse auf dem Niveau führender proprietärer Modelle.

    KI & AI· Sammlung

  • Link:Z.ai

    Z.ai veröffentlicht GLM-5.3-Flash als multimodales Open-Source-Modell

    Z.ai hat mit GLM-5.3-Flash das erste nativ multimodale Modell der GLM-5-Reihe unter MIT-Lizenz auf Hugging Face bereitgestellt. Mit 320 Milliarden Gesamtparametern und 18 Milliarden aktiven Parametern zielt das Modell auf hohe Effizienz bei Programmier- und Agenten-Workloads ab.

    KI & AI· Tool

  • Link:Qwen

    Qwen3.8-27B: Multimodales 27B-Modell mit Hybrid-Architektur und Denkmodus

    Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.

    KI & AI· Sammlung

Sprechen wir über Ihr Projekt.

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.