Kimi K3: das vollständige technische Datenblatt verständlich erklärt
Moonshot AI beschreibt Kimi K3 als offenes, nativ multimodales und agentisches Modell für lang laufende Programmier-, Wissens- und Denkaufgaben. Die Zahlen sind außergewöhnlich: 2,8 Billionen Parameter, 104 Milliarden aktivierte Parameter, 896 geroutete Expert:innen, 93 Layer und ein Kontextfenster von exakt 1.048.576 Tokens. Dazu kommen neue Begriffe wie Kimi Delta Attention, Attention Residuals, Stable LatentMoE, SiTU-GLU, MoonViT-V2, MXFP4 und MXFP8. Die offizielle Modellkarte nennt all diese Fakten, setzt aber technisches Vorwissen voraus .
Dieser FAQ-Artikel erklärt das vollständige technische Datenblatt von Kimi K3 in verständlichem Deutsch. Er ordnet außerdem die vollständige Benchmark-Tabelle ein und trennt drei Ebenen sauber voneinander:
- veröffentlichte Fakten, die sich direkt in Gewichten, Konfiguration oder technischem Bericht nachprüfen lassen,
- Messergebnisse, die nur innerhalb ihrer jeweiligen Benchmark- und Harness-Bedingungen gelten,
- Herstellerbewertungen, etwa „Frontier Intelligence“, „most capable“ oder „world’s first“, die als Positionierung von Moonshot AI gelesen werden müssen.
Der technische Bericht liefert die wissenschaftliche Detailtiefe hinter der Modellkarte . Wo eine Modellkarte idealerweise auch Grenzen und vorgesehene Einsatzzwecke dokumentiert, folgt dieser Artikel zusätzlich den Qualitätskriterien von Hugging Face für Model Cards .
21 ausführliche Fragen und Antworten in fünf Kategorien. Jede FAQ-Antwort enthält mindestens zwei Quellenverweise. Die vollständigen Quellen werden automatisch aus der Referenzdatenbank am Artikelende ausgegeben.
Inhaltsverzeichnis
Schnellübersicht: alle 21 Fragen
Klicken Sie auf eine Frage, um direkt zur ausführlichen Antwort zu springen.
Kategorie 1: Grundlagen und Einordnung
Kategorie 2: Architektur und Modelltechnik
Kategorie 3: Benchmarks und Leistungsangaben
Kategorie 4: Bereitstellung und API-Nutzung
Kategorie 5: Lizenz, Grenzen und Fazit
1. Grundlagen und Einordnung
1.1. Was ist Kimi K3?
Kurze Antwort: Kimi K3 ist ein von Moonshot AI entwickeltes, großes generatives KI-Modell. Es verarbeitet Text und visuelle Eingaben, kann Werkzeuge aufrufen, über längere Aufgabenfolgen arbeiten und stellt seine Modellgewichte zum Download bereit.
Detaillierte Erklärung:
Die Modellkarte verwendet vier Beschreibungen, die unterschiedliche Eigenschaften meinen :
- Open Weight: Die trainierten Gewichte sind verfügbar. Das ist etwas anderes als bloßer API-Zugang.
- Nativ multimodal: Text- und Bildinformationen werden in einer gemeinsamen Modellarchitektur verarbeitet. Der technische Bericht beschreibt zusätzlich die Verarbeitung von Videos über den visuellen Pfad.
- Agentisch: Das Modell ist auf Abläufe trainiert, in denen es plant, Werkzeuge benutzt, Ergebnisse beobachtet, prüft und sein Vorgehen anpasst.
- Frontier-Modell: Moonshot AI ordnet die Leistung an der Grenze aktuell verfügbarer Systeme ein. Das ist keine standardisierte Zertifizierung, sondern eine durch Benchmarks begründete Herstellerpositionierung.
„Modell“ meint hier nicht nur einen Chatbot. Kimi K3 ist die trainierte Grundlage, die in sehr unterschiedlichen Produkten eingesetzt werden kann: in einem Chat, einer Coding-CLI, einer Wissensarbeitsoberfläche, einer API oder einer selbst betriebenen Inferenzumgebung. Der technische Bericht beschreibt den Trainingsansatz als Kombination aus großem Pre-Training, Reinforcement Learning für allgemeine, agentische und Coding-Aufgaben sowie unterschiedlichen Stufen des Denkaufwands .
In der offiziellen Veröffentlichungsankündigung hebt Moonshot AI neben den Modellgewichten und dem technischen Bericht fünf Punkte hervor: 2,8 Billionen Parameter, native visuelle Verarbeitung, ein Kontextfenster mit einer Million Tokens, eine laut Hersteller 2,5-mal höhere „Intelligenz pro Recheneinheit“ gegenüber Kimi K2 und die Öffnung weiterer Teile des technischen Stacks. Genannt werden leistungsoptimierte Attention-Kernels, eine Kommunikationsbibliothek für Mixture-of-Experts-Modelle und Infrastruktur zum skalierbaren Betrieb von Agentenumgebungen . Die Formulierung „2,5-mal mehr Intelligenz“ ist dabei keine standardisierte Maßeinheit und bedeutet weder 2,5-fache Geschwindigkeit noch 2,5-fach bessere Ergebnisse in jedem Benchmark. Sie fasst Moonshots eigene Skalierungsexperimente zusammen; die zugrunde liegende Effizienzangabe wird in Abschnitt 2.2 genauer eingeordnet.
Stellen Sie sich Kimi K3 als Motor vor. Kimi.com, Kimi Work, Kimi Code und die API sind verschiedene Fahrzeuge, in die dieser Motor eingebaut wird. Ein Benchmark bewertet meist nicht nur den Motor, sondern häufig auch Getriebe, Software und Fahrerassistenz – bei KI also Modell, Agenten-Harness, Werkzeuge und Prompting.
1.2. Was bedeuten „Open Weight“ und „open 3T-class“?
Kurze Antwort: „Open 3T-class“ bedeutet, dass die Gewichte eines Modells aus der Größenklasse um drei Billionen Parameter zugänglich sind. Kimi K3 hat konkret 2,8 Billionen Parameter. „Open Weight“ bedeutet jedoch nicht automatisch „Open Source AI“.
Detaillierte Erklärung:
Das englische trillion entspricht im Deutschen einer Billion. Die häufige Übersetzung „2,8 Trillionen Parameter“ wäre daher im Deutschen falsch. Kimi K3 besitzt 2,8 Billionen, also ungefähr 2.800 Milliarden Parameter. Moonshot AI bezeichnet es als erstes offenes Modell der 3T-Klasse, weil 2,8 Billionen auf diese Größenordnung gerundet werden .
Die Gewichte sind tatsächlich als 96 safetensors-Dateien auf Hugging Face veröffentlicht. „Offen“ beschreibt hier zunächst die Zugänglichkeit der trainierten Parameter und den erlaubten Umgang gemäß Kimi-K3-Lizenz. Die Open Source Initiative weist ausdrücklich darauf hin, dass offene Gewichte allein nicht alle Informationen liefern, die nötig wären, um den Trainingsprozess vollständig zu untersuchen oder ein wesentlich gleichwertiges System neu aufzubauen .
Nach der Open Source AI Definition 1.0 gehören zur bevorzugten Form für Änderungen unter anderem ausreichende Angaben zu Trainingsdaten, Datenherkunft, Auswahl, Verarbeitung und Trainingscode. Ein Modell kann deshalb sehr weitgehend nutzbare Gewichte anbieten und trotzdem nicht alle Anforderungen an vollständig quelloffene KI erfüllen .
Präzise Formulierung: Kimi K3 ist ein Open-Weight-Modell unter einer eigenen, weitgehend permissiven Lizenz mit zusätzlichen Bedingungen für bestimmte sehr große kommerzielle Nutzungen. Diese Formulierung ist genauer als ein pauschales „Open-Source-Modell“.
1.3. Für welche Aufgaben wurde Kimi K3 entwickelt?
Kurze Antwort: Für lang laufende Softwareentwicklung, agentische Wissensarbeit, Recherche, visuell unterstützte Erstellung und komplexes Schlussfolgern mit möglichst wenig menschlicher Aufsicht.
Detaillierte Erklärung:
Die Modellkarte nennt zwei große Einsatzfelder:
- Long-Horizon Coding: Navigation durch große Repositorys, Terminalsteuerung, GPU-Kernel-Optimierung, Compilerentwicklung, Spieleentwicklung mit Screenshot-Feedback, CAD und Chipdesign.
- Agentic Knowledge Work: tiefe Recherche, interaktive Visualisierungen, Widgets, Dashboards, Bewegungsdesign und Videoediting.
Der offizielle Tech-Blog illustriert diese Kategorien mit Fallstudien: einem selbst entwickelten GPU-Compiler, einem 48 Stunden laufenden simulierten Chipdesign, einer umfangreichen astrophysikalischen Reproduktion, tausenden Recherche- und Terminalschritten sowie Videoediting aus 56 Quellclips . Diese Beispiele zeigen, welche Arbeitsform Moonshot AI anstrebt: nicht eine einzige Antwort, sondern eine Folge aus Planen, Handeln, Prüfen und Verbessern.
Der technische Bericht erklärt, dass das Post-Training genau dafür Umgebungen mit Software Engineering, Kerneloptimierung, verifizierbarer Suche, professioneller Wissensarbeit, visueller Werkzeugnutzung und autonomen Aufgaben verwendet. Manche Trainingsverläufe umfassen Hunderte oder Tausende Werkzeugaufrufe und akkumulieren Millionen Kontexttokens .
Wichtig ist die Reichweite der Aussage: Fallstudien sind Fähigkeitsdemonstrationen, keine Garantie, dass jede beliebige reale Aufgabe gleich gut gelingt. Für Produktionssysteme braucht es weiterhin Tests, Rechtebegrenzung, Überwachung, nachvollziehbare Artefakte und menschliche Freigaben bei folgenreichen Aktionen.
2. Architektur und Modelltechnik
2.1. Wie kann Kimi K3 2,8 Billionen Parameter haben, aber nur 104 Milliarden aktivieren?
Kurze Antwort: Kimi K3 ist ein Sparse Mixture-of-Experts Model (MoE). Es speichert sehr viele Expert:innen-Netze, berechnet für jedes Token aber nur eine kleine Auswahl davon.
Detaillierte Erklärung:
Bei einem Dense Model, also einem Modell ohne Sparse-Expert:innen-Routing, durchläuft jedes Token im Wesentlichen dieselben Gewichte. Bei einem Sparse MoE Model entscheidet dagegen ein Router, welche Expert:innen für ein bestimmtes Token zuständig sind. So kann die Gesamtkapazität stark wachsen, ohne dass für jedes Token sämtliche 2,8 Billionen Parameter berechnet werden müssen.
Die beiden Zahlen beantworten daher verschiedene Fragen:
- 2,8 Billionen Gesamtparameter: Wie groß ist der gesamte gelernte Parameterspeicher?
- 104 Milliarden aktivierte Parameter: Wie viele Parameter wirken ungefähr an der Berechnung eines einzelnen Tokens mit?
Das Verhältnis beträgt rund 3,7 Prozent. Diese Prozentzahl darf nicht mit dem Anteil ausgewählter Expert:innen verwechselt werden: 16 von 896 entsprechen etwa 1,79 Prozent der gerouteten Expert:innen. Die 104 Milliarden umfassen darüber hinaus gemeinsam genutzte und andere aktive Modellteile.
Google Research beschreibt MoE als konditionale Berechnung: Nur ein Teil der Expert:innen wird pro Eingabe beziehungsweise Token aktiviert. Dadurch kann die Kapazität wachsen, ohne dass die Rechenkosten proportional zur Gesamtparameterzahl steigen . Switch Transformers demonstrierten dieses Prinzip bereits für Modelle in der Billionenparameterklasse, betonten aber zugleich Kommunikationskosten, Routingkomplexität und Trainingsinstabilität als zentrale Herausforderungen .
Ein direkter Größenvergleich mit einem Dense Model ist irreführend. Gesamtparameter beschreiben Kapazität und Speicherbedarf; aktivierte Parameter liegen näher an den laufenden Rechenkosten. Auch 104 Milliarden aktive Parameter sind allerdings sehr groß.
2.2. Was bedeuten 896 Expert:innen, 16 ausgewählte und zwei gemeinsam genutzte Expert:innen?
Kurze Antwort: Jede MoE-Schicht besitzt 896 geroutete Expert:innen. Für jedes Token wählt das Routing 16 davon aus. Zwei weitere Expert:innen sind gemeinsam genutzt und werden unabhängig von dieser Auswahl einbezogen.
Detaillierte Erklärung:
Ein „Experte“ ist hier keine Person, kein eigenständiger KI-Agent und kein vollständiges Sprachmodell. Er führt kein Gespräch, formuliert keine eigene Antwort und erhält nicht einfach ein Fachschild wie „JavaScript“, „Medizin“ oder „Deutsch“. Technisch ist ein Experte ein trainiertes Feed-forward-Teilnetz innerhalb einer bestimmten MoE-Schicht.
Was ist ein Feed-forward-Teilnetz?
Ein Transformer-Layer erledigt vereinfacht zwei unterschiedliche Arbeiten:
- Attention mischt Informationen zwischen Tokenpositionen. Dadurch kann die Repräsentation eines Tokens Informationen aus anderen Teilen des Kontexts aufnehmen.
- Das Feed-forward-Netz verarbeitet jedes Token anschließend einzeln weiter. Es mischt nicht primär Positionen, sondern die vielen Merkmale beziehungsweise Kanäle innerhalb der aktuellen Tokenrepräsentation.
Nach der Attention liegt ein Token nicht mehr als lesbares Wort vor. Es ist ein langer Zahlenvektor, der viele gelernte Merkmale gleichzeitig codiert: mögliche Bedeutung, syntaktische Rolle, Bezug zu anderen Token, Code-Strukturen und vieles mehr. Ein Feed-forward-Netz projiziert diesen Vektor durch gelernte Matrizen in einen Zwischenraum, wendet eine nichtlineare Aktivierungs- und Gate-Funktion an und projiziert das Ergebnis wieder zurück. Dadurch kann das Modell bestimmte Merkmalskombinationen verstärken, abschwächen oder neu zusammensetzen.
Bei einem Dense Transformer läuft jedes Token durch dasselbe Feed-forward-Netz eines Layers. Bei einem Mixture-of-Experts Model wird dieses eine große Netz durch einen Pool vieler alternativer Feed-forward-Netze ersetzt. Diese Alternativen sind die Expert:innen. Sie besitzen grundsätzlich denselben technischen Auftrag, haben aber unterschiedliche trainierte Gewichte und können deshalb unterschiedliche Transformationsmuster lernen. Google Research beschreibt dieses Prinzip als Conditional Computation: Das Modell besitzt viel Kapazität, verwendet pro Token aber nur einen ausgewählten Teil davon .
Ein Experte bekommt nicht einfach das Wort „JavaScript“ oder einen ganzen Prompt als lesbaren Text. Er verarbeitet die numerische Repräsentation eines einzelnen Tokens, in die vorherige Attention-Schritte bereits Kontextinformationen eingearbeitet haben. Seine Ausgabe ist wiederum nur ein Zahlenvektor für den nächsten Verarbeitungsschritt.
Was passiert mit einem Token in einer Kimi-K3-MoE-Schicht?
Der technische Bericht beschreibt folgenden Ablauf :
- Eingangsrepräsentation: Das Token kommt als Vektor mit der Modellbreite von 7.168 Merkmalen in die Schicht.
- Gemeinsamer Pfad: Zwei gemeinsam genutzte Expert:innen verarbeiten diese vollständige Repräsentation. Dieser Pfad wird für jedes Token ausgeführt.
- Latente Projektion: Für den gerouteten Pfad wird der Vektor auf die Latent-MoE-Dimension von 3.584 Werten komprimiert. So müssen die zahlreichen gerouteten Expert:innen nicht mit der vollen Modellbreite arbeiten.
- Router-Bewertung: Ein kleines trainiertes Routing-Modul berechnet für dieses Token Eignungswerte für den Pool der 896 gerouteten Expert:innen.
- Top-16-Auswahl: Nur die 16 höchst bewerteten gerouteten Expert:innen werden für dieses Token aktiviert. Das sind etwa 1,79 Prozent beziehungsweise ein Sechsundfünfzigstel des Pools.
- Parallele Verarbeitung: Die 16 ausgewählten Teilnetze verarbeiten die latente Tokenrepräsentation. Ein gerouteter Experte besitzt dabei eine interne Hidden Dimension von 3.072.
- Gewichtete Zusammenführung: Die Ergebnisse der 16 Expert:innen werden mit den Router-Gewichten kombiniert. Ein stärker bewerteter Experte kann mehr zur gemeinsamen Ausgabe beitragen als ein schwächer bewerteter.
- Normalisierung und Rückprojektion: Kimi K3 normalisiert die zusammengeführte geroutete Ausgabe und projiziert sie von 3.584 zurück auf die volle Modellbreite.
- Gemeinsames Ergebnis: Die rückprojizierte Ausgabe wird mit den Ausgaben der beiden gemeinsam genutzten Expert:innen kombiniert und an den weiteren Layer weitergegeben.
Die Auswahl geschieht nicht einmal pro Frage, sondern neu für jedes Token und in jeder MoE-Schicht. Zwei benachbarte Token können daher unterschiedliche Expert:innen-Kombinationen verwenden. Auch dasselbe Token kann in einem späteren Layer an eine andere Kombination geraten, weil sich seine interne Repräsentation inzwischen verändert hat.
Datenfluss in einer Kimi-K3-MoE-Schicht: Der gemeinsame und der geroutete Pfad werden am Ende zusammengeführt.
Warum heißen diese Teilnetze trotzdem „Expert:innen“?
Während des Trainings verändert der Router, welche Token zu welchen Teilnetzen gelangen. Gleichzeitig lernen die Teilnetze aus den ihnen zugewiesenen Beispielen. Dadurch können sich statistische Spezialisierungen bilden: Ein Teilnetz reagiert möglicherweise stärker auf bestimmte sprachliche Muster, Rechenstrukturen, Codeformen oder visuell abgeleitete Merkmale.
Diese Spezialisierung ist jedoch nicht zwingend sauber interpretierbar. Ein Experte kann mehrere abstrakte Muster abdecken; ein einzelnes Muster kann auf viele Expert:innen verteilt sein. Die Fachgebiets-Analogie hilft deshalb nur begrenzt. Treffender ist: Jeder Experte ist eine anders trainierte Transformationsoption, und der Router stellt pro Token eine passende Mischung aus 16 Optionen zusammen. Switch-Transformer-Forschung zeigt zugleich, dass solche Spezialisierung mit Routing- und Stabilitätsproblemen verbunden sein kann .
Stellen Sie sich keine Konferenz mit 896 Fachleuten vor, die miteinander diskutieren. Passender ist eine Fabrik mit 896 spezialisierten Bearbeitungsstationen und zwei universellen Stationen. Für jedes Werkstück wählt eine Leitstelle 16 Spezialstationen aus. Sie bearbeiten das Werkstück parallel; anschließend werden ihre Ergebnisse gewichtet zusammengeführt. Beim nächsten Werkstück kann die Leitstelle eine andere Kombination wählen.
Die Konfiguration bestätigt:
| Angabe | Wert | Bedeutung |
|---|---|---|
| Geroutete Expert:innen | 896 | Pool der auswählbaren Expert:innen pro MoE-Schicht |
| Ausgewählte Expert:innen pro Token | 16 | sparsam aktivierter Teil des Pools |
| Gemeinsam genutzte Expert:innen | 2 | allgemeine Verarbeitung, die nicht vom Top-k-Routing abhängt |
| MoE Hidden Dimension pro Expert:in | 3.072 | Breite des jeweiligen Expert:innen-Netzes |
| Latent-MoE-Dimension | 3.584 | komprimierter Zwischenraum vor beziehungsweise innerhalb des Routings |
Diese Werte stehen sowohl in der Modellkarte als auch in der maschinenlesbaren Konfiguration . Der technische Bericht bezeichnet das Gesamtsystem als Stable LatentMoE. Die latente Projektion reduziert die teure Breite, bevor die Expert:innen rechnen; Normalisierung und Quantile Balancing sollen verhindern, dass manche Expert:innen überlastet und andere kaum trainiert werden .
Wozu dienen die zwei gemeinsam genutzten Expert:innen?
Die zwei Shared Experts werden nicht vom Top-k-Router ausgewählt, sondern laufen bei jedem Token mit. Sie behalten laut technischem Bericht außerdem den vollständigen Pfad mit der Modellbreite von 7.168, während die 896 gerouteten Expert:innen im kompakteren latenten Raum arbeiten.
Das schafft eine Arbeitsteilung:
- Gemeinsam genutzte Expert:innen können Transformationen abdecken, die für sehr viele Token nützlich sind.
- Geroutete Expert:innen stellen zusätzliche, stärker spezialisierbare Kapazität bereit.
- Der Router muss häufig benötigte Grundfunktionen nicht immer wieder auf viele Spezialexpert:innen verteilen.
„Zwei gemeinsam genutzte plus 16 geroutete Expert:innen“ bedeutet deshalb praktisch, dass pro Token 18 Expert:innen-Pfade zur MoE-Ausgabe beitragen. Die zwei Gruppen sind technisch jedoch nicht gleich breit und dürfen nicht einfach als 18 identische Netze gezählt werden.
Warum sind 16 von 896 nicht dasselbe wie 104 Milliarden von 2,8 Billionen?
16 von 896 entsprechen etwa 1,79 Prozent. Die 104 Milliarden aktivierten Parameter entsprechen dagegen ungefähr 3,7 Prozent der 2,8 Billionen Gesamtparameter. Diese Prozentwerte unterscheiden sich, weil die aktivierten Parameter nicht nur die 16 gerouteten Expert:innen umfassen. Pro Token arbeiten außerdem:
- die zwei gemeinsam genutzten Expert:innen,
- Attention-Komponenten,
- Router und Projektionen,
- Normalisierungen,
- Embeddings und weitere nicht geroutete Modellteile.
Die Aussage „16 von 896“ beschreibt also die Expert:innen-Auswahl innerhalb einer MoE-Schicht. Die Aussage „104 Milliarden aktivierte Parameter“ beschreibt näherungsweise die gesamte pro Token verwendete Modellkapazität. Man kann die zweite Zahl daher nicht korrekt berechnen, indem man einfach 16 / 896 × 2,8 Billionen rechnet.
Warum ist das Routing technisch schwierig?
Wenn der Router sehr viele Token zu denselben wenigen Expert:innen schickt, entstehen zwei Probleme:
- Training: Selten ausgewählte Expert:innen lernen zu wenig und können zu praktisch ungenutzten „dying experts“ werden.
- Betrieb: Stark gefragte Expert:innen werden zum Rechen- und Kommunikationsengpass, besonders wenn die Expert:innen über viele Beschleuniger verteilt sind.
Kimi K3 verwendet deshalb Quantile Balancing. Während des Trainings werden expertenspezifische Routing-Biases so angepasst, dass die Last näher an einer Zielverteilung liegt. Für 896 Expert:innen und 16 Routen pro Token ist das wesentlich: Die sparsamen Berechnungen sparen zwar Rechenarbeit, erzeugen aber Datenverkehr, weil Tokenrepräsentationen zu den Geräten mit den ausgewählten Expert:innen geschickt und die Ergebnisse anschließend wieder zusammengeführt werden müssen .
Pro Token wird nur ein Bruchteil der Expert:innen berechnet. Trotzdem müssen alle 2,8 Billionen Parameter gespeichert und für mögliche Routerentscheidungen verfügbar sein. MoE reduziert vor allem die laufende Rechenarbeit im Verhältnis zur Gesamtkapazität; es beseitigt weder den enormen Speicherbedarf noch die Kommunikation zwischen den Beschleunigern.
Die Angabe „ungefähr 2,5-mal bessere gesamte Skalierungseffizienz als Kimi K2“ ist eine zusammenfassende Herstellerkennzahl. Sie bezieht sich nicht auf eine einfache 2,5-fache Inferenzgeschwindigkeit. Gemeint ist, dass Architektur, Daten und Training laut den Skalierungsexperimenten mehr Modellqualität aus zusätzlicher Rechenleistung gewinnen. Kimi K2 hatte eine Billion Gesamtparameter und 32 Milliarden aktivierte Parameter; es bildet damit den dokumentierten Vergleichspunkt .
2.3. Wie sind Layer, Dimensionen, Vokabular und Aktivierungsfunktion aufgebaut?
Kurze Antwort: Kimi K3 hat 93 Schichten, davon einen Dense Layer am Eingang. Es kombiniert 69 KDA- mit 24 Gated-MLA-Schichten, arbeitet intern mit einer Breite von 7.168 und besitzt 96 Attention Heads.
Detaillierte Erklärung:
Die vollständige technische Zusammenfassung der Modellkarte lautet:
| Merkmal | Veröffentlichter Wert | Praktische Bedeutung |
|---|---|---|
| Architektur | Mixture of Experts | Sparse Model mit gerouteten Teilnetzen. |
| Gesamtparameter | 2,8 Billionen | Gesamte gelernte Kapazität des Modells. |
| Aktivierte Parameter | 104 Milliarden | Ungefähr aktive Gewichte pro Token. |
| Layer | 93 | Tiefe des Text-Backbones. |
| Dense Layer | 1 | Ein Dense Layer vor den Sparse-MoE-Layern. |
| Attention-Komposition | 69 KDA + 24 Gated MLA | Hybrides Verhältnis von drei linearen zu einer globalen Attention-Schicht plus globalem Abschluss. |
| Attention Hidden Dimension | 7.168 | Breite der Tokenrepräsentation im Textmodell. |
| Attention Heads | 96 | Parallele Attention-Unterräume. |
| Latent-MoE-Dimension | 3.584 | Komprimierter MoE-Zwischenraum. |
| MoE Hidden Dimension | 3.072 je Expert:in | Interne Breite eines gerouteten Expert:innen-Netzes. |
| Geroutete Expert:innen | 896 | Gesamter Expert:innen-Pool pro MoE-Schicht. |
| Auswahl pro Token | 16 | Top-k-Auswahl des Routers. |
| Geteilte Expert:innen | 2 | Nicht geroutete, allgemeine Expert:innen. |
| Vokabular | 160K / technisch 163.840 | Anzahl möglicher Token-IDs; die Modellkarte rundet. |
| Kontextlänge | 1.048.576 | Maximale veröffentlichte Kontextkapazität in Tokens. |
| Attention | KDA und Gated MLA | Lineare Rekurrenz kombiniert mit periodischer globaler Attention. |
| Aktivierung | SiTU-GLU | Gegatete nichtlineare Transformation in den Feed-forward-Netzen. |
| Vision Encoder | MoonViT-V2 | Separater visueller Encoder vor dem gemeinsamen Backbone. |
| Vision-Parameter | 401 Millionen | Größe des visuellen Encoders. |
| Quantisierung | MXFP4-Gewichte / MXFP8-Aktivierungen | Niedrige Präzision, bereits im Training berücksichtigt. |
| Modalität | Text, Bild; Video über die Vision-Pipeline | Die Tabelle nennt Text und Bild, Bericht und API dokumentieren zusätzlich Videoeingaben. |
Die Zahl 160K ist eine lesbare Rundung. In config.json steht vocab_size: 163840 . Ein großes Vokabular kann mehr Zeichenfolgen, Sprachen und Codefragmente direkt abdecken, vergrößert aber auch die Ein- und Ausgabematrizen.
SiTU-GLU steht für eine mit der Sigmoid-Tanh-Unit gegatete lineare Einheit. Vereinfacht berechnet das Netz mehrere Transformationen und verwendet einen gelernten Torwert, um relevante Signalanteile durchzulassen. Moonshot AI führt SiTU zusammen mit Normalisierung, Quantile Balancing und Per-Head Muon als Stabilisierung für das extreme Modellmaß an . Die Konfigurationswerte bestätigen die Aktivierung und ihre Parameter; sie erklären allein aber noch nicht die gesamte Trainingsdynamik.
2.4. Was ist Kimi Delta Attention (KDA)?
Kurze Antwort: KDA ist eine lineare Attention-Variante mit einem fortgeschriebenen Zustand. Sie soll lange Sequenzen effizienter verarbeiten als vollständige Attention, ohne auf flexible, gelernte Aktualisierung und Vergessenssteuerung zu verzichten.
Detaillierte Erklärung:
Klassische vollständige Self-Attention vergleicht viele Tokenpositionen direkt miteinander. Der Aufwand für die Attention-Matrix wächst dabei quadratisch mit der Sequenzlänge. Bei einer Million Tokens wird das zu einem erheblichen Speicher- und Rechenproblem.
KDA verarbeitet die Sequenz stattdessen mit einem rekurrenten Zustand. Neue Schlüssel-Wert-Informationen aktualisieren diesen Zustand; ein kanalweises Forget Gate steuert, welche älteren Informationen erhalten bleiben. „Delta“ verweist auf eine Delta-Regel: Der Zustand wird nicht einfach um neue Werte erweitert, sondern anhand der Abweichung zwischen gespeicherter und neuer Information korrigiert.
Die Kimi-Linear-Arbeit beschreibt KDA als Erweiterung von Gated DeltaNet mit feinerer, kanalweiser Steuerung. In den dortigen Experimenten reduzierte die hybride KDA/MLA-Architektur den KV-Cache um bis zu 75 Prozent und erreichte bei einer Million Kontexttokens bis zu sechsmal höheren Decoding-Durchsatz als die verglichene Full-Attention-Architektur . Diese Werte stammen aus Kimi Linear und dürfen nicht automatisch als identische Produktionswerte für Kimi K3 gelesen werden.
Für Kimi K3 wird KDA in 69 der 93 Attention-Schichten eingesetzt. Der technische Bericht ergänzt spezielle Kernel, Context Parallelism und zustandsbewusstes Prefix-Caching, damit der rekurrente KDA-Zustand innerhalb eines Geräts, über mehrere Geräte und über wiederholte Anfragen effizient bleibt .
2.5. Was ist Gated MLA und warum wird es mit KDA kombiniert?
Kurze Antwort: Gated Multi-Head Latent Attention ist die globale Attention-Komponente. Sie komprimiert Schlüssel und Werte in einen latenten Raum und besitzt zusätzliche Gates. Kimi K3 setzt nach jeweils drei KDA-Schichten eine Gated-MLA-Schicht ein.
Detaillierte Erklärung:
Lineare Attention ist effizient, komprimiert historische Information aber in einen begrenzten Zustand. Vollständige globale Attention kann dagegen gezielt auf einzelne frühere Positionen zugreifen, ist bei sehr langen Sequenzen jedoch teuer. Kimi K3 verwendet deshalb eine hybride Architektur:
Das hybride Attention-Muster von Kimi K3: Auf drei KDA-Layer folgt ein Gated-MLA-Layer mit globaler Attention.
Dieses 3:1-Muster wird durch den Backbone wiederholt. Eine zusätzliche Gated-MLA-Schicht am Ende sorgt laut technischem Bericht dafür, dass der letzte Layer immer globale Attention ausführt . Daraus ergeben sich exakt 69 KDA- und 24 Gated-MLA-Schichten.
„Latent“ bedeutet hier, dass Key- und Value-Informationen in eine kleinere Repräsentation projiziert werden. Die Konfiguration nennt dafür unter anderem einen kv_lora_rank von 512 und aktiviert eine Ausgabesteuerung für MLA . „Gated“ bedeutet, dass gelernte Tore die Stärke bestimmter Attention-Ausgaben regulieren.
Die Kombination versucht damit zwei Fehlerklassen auszugleichen:
- KDA hält die Kosten langer Sequenzen beherrschbar.
- Periodische MLA-Schichten stellen globale, positionsspezifische Interaktion bereit.
Das ist kein Beweis, dass jede Langkontextaufgabe perfekt gelöst wird. Es ist eine Architekturentscheidung, die Effizienz und globale Zugriffsqualität gegeneinander austariert.
2.6. Was sind Attention Residuals (AttnRes)?
Kurze Antwort: Attention Residuals ersetzen das starre Aufsummieren früherer Schichtausgaben durch eine gelernte Auswahl. Jede Schicht kann dadurch stärker auf die für das aktuelle Token relevanten früheren Repräsentationen zugreifen.
Detaillierte Erklärung:
In gewöhnlichen tiefen Transformer-Netzen werden Residualverbindungen additiv weitergereicht. Frühere Informationen fließen zwar weiter, werden aber über viele Schichten immer wieder mit neuen Ausgaben vermischt. Das kann Beiträge einzelner Layer verdünnen und die Größenordnung versteckter Zustände anwachsen lassen.
AttnRes behandelt die Tiefe des Netzes selbst wie eine Auswahlaufgabe. Gelernte Pseudo-Queries erzeugen Gewichte über den Embedding-Zustand und frühere Blockausgaben. Eine aktuelle Schicht kann dadurch inhaltsabhängig wählen, welche frühere Darstellung sie stärker übernehmen möchte.
Die eigenständige Forschungsarbeit zu Attention Residuals beschreibt genau diese Motivation und eine Blockvariante, die den Speicher- und Kommunikationsaufwand begrenzt . Kimi K3 verwendet Block AttnRes mit einer in der Konfiguration dokumentierten Blockgröße von zwölf .
Die Modellarchitektur skaliert Informationsfluss somit in drei Richtungen:
- über Sequenzpositionen: KDA und Gated MLA,
- über Netzwerktiefe: Attention Residuals,
- über Modellbreite: Stable LatentMoE.
Diese dreidimensionale Einordnung stammt aus dem technischen Bericht und ist hilfreicher als die verkürzte Aussage „mehr Parameter sind besser“ .
2.7. Was bedeutet ein Kontextfenster von 1.048.576 Tokens?
Kurze Antwort: Kimi K3 kann in einer Anfrage bis zu 2²⁰ beziehungsweise 1.048.576 Tokens als Kontext verarbeiten. Das umfasst Eingabe, Gesprächsverlauf, Werkzeugnachrichten und je nach Schnittstelle auch die reservierte Ausgabe.
Detaillierte Erklärung:
Ein Token ist kein Wort. Je nach Sprache und Inhalt kann ein Wort aus einem oder mehreren Tokens bestehen; Code, Tabellen, Sonderzeichen und Zahlen verhalten sich anders als Fließtext. Eine Million Tokens entspricht daher keiner festen Seitenzahl. Es ist eine Kapazitätsangabe für die tokenisierte Sequenz.
Praktisch erlaubt das:
- sehr große Codebasisausschnitte,
- viele Dokumente in einer Sitzung,
- lange Agentenverläufe mit Werkzeugausgaben,
- umfangreiche visuelle Tokenfolgen,
- große Ausgaben, sofern die API-Grenzen entsprechend gesetzt werden.
Die offizielle API-Dokumentation nennt für max_completion_tokens einen Standard von 131.072 und ein Maximum von 1.048.576. Außerdem nutzt die Kimi-API automatisches Prefix-Caching, wenn der vorherige Prompt mehr als 256 Tokens enthält und der lange Präfix unverändert bleibt .
Kapazität ist aber nicht gleich Nutzungsqualität. Forschung von Stanford und weiteren Institutionen zeigt bei Langkontextmodellen den „Lost in the Middle“-Effekt: Relevante Informationen am Anfang oder Ende werden häufig besser genutzt als Informationen in der Mitte . Auch die Kimi-K3-Modellkarte belegt die maximale technische Länge, aber nicht, dass jede beliebige Information an jeder Position mit gleicher Zuverlässigkeit abgerufen wird .
Chunking, Zusammenfassungen, Retrieval, saubere Dokumentgrenzen und Kontextkompaktierung bleiben nützlich. Ein großes Fenster reduziert harte Grenzen; es beseitigt weder Ablenkung noch widersprüchliche Quellen oder die Kosten sehr langer Prompts.
2.8. Wie funktionieren native Multimodalität und MoonViT-V2?
Kurze Antwort: Ein eigener Vision Encoder namens MoonViT-V2 wandelt Bilder und Videoframes in visuelle Repräsentationen um. Ein Projektor überführt sie in denselben Embedding-Raum, den der Text-Backbone verarbeitet.
Detaillierte Erklärung:
Die Modellkarte nennt:
- MoonViT-V2 als Vision Encoder,
- 401 Millionen Parameter für diesen Encoder,
- Text und Bild als Modalitäten in der Zusammenfassung,
- Text, Bild und Video in der Feature-Beschreibung.
Das ist kein echter Widerspruch. Der technische Bericht erklärt, dass MoonViT-V2 Bilder und Videos kodiert; Videos werden über eine Folge visueller Informationen verarbeitet. Die veröffentlichte API bietet dafür einen eigenen Video-Upload und referenziert die Datei anschließend über eine ms://-URL .
„Nativ“ bedeutet in diesem Zusammenhang, dass visuelle Daten in die gemeinsame Modellverarbeitung und das Training integriert sind. Es bedeutet nicht, dass rohe Pixel unverändert in das Textmodell fließen. Davor stehen Vision Encoder, Patch-Verarbeitung und Projektor. Die veröffentlichte Konfiguration nennt 27 Vision-Layer, zwölf Vision-Attention-Heads, Patchgröße 14 und eine visuelle Hidden Dimension von 1.024 .
Moonshot AI hatte den Ansatz multimodaler MoE-Modelle bereits im Kimi-VL-Bericht mit Langkontext, visuellem Schlussfolgern und Agentenaufgaben dokumentiert . Kimi K3 skaliert diese Richtung in ein wesentlich größeres, einheitliches Modell.
2.9. Was bedeuten MXFP4, MXFP8 und Quantization-aware Training?
Kurze Antwort: Große Teile der gespeicherten Gewichte verwenden ein 4-Bit-Microscaling-Gleitkommaformat, Aktivierungen ein 8-Bit-Format. Das Modell wurde ab dem überwachten Fine-Tuning an diese niedrige Präzision angepasst.
Detaillierte Erklärung:
Quantisierung reduziert die Zahl der Bits, mit denen Modellwerte repräsentiert werden. Weniger Bits bedeuten typischerweise:
- weniger Speicherbedarf,
- weniger Datenverkehr zwischen Speicher und Recheneinheiten,
- potenziell höheren Durchsatz,
- aber auch weniger numerische Präzision.
MX steht für Microscaling. Werte werden in kleinen Blöcken mit gemeinsamen Skalenfaktoren dargestellt. Die offene OCP-Spezifikation definiert unter anderem MXFP4 und MXFP8 und beschreibt sie als hardware- und softwareübergreifende Formate für effiziente KI-Berechnungen .
Kimi K3 verwendet laut Modellkarte MXFP4-Gewichte und MXFP8-Aktivierungen . Vereinfacht:
- Gewichte ändern sich während der Inferenz nicht und lassen sich stark komprimiert speichern.
- Aktivierungen entstehen während der Berechnung dynamisch und erhalten mit acht Bit mehr Wertebereich.
Quantization-aware Training (QAT) bedeutet, dass die Auswirkungen niedriger Präzision bereits während des Trainings simuliert oder direkt berücksichtigt werden. Kimi K3 beginnt damit laut Bericht ab der SFT-Phase, also beim überwachten Fine-Tuning . Das ist robuster als eine rein nachträgliche Quantisierung, garantiert aber nicht auf jeder Hardware identische Genauigkeit. Inferenz-Engine, Kernel, KV-Cache-Präzision und ausgelassene Modellteile beeinflussen das Ergebnis.
3. Benchmarks und Leistungsangaben
3.1. Was sagen die Reasoning- und Wissensbenchmarks aus?
Kurze Antwort: Kimi K3 erreicht in der veröffentlichten Vergleichsgruppe starke Werte, liegt aber nicht in jeder Wissens- oder Reasoning-Aufgabe vorn.
Detaillierte Erklärung:
| Benchmark | Kimi K3 | Claude Fable 5 | GPT-5.6 Sol | Claude Opus 4.8 | GPT-5.5 | GLM-5.2 |
|---|---|---|---|---|---|---|
| GPQA Diamond | 93,5 | 92,6 | 94,1 | 91,0 | 93,5 | 91,2 |
| CritPt | 23,4 | 28,6 | 32,3 | 20,9 | 27,1 | 20,9 |
| AA-LCR | 74,7 | 70,0 | 73,7 | 67,7 | 74,3 | 71,3 |
| HLE-Full ohne / mit Tools | 43,5 / 56,0 | 53,3 / 63,0 | 44,5 / 58,0 | 49,8 / 57,9 | 41,4 / 52,2 | — |
GPQA Diamond ist eine besonders schwierige Teilmenge fachwissenschaftlicher Multiple-Choice-Fragen aus Biologie, Physik und Chemie. Die ursprüngliche GPQA-Arbeit berichtet, dass selbst einschlägige Expert:innen die Fragen nicht fehlerfrei lösen . Kimi K3 erreicht 93,5 und liegt damit knapp unter GPT-5.6 Sol, gleichauf mit GPT-5.5 und vor den übrigen drei verglichenen Modellen.
Humanity’s Last Exam (HLE) umfasst 3.000 multimodale, geschlossene Fragen aus zahlreichen Fachgebieten. Die zwei Werte bedeuten „ohne Werkzeuge“ und „mit allgemeinen Werkzeugen“ . Kimi K3 verbessert sich durch Werkzeuge von 43,5 auf 56,0, bleibt in dieser Tabelle aber hinter Fable 5, GPT-5.6 Sol und Opus 4.8.
CritPt und AA-LCR stammen laut Modellkarte von Artificial Analysis, Stand 23. Juli 2026 . Kimi K3 führt bei AA-LCR, nicht aber bei CritPt.
Die korrekte Schlussfolgerung lautet daher nicht „Kimi K3 ist das beste Reasoning-Modell“, sondern: Kimi K3 gehört in dieser Herstellervergleichstabelle zur Spitzengruppe, mit je nach Aufgabe unterschiedlichen Stärken und Schwächen.
3.2. Wie gut ist Kimi K3 beim Programmieren?
Kurze Antwort: Sehr stark bei langen, ausführbaren Softwareaufgaben und Terminalarbeit. Es führt bei ProgramBench und SWE-Marathon, liegt bei anderen Coding-Benchmarks jedoch hinter Fable 5 oder GPT-5.6 Sol.
| Benchmark | Kimi K3 | Fable 5 | GPT-5.6 Sol | Opus 4.8 | GPT-5.5 | GLM-5.2 |
|---|---|---|---|---|---|---|
| DeepSWE | 67,5 | 70,0 | 73,0 | 59,0 | 67,0 | 46,2 |
| ProgramBench | 77,8 | 76,8 | 77,6 | 71,9 | 70,8 | 63,7 |
| Terminal-Bench 2.1 | 88,3 | 88,0 | 88,8 | 84,6 | 83,4 | 82,7 |
| FrontierSWE | 81,2 | 86,6 | 71,3 | 66,7 | 64,9 | 67,3 |
| SWE-Marathon | 42,0 | 35,0 | 39,0 | 40,0 | 14,0 | 13,0 |
| PostTrainBench | 36,6 | 41,4 | 34,6 | 34,1 | 28,4 | 34,3 |
| MLS-Bench-Lite | 48,3 | 49,9 | 46,2 | 42,8 | 35,5 | 40,4 |
| SciCode | 58,7 | 60,2 | 56,1 | 53,5 | 56,1 | 50,5 |
| Kimi Code Bench 2.0 | 72,9 | 76,9 | 64,8 | 71,7 | 69,0 | 64,2 |
Was die Namen praktisch bedeuten:
- DeepSWE, FrontierSWE und SWE-Marathon prüfen länger laufende Änderungen an Softwareprojekten, nicht nur kleine Funktionsaufgaben.
- Terminal-Bench 2.1 enthält realistische, testbare Aufgaben in Kommandozeilenumgebungen. Die wissenschaftliche Beschreibung betont eindeutige Umgebungen, menschlich geschriebene Lösungen und umfassende Tests .
- ProgramBench bewertet die Entwicklung vollständiger Programme .
- PostTrainBench prüft Aufgaben rund um das Post-Training von Modellen.
- SciCode zielt auf wissenschaftliches Programmieren.
- Kimi Code Bench 2.0 ist ein interner Moonshot-Benchmark und muss deshalb besonders vorsichtig interpretiert werden.
Wichtige Methodikdetails der Modellkarte:
- DeepSWE wurde mit dem Kimi-Code-Harness gemessen. Auf dem offiziellen Leaderboard erreicht Kimi K3 mit
mini-SWE-agent67,3 statt 67,5 . - Bei Terminal-Bench wurden für andere Modelle jeweils die besten Ergebnisse verschiedener Harnesses verwendet.
- Die SWE-Marathon-Auswertung beruht auf einem H20-kalibrierten Zweig vor dem finalen v1.1-Release. Docker-Images, Performance-Grenzen und Referenzorakel der GPU-Aufgaben wurden angepasst; Korrektheits- und Anti-Cheat-Validatoren blieben gleich . Fable 5 fiel bei 35 Prozent der Aufgaben auf ein anderes Modell zurück.
- FrontierSWE-Dominanzwerte wurden aus Rohwerten mit dem offiziellen Skript neu berechnet, Stand 16. Juli 2026 .
- PostTrainBench wurde bei drei Modellen über drei Läufe auf H20 statt der offiziellen H100-Umgebung gemittelt .
- Im internen Kimi Code Bench verweigerte Fable 5 eine von 80 Aufgaben und nutzte 13 Fallbacks; zehn von 80 GPT-5.6-Sol-Aufgaben gerieten in den Cyber-Guard, GPT-5.5 verweigerte drei.
Damit misst die Tabelle immer Modell plus Harness plus Werkzeuge plus Sicherheitsverhalten plus Hardware- und Laufzeitkonfiguration.
3.3. Was messen die agentischen und berufsbezogenen Benchmarks?
Kurze Antwort: Sie messen Recherche, Toolnutzung, Büroarbeit, Betriebssystembedienung, Finanzen, Recht und mehrstufige Arbeitsabläufe. Kimi K3 führt in mehreren, aber nicht in allen Kategorien.
| Benchmark | Kimi K3 | Ergebnis der übrigen Modelle in Kartenreihenfolge |
|---|---|---|
| BrowseComp | 91,2 | 88,0 · 90,4 · 84,3 · 84,4 · — |
| DeepSearchQA (F1) | 95,0 | 94,2 · — · 93,1 · — · — |
| ResearchRubrics | 76,2 | — · 73,8 · 73,5 · 64,0 · 71,1 |
| GDPval-AA v2 (Elo) | 1.686 | 1.747 · 1.736 · 1.593 · 1.491 · 1.510 |
| Toolathlon-Verified | 76,5 | 77,9 · 74,9 · 76,2 · 73,5 · 59,9 |
| MCPMark-Verified | 94,5 | 87,4 · 92,9 · 76,4 · 92,9 · — |
| MCP-Atlas | 84,2 | 84,7 · 83,6 · 83,6 · 82,8 · 82,6 |
| AutomationBench | 30,8 | 29,1 · 29,7 · 27,2 · 22,7 · 12,9 |
| JobBench | 54,3 | 57,4 · 45,4 · 48,4 · 38,3 · 43,4 |
| AA-Briefcase (Elo) | 1.548 | 1.583 · 1.495 · 1.354 · 1.158 · 1.260 |
| Agents’ Last Exam | 28,3 | 25,7 · 29,6 · 27,0 · 26,6 · 20,4 |
| APEX-Agents | 41,0 | 43,3 · 39,9 · 39,4 · 38,5 · 35,6 |
| OfficeQA Pro | 63,3 | 69,9 · 63,2 · 63,9 · 60,9 · 41,4 |
| SpreadsheetBench 2 | 34,8 | 34,7 · 32,4 · 31,6 · 29,1 · 28,1 |
| OSWorld-Verified | 84,8 | 85,0 · 83,0 · 83,4 · 79,0 · — |
| OSWorld 2.0 | 58,3 | 66,1 · 62,6 · 55,7 · 49,5 · — |
| SaaS-Bench | 60,1 | — · 61,4 · 56,1 · 43,8 · — |
| τ³-Banking | 33,4 | 26,8 · 33,0 · 27,6 · 31,3 · 26,8 |
| Harvey Lab-AA | 94,6 | 93,6 · 87,2 · 91,1 · 86,3 · 91,0 |
| CorpFin v2 | 71,6 | 71,8 · 64,4 · 66,7 · 68,4 · 66,1 |
| Finance Agent v2 | 54,4 | 56,3 · 53,8 · 53,9 · 51,8 · 49,7 |
| Legal Research Bench | 44,2 | 49,5 · 48,1 · 43,8 · 40,4 · 31,3 |
Die Vergleichsspalte folgt der Reihenfolge Claude Fable 5 · GPT-5.6 Sol · Claude Opus 4.8 · GPT-5.5 · GLM-5.2. Ein Gedankenstrich bedeutet, dass die Modellkarte keinen Wert ausweist.
Einige Beispiele zeigen, wie verschieden diese Aufgaben sind:
- BrowseComp verlangt hartnäckige Webrecherche nach schwer auffindbaren, aber kurz überprüfbaren Fakten. Der von OpenAI veröffentlichte Benchmark enthält 1.266 Aufgaben .
- MCPMark und MCP-Atlas prüfen Toolnutzung über das Model Context Protocol.
- OfficeQA Pro liefert der Agentin oder dem Agenten den gesamten PDF-Bestand nur als gerenderte Bilder, ohne maschinenlesbaren Text.
- SpreadsheetBench 2 prüft Tabellenkalkulationsarbeit.
- OSWorld bewertet Interaktion mit grafischen Betriebssystemoberflächen.
- τ³-Banking, CorpFin, Finance Agent und Legal Research Bench zielen auf domänenspezifische Arbeitsabläufe.
- Agents’ Last Exam verknüpft jedes Modell mit einem bestimmten Harness und verwendet die Pass Rate als Hauptkennzahl .
Weitere methodische Details: MCP-Atlas nutzt die 500 öffentlichen Aufgaben, ein Limit von 100 Zügen und Gemini 3.1 Pro als Judge. AutomationBench nutzt 600 öffentliche Aufgaben. Bei BrowseComp setzt Moonshot AI Kontextkompaktierung ab 300.000 Tokens ein und erreicht 91,2; ohne Kontextmanagement im vollen Million-Token-Fenster sind es 90,4. Dieser Unterschied zeigt, dass besseres Kontextmanagement mehr bringen kann als bloß ein größeres Rohfenster.
Die Werte für GDPval-AA v2, AA-Briefcase, τ³-Banking, Harvey Lab-AA und APEX stammen laut Modellkarte von Artificial Analysis beziehungsweise dem APEX-Leaderboard, Stand 23. Juli 2026 . Bei Harvey Lab-AA ist der ausgewiesene Wert die Criterion Pass Rate.
3.4. Was sagen die multimodalen Benchmarks aus?
Kurze Antwort: Kimi K3 ist besonders stark bei Dokumentverständnis und mehreren visuellen Reasoning-Aufgaben. Bei einzelnen Wahrnehmungs- und Werkzeugvarianten liegen andere Modelle vorn.
| Benchmark | Kimi K3 | Fable 5 | GPT-5.6 Sol | Opus 4.8 | GPT-5.5 |
|---|---|---|---|---|---|
| WorldVQA ForceAnswer | 51,0 | 56,7 | 41,8 | 39,1 | 38,5 |
| OmniDocBench | 91,1 | 89,8 | 85,8 | 87,9 | 89,4 |
| PerceptionBench | 58,5 | 57,2 | 59,7 | 47,2 | 55,8 |
| Video-MME mit Untertiteln | 90,0 | — | 89,5 | 86,0 | 89,3 |
| MMVU | 82,1 | — | 81,2 | 79,2 | 81,7 |
| BabyVision mit Python | 85,7 | 90,5 | 88,9 | 81,2 | 83,6 |
| MMMU-Pro ohne / mit Python | 81,6 / 83,4 | 81,2 / 86,5 | 83,0 / 84,6 | 78,9 / 82,7 | 81,2 / 83,2 |
| CharXiv RQ ohne / mit Python | 84,8 / 91,3 | 88,9 / 93,5 | 84,6 / 89,1 | 80,5 / 89,9 | 84,1 / 89,0 |
| MathVision ohne / mit Python | 94,3 / 97,8 | 94,8 / 98,6 | 95,8 / 97,8 | 86,7 / 97,1 | 92,2 / 96,8 |
| ZeroBench pass@5 ohne / mit Python | 23,0 / 41,0 | 23,0 / 46,0 | 17,0 / 35,0 | 17,0 / 34,0 | 22,0 / 41,0 |
OmniDocBench umfasst neun Dokumenttypen und umfangreiche Layout- und Attributannotationen. Ein hoher Wert spricht für starke Dokumentwahrnehmung und -extraktion, nicht automatisch für fehlerfreie fachliche Interpretation jedes PDFs .
Video-MME deckt kurze, mittlere und lange Videos, sechs visuelle Hauptdomänen sowie Untertitel und Audio ab . Die Modellkarte nennt ausdrücklich die Variante mit Untertiteln.
MMMU-Pro erschwert MMMU unter anderem durch das Entfernen text-only lösbarer Fragen, mehr Antwortoptionen und einen Vision-only-Modus . Bei MMMU-Pro, CharXiv, MathVision und ZeroBench bedeutet der erste Wert „ohne Werkzeug“, der zweite „mit Python“.
Alle multimodalen Ergebnisse außer ZeroBench wurden laut Modellkarte über drei Läufe gemittelt. ZeroBench folgt dem offiziellen pass@5-Protokoll und wurde fünfmal ausgeführt. Bei MMMU-Pro blieben Eingabereihenfolge und vorangestellte Bilder gemäß offiziellem Protokoll erhalten. PerceptionBench ist ein interner Moonshot-Benchmark für atomare visuelle Wahrnehmung und besitzt deshalb weniger unabhängige Aussagekraft als externe Benchmarks.
3.5. Wie fair und vergleichbar ist die Benchmark-Tabelle?
Kurze Antwort: Sie ist informativ, aber kein kontrolliertes Experiment mit vollständig identischen Bedingungen. Unterschiede bei Harnesses, Werkzeugen, Fallbacks, Sicherheitsfiltern, Hardware, Kontextmanagement und Messzeitpunkten beeinflussen die Werte.
Detaillierte Erklärung:
Für Kimi K3 setzt Moonshot AI in der Modellkarte:
reasoning_effort = max,temperature = 1.0,- bei einstufigen Aufgaben
top_p = 0.95, - bei agentischen Aufgaben
top_p = 1.0.
Andere Modelle laufen teils mit „max“, GPT-5.5 mit „xhigh“. Je nach Benchmark kommen Kimi Code, Claude Code, Codex, Terminus oder mini-SWE-agent zum Einsatz . Damit wird nicht nur die reine Modellfähigkeit verglichen.
Zusätzliche Verzerrungsquellen:
- Fallbacks: Claude Fable 5 kann auf ein anderes Modell zurückfallen; bei SWE-Marathon geschah dies laut Bericht in 35 Prozent der Aufgaben.
- Cyberguards und Verweigerungen: Sicherheitsfilter können Aufgaben blockieren und so Coding-Scores senken.
- Unterschiedliche Hardware: Manche PostTrainBench-Läufe verwendeten H20 statt H100.
- Interne Benchmarks: Kimi Code Bench 2.0 und PerceptionBench stammen von Moonshot AI.
- Judge-Modelle: MCP-Atlas verwendet Gemini 3.1 Pro als automatischen Bewerter.
- Zeitabhängige Leaderboards: Mehrere Zahlen sind Momentaufnahmen vom 16. oder 23. Juli 2026.
- Werkzeuge: Ein Slash trennt bei mehreren Benchmarks die Werte ohne und mit Werkzeugunterstützung.
Der technische Bericht formuliert die Gesamtaussage selbst vorsichtiger als manche Schlagzeile: Kimi K3 liege insgesamt noch hinter Claude Fable 5 und GPT-5.6 Sol, übertreffe in der eigenen Suite aber konsistent die übrigen verglichenen offenen und proprietären Modelle . Der Tech-Blog wiederholt diese Einschränkung und dokumentiert zusätzlich eine verbleibende Lücke in der Nutzer:innenerfahrung .
Die beste Lesart ist deshalb eine Profilanalyse: Kimi K3 zeigt besondere Stärke bei langen Coding- und Agentenaufgaben, Dokumenten, Recherche und mehreren Werkzeugbenchmarks. Es gewinnt nicht jede Zeile, und einzelne Punkte Unterschied sollten ohne Konfidenzintervalle und identische Harnesses nicht überinterpretiert werden.
4. Bereitstellung und API-Nutzung
4.1. Wie lässt sich Kimi K3 selbst bereitstellen?
Kurze Antwort: Die Gewichte können heruntergeladen werden. Moonshot AI empfiehlt aktuell vLLM, SGLang und TokenSpeed. Wegen Modellgröße, Expert Parallelism, Quantisierung und hybrider Attention ist die Bereitstellung ein Rechenzentrumsprojekt, kein gewöhnliches Einzel-GPU-Setup.
Detaillierte Erklärung:
Die Hugging-Face-Veröffentlichung besteht aus 96 Gewichtsteilen plus Konfiguration, Tokenizer, Vision-Verarbeitung und eigenem Modellcode . Schon die 4-Bit-Gewichte benötigen in idealisierter Rechnung rund 1,4 Terabyte nur für 2,8 Billionen Werte; Skalen, nicht quantisierte Teile, Laufzeitpuffer, KV-Cache, KDA-Zustände und Replikation kommen hinzu.
Die Modellkarte listet:
- vLLM mit einem eigenen Kimi-K3-Rezept ,
- SGLang mit einem eigenen Cookbook ,
- TokenSpeed mit Modellrezepten für NVIDIA- und AMD-Pfade .
Die technische Herausforderung besteht aus mehreren Parallelitätsarten:
- Tensor Parallelism: einzelne Matrizen werden über Geräte verteilt,
- Expert Parallelism: unterschiedliche Expert:innen liegen auf unterschiedlichen Geräten,
- Context Parallelism: lange Sequenzen werden verteilt,
- Vision-Verarbeitung: der visuelle Encoder besitzt andere optimale Teilungsbedingungen,
- Kommunikation: 16 ausgewählte Expert:innen können pro Token Datenverkehr zwischen Beschleunigern auslösen.
Moonshot AI empfiehlt im Tech-Blog Supernode-Konfigurationen mit mindestens 64 Beschleunigern. Einzelne Laufzeitrezepte können kleinere Demonstrationskonfigurationen mit reduzierter Kontextlänge zeigen; das ist nicht dasselbe wie die vollständige Million-Token-Produktion.
Open Weight beseitigt Lizenz- und Zugangsbarrieren, aber nicht Speicher-, Strom-, Netzwerk- und Betriebsaufwand. Für viele Teams ist die offizielle oder eine zertifizierte API wirtschaftlicher als Selbsthosting.
4.2. Wie funktionieren API, Thinking Effort und Preserved Thinking History?
Kurze Antwort: Kimi K3 denkt immer. Der Aufwand wird über reasoning_effort auf low, high oder max gesetzt. Bei Folgeanfragen muss die vollständige vorherige Assistant-Nachricht inklusive reasoning_content und tool_calls unverändert zurückgegeben werden.
Detaillierte Erklärung:
Die Modellkarte nennt eine OpenAI- und Anthropic-kompatible API. Das bedeutet Schnittstellenkompatibilität, nicht identisches Modellverhalten. Der Modellname lautet kimi-k3 .
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["MOONSHOT_API_KEY"],
base_url="https://api.moonshot.ai/v1",
)
response = client.chat.completions.create(
model="kimi-k3",
reasoning_effort="max",
messages=[
{"role": "user", "content": "Erkläre den Unterschied zwischen Gesamt- und aktiven Parametern."}
],
)Thinking Effort:
lowreduziert den Denkaufwand für einfache oder latenzkritische Aufgaben,highliegt dazwischen,maxist der Standard und wurde für die veröffentlichten Kimi-K3-Benchmarks verwendet.
Preserved Thinking History: Das Modell wurde darauf trainiert, seinen vorherigen Denkzustand in Mehrfachrunden weiterzuverwenden. Integrationen dürfen daher nicht nur das sichtbare content speichern. Sie müssen die gesamte Assistant-Nachricht samt reasoning_content und Werkzeugaufrufen wieder in messages einfügen .
Die API-Dokumentation nennt außerdem:
- getrennte Streaming-Deltas für
reasoning_contentund finale Inhalte, - Bildinput als strukturiertes Array, nicht als serialisierten String,
- Videoupload über die Files API,
- strikte strukturierte Ausgabe mit JSON Schema,
- Partial Mode zum Fortsetzen eines Präfixes,
tool_choice="required"für erzwungene Werkzeugnutzung,- dynamisches Laden vollständiger Tooldefinitionen,
- automatisches Kontext-Caching ohne eigene Cache-ID oder TTL.
Eine zentrale Integrationsgefahr ist der Modellwechsel mitten in einer Sitzung. Der Tech-Blog warnt, dass fehlende Denk-Historie oder ein Wechsel von einem anderen Modell zu Kimi K3 die Generationsqualität stark destabilisieren kann .
5. Lizenz, Grenzen und Fazit
5.1. Darf Kimi K3 kommerziell verwendet werden?
Kurze Antwort: Für die meisten Unternehmen grundsätzlich ja. Die eigene Kimi-K3-Lizenz erlaubt Nutzung, Änderung, Verteilung, Unterlizenzierung, Verkauf, Deployment und Fine-Tuning. Sie ist erkennbar von der MIT-Lizenz inspiriert, aber nicht mit ihr identisch und nicht bedingungslos kommerziell nutzbar. Für umsatzstarke Model-as-a-Service-Unternehmen ist eine separate Vereinbarung erforderlich; bei sehr großen kommerziellen Produkten kommt eine Kennzeichnungspflicht hinzu.
Detaillierte Erklärung:
Die Lizenz erfasst ausdrücklich Modellgewichte, Parameter, Konfiguration, Inferenz- und Trainingscode sowie Dokumentation. Sie erlaubt weitgehende Bearbeitung und kommerzielle Nutzung, verlangt aber die Beibehaltung des Copyright- und Erlaubnistextes sowie die Einhaltung anwendbarer Gesetze .
Warum wird die Lizenz kontrovers eingeordnet?
Der Open-Model-Forscher Nathan Lambert fasst die Kimi-K3-Lizenz als MIT-inspiriert, aber deutlich nichtkommerziell zusammen. Er warnt, ein Unternehmen mit mehr als 20 Millionen US-Dollar Jahresumsatz benötige einen eigenen kommerziellen Vertrag; ab 100 Millionen Nutzer:innen oder 20 Millionen US-Dollar Monatsumsatz müsse zudem „Kimi K3“ angezeigt werden . Seine Einordnung lenkt zu Recht den Blick auf Einschränkungen, die eine normale MIT-Lizenz nicht enthält. Als wörtliche Zusammenfassung der Klauseln ist sie jedoch zu pauschal.
Die Grenze von 20 Millionen US-Dollar Umsatz innerhalb von zwölf Monaten gilt laut veröffentlichtem Lizenztext nicht für jedes beliebige Unternehmen, sondern nur, wenn der Lizenznehmer oder ein verbundenes Unternehmen zugleich ein Geschäft betreibt, das unter die lizenzinterne Definition von Model as a Service (MaaS) fällt. Auch „nichtkommerziell“ wäre als pauschales Etikett missverständlich: Die Lizenz gestattet ausdrücklich Verkauf und andere kommerzielle Nutzungen. Sie begrenzt diese Rechte aber für bestimmte große Anbieter und Produkte.
Welche zwei Regeln muss man unterscheiden?
1. Separate Vereinbarung für große Model-as-a-Service-Unternehmen
Die Lizenz definiert MaaS als Zugang Dritter zu Modellinferenz oder Fine-Tuning – beispielsweise über eine API –, bei dem diese Dritten eine bedeutsame Kontrolle über Eingaben, Parameter oder Trainingsdaten ausüben können. Zwei Fälle nimmt sie ausdrücklich von dieser MaaS-Definition aus:
- Endkund:innenprodukte, in denen Modellfähigkeiten ausschließlich in konkrete Funktionen oder einen bestimmten Agenten-Harness eingebettet sind,
- das bloße Weiterleiten von Anfragen an Modelle, die von anderen Anbietern gehostet werden.
Eine separate Vereinbarung mit Moonshot AI wird notwendig, wenn beide Voraussetzungen erfüllt sind:
- Der Lizenznehmer oder eines seiner verbundenen Unternehmen betreibt ein MaaS-Geschäft im Sinne dieser Definition.
- Der zusammengefasste Umsatz des Lizenznehmers und seiner verbundenen Unternehmen übersteigt in beliebigen aufeinanderfolgenden zwölf Monaten insgesamt 20 Millionen US-Dollar oder den entsprechenden Betrag in einer anderen Währung.
Ist diese Schwelle erreicht, verlangt der Wortlaut die separate Vereinbarung vor der Nutzung von Kimi K3 oder abgeleiteten Werken für irgendeinen kommerziellen Zweck. Die Rechtsfolge ist also breiter als nur der konkrete API-Dienst, obwohl der Auslöser an das Betreiben eines MaaS-Geschäfts gekoppelt ist .
2. Sichtbare Namensnennung bei sehr großen Produkten oder Diensten
Unabhängig davon gilt für ein kommerzielles Produkt oder einen kommerziellen Dienst, der Kimi K3 oder ein abgeleitetes Werk verwendet, eine Kennzeichnungspflicht, sobald mindestens eine der folgenden Schwellen überschritten wird:
- mehr als 100 Millionen monatlich aktive Nutzer:innen, oder
- mehr als 20 Millionen US-Dollar Monatsumsatz beziehungsweise der entsprechende Betrag in einer anderen Währung.
Dann muss der Name „Kimi K3“ prominent in der Benutzeroberfläche des betreffenden Produkts oder Dienstes angezeigt werden. Diese zweite Regel ist keine allgemeine Zahlungspflicht und nicht auf MaaS beschränkt. Sie betrifft die sichtbare Zuordnung bei Produkten von sehr großer Reichweite oder sehr hohem Umsatz .
Welche Ausnahmen nennt die Lizenz?
Die Anforderungen aus beiden Zusatzregeln gelten laut Abschnitt 4 der Lizenz nicht für:
- rein interne Nutzung – definiert als Nutzung, bei der weder die Software noch ihre Ausgaben oder zugrunde liegenden Fähigkeiten Dritten zugänglich gemacht werden,
- die Nutzung über offizielle Produkte von Moonshot AI oder über zertifizierte Inferenzpartner.
Das ist praktisch bedeutsam: Ein internes Analysewerkzeug, ein eingebettetes Endkund:innenfeature und eine frei kontrollierbare Modell-API können lizenzrechtlich unterschiedlich eingeordnet werden. Auch die Unternehmensgruppe und nicht nur der Umsatz eines einzelnen Produkts kann bei der MaaS-Schwelle relevant sein.
Die Lizenz enthält außerdem einen umfassenden „as is“-Haftungs- und Gewährleistungsausschluss. Nutzer:innen tragen daher selbst Verantwortung für Eignungsprüfung, Sicherheit, Datenschutz, Rechtskonformität und die Kontrolle von Modellausgaben.
Weil die Lizenz zusätzliche Bedingungen enthält und die Veröffentlichung nicht sämtliche von der OSI geforderten Trainingsdateninformationen umfasst, ist „Open Weight unter der Kimi-K3-Lizenz“ die präzisere Bezeichnung. Die OSI unterscheidet offene Gewichte ausdrücklich von vollständig quelloffener KI und verlangt für Open Source AI eine bevorzugte Änderungsform mit ausreichender Daten- und Trainingsinformation .
Diese Zusammenfassung erklärt den veröffentlichten Lizenztext und ordnet eine öffentliche Kritik daran ein; sie ersetzt keine rechtliche Prüfung. Besonders MaaS-Anbieter, Konzerngruppen, Anbieter abgeleiteter Modelle und Produkte nahe den Umsatz- oder Nutzer:innenschwellen sollten klären lassen, welche Klauseln auf ihren konkreten Vertriebs- und Hostingweg anwendbar sind. Lizenzfragen können direkt an die im Lizenztext angegebene Adresse license@moonshot.ai gerichtet werden.
5.2. Welche Grenzen und Risiken sollte man bei der Bewertung beachten?
Kurze Antwort: Modellgröße, Kontextlänge und Benchmarks sind starke Indizien, aber keine Betriebsgarantie. Die wichtigsten offenen Punkte sind Herstellerabhängigkeit der Evaluation, fehlende vollständige Trainingsdatentransparenz, enorme Infrastrukturkosten, Empfindlichkeit gegenüber der Denk-Historie und übermäßige Eigeninitiative.
Detaillierte Erklärung:
Moonshot AI nennt im Tech-Blog selbst drei Einschränkungen :
- Empfindlichkeit gegenüber Thinking History: Fehlt die vollständige vorherige Denk-Historie oder wird mitten im Gespräch auf K3 gewechselt, kann die Ausgabe instabil werden.
- Übermäßige Proaktivität: Weil K3 besonders auf schwierige Langzeitaufgaben trainiert wurde, kann es bei kleinen Problemen oder uneindeutiger Absicht Entscheidungen im Namen der Nutzer:innen treffen. Explizite Grenzen in System-Prompt oder
AGENTS.mdwerden empfohlen. - Lücke in der Nutzer:innenerfahrung: Trotz hoher Gesamtleistung sieht Moonshot AI selbst einen merklichen Abstand zu Claude Fable 5 und GPT-5.6 Sol.
Hinzu kommen strukturelle Grenzen der Modellkarte:
- Sie nennt keine vollständigen Trainingsdatensätze oder Datenmischungen.
- Viele Benchmarkwerte stammen vom Hersteller oder verwenden herstellerspezifische Harnesses.
- Bei mehreren Vergleichsmodellen greifen Fallbacks oder Sicherheitsfilter.
- Ein Million-Token-Fenster garantiert keine gleichmäßige Informationsnutzung.
- Native Multimodalität bedeutet nicht fehlerfreie visuelle Wahrnehmung.
- Open Weights bedeuten nicht, dass wirtschaftliches Selbsthosting einfach ist.
- Die eigene Lizenz ist weitgehend permissiv, aber nicht bedingungslos.
Hugging Face empfiehlt, in Model Cards neben Evaluationen auch vorgesehene Nutzungen, potenzielle Grenzen, Verzerrungen und ethische Erwägungen zu dokumentieren . Für eine Produktionsentscheidung sollte Kimi K3 deshalb auf eigenen Aufgaben, mit eigenem Harness, realistischen Sicherheitsregeln und tatsächlicher Zielhardware getestet werden.
Der technische Bericht liefert eine faire Gesamteinordnung: Kimi K3 erreicht in vielen lang laufenden Coding-, Agenten-, Wissens-, Reasoning- und Vision-Aufgaben Spitzenleistung, liegt insgesamt aber noch hinter den stärksten proprietären Vergleichsmodellen . Genau darin liegt die Bedeutung der Veröffentlichung: Nicht jede einzelne Benchmarkzeile ist Rekord, aber ein Modell dieser Größenordnung, mit diesen Gewichten und dieser Leistungsbreite, steht nun für Forschung und Deployment zur Verfügung.
Zusammenfassung
| Kernaussage | Präzise Einordnung |
|---|---|
| Was ist Kimi K3? | Ein 2,8-Billionen-Parameter-MoE-Modell mit Text-, Bild- und Videoverarbeitung, Werkzeugnutzung und Open-Weight-Veröffentlichung. |
| Wie viel rechnet es pro Token? | Ungefähr 104 Milliarden Parameter; 16 von 896 gerouteten Expert:innen plus zwei gemeinsam genutzte Expert:innen. |
| Was ist architektonisch neu? | KDA für lange Sequenzen, Gated MLA für globale Interaktion, AttnRes für Tiefenzugriff und Stable LatentMoE für Breite. |
| Wie lang ist der Kontext? | Exakt 1.048.576 Tokens. Die maximale Kapazität garantiert keine perfekte Nutzung jeder Position. |
| Wie ist es quantisiert? | MXFP4-Gewichte und MXFP8-Aktivierungen, mit Quantization-aware Training ab der SFT-Phase. |
| Wie gut sind die Benchmarks? | Spitzengruppe mit deutlichen Stärken bei Long-Horizon Coding, Agenten, Dokumenten und Recherche; nicht in jeder Zeile führend. |
| Kann man es selbst hosten? | Ja, aber das vollständige Modell verlangt verteilte Rechenzentrumsinfrastruktur und spezialisierte Inferenz-Engines. |
| Ist es Open Source? | Die Gewichte sind offen verfügbar. Präziser ist „Open Weight unter der Kimi-K3-Lizenz“, weil vollständige Trainingsdateninformationen fehlen und Zusatzbedingungen gelten. |