X-PostAYiDiskussion
Die Modellentwicklung über sieben Jahre hinweg beruht nicht nur auf schierer Skalierung, sondern auf der schrittweisen Behebung fundamentaler Speicher- und Berechnungsengpässe in Transformer-Architekturen. Open-Source-Veröffentlichungen großer Spitzenmodelle beschleunigen das kollektive Verständnis dieser Mechanismen drastisch.
Die Untersuchung verdeutlicht den Übergang von rein skalierten Decodern zu modernen Hybrid- und Recurrence-Architekturen. Während GPT-2 auf Standard-Attention mit quadratischer Komplexität und stark wachsendem KV-Cache setzte, adressiert K3 die Speicherbegrenzungen durch fortgeschrittene Rekurrenz- und Aufmerksamkeitsmuster. DeltaNet und KDA-Mechanismen zeigen, wie finite Speichermatrizen dynamisch aktualisiert werden können, um Assoziationen gezielt zu verwalten, ohne den Rechenaufwand unkontrolliert anwachsen zu lassen.
AYi
@AYi_AInotes · 28. Juli 2026
这是@Kimi_Moonshot K3开源后我见过最狠的帖子。 一个Baseten的工程师，@waterloo_intern 老哥花48小时喝了40罐气泡水，把K3的建模代码扒了个底朝天。 128万浏览，6000多收藏， 最后得出一个结论， 一个K3里能塞下22580个2019年的GPT-2， 七年时间参数涨了两万两千多倍， 但这根本不是堆参数堆出来的。 t.co/x6c4RidO8z t.co/zOO0KonyjD
2263 Likes58 Antworten1878 Lesezeichen401.994 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Kimi Team (Yu Zhang et al.)
Das Kimi-Team stellt Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in Tests über kurze und lange Kontexte sowie im RL-Scaling übertrifft. Sie senkt den KV-Cache-Bedarf um bis zu 75 Prozent und steigert den Decoding-Durchsatz bei Kontexten von 1 Million Token um das bis zu Sechsfache.
Link:Moonshot AI
Moonshot AI hat Kimi K3 bereitgestellt, ein multimodales Agentenmodell mit offenen Gewichten, 2,8 Billionen Parametern und einem Kontextfenster von 1 Million Token. Das Modell nutzt eine Sparse-MoE-Architektur mit 104 Milliarden aktivierten Parametern pro Token.
Repository:PipeNetwork/kimi-k3-mlx
kimi-k3-mlx portiert Moonshots multimodales Kimi-K3-MoE-Modell (2,78 Billionen Parameter) auf Apples MLX-Framework. Da das Modell selbst im komprimierten Zustand zu groß für handelsübliche Apple-Silicon-Rechner ist, liefert das Projekt neben den Modell- und Vision-Wrappern einen Streaming-Konverter sowie Werkzeuge zum Pruning von Experten.
337SternePython
VideoVideo:CURT
In der ersten Folge einer Erklärserie beschreibt Software-Ingenieur Colin den gesamten Entwicklungsprozess moderner Sprachmodelle anhand des technischen Berichts von Moonshot AIs Kimi K3. Der Lebenszyklus gliedert sich in neun Stationen: von der Zieldefinition und Datenaufbereitung über Architektur und Pre-Training bis hin zu Post-Training, Benchmarks, Sicherheitsprüfungen und Serving im Produktivbetrieb.
Artikel:Ju-yeong Ji, Ravin Kumar
Google erklärt die Neuerungen in Gemma 3. Die Modellreihe bringt Vision-Language-Funktionen, längere Kontextfenster, einen überarbeiteten Tokenizer sowie architektonische Anpassungen für effizientere KV-Cache-Nutzung.
X-Post:wast3
Ein Entwickler stellt eine speicherbasierte Architektur für Kimi K3 vor, die Vektordatenbanken und riesige Kontextfenster durch ein Vier-Knoten-Modell mit automatischem Verfall ersetzt. Statt Informationen unbegrenzt aufzubewahren, müssen Fakten ihre Relevanz durch tatsächliche Weiternutzung verdienen.
697Lesezeichen67.060Aufrufe
Ein Teil von diesem Inhalt wurde mit KI gemacht.
