X-PostAYiDiskussion
Die Modellentwicklung über sieben Jahre hinweg beruht nicht nur auf schierer Skalierung, sondern auf der schrittweisen Behebung fundamentaler Speicher- und Berechnungsengpässe in Transformer-Architekturen. Open-Source-Veröffentlichungen großer Spitzenmodelle beschleunigen das kollektive Verständnis dieser Mechanismen drastisch.
Die Untersuchung verdeutlicht den Übergang von rein skalierten Decodern zu modernen Hybrid- und Recurrence-Architekturen. Während GPT-2 auf Standard-Attention mit quadratischer Komplexität und stark wachsendem KV-Cache setzte, adressiert K3 die Speicherbegrenzungen durch fortgeschrittene Rekurrenz- und Aufmerksamkeitsmuster. DeltaNet und KDA-Mechanismen zeigen, wie finite Speichermatrizen dynamisch aktualisiert werden können, um Assoziationen gezielt zu verwalten, ohne den Rechenaufwand unkontrolliert anwachsen zu lassen.
AYi
@AYi_AInotes · 28. Juli 2026
这是@Kimi_Moonshot K3开源后我见过最狠的帖子。 一个Baseten的工程师，@waterloo_intern 老哥花48小时喝了40罐气泡水，把K3的建模代码扒了个底朝天。 128万浏览，6000多收藏， 最后得出一个结论， 一个K3里能塞下22580个2019年的GPT-2， 七年时间参数涨了两万两千多倍， 但这根本不是堆参数堆出来的。 t.co/x6c4RidO8z t.co/zOO0KonyjD
2263 Likes58 Antworten1878 Lesezeichen401.994 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Kimi Team (Yu Zhang et al.)
Das Kimi-Team stellt Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in Tests über kurze und lange Kontexte sowie im RL-Scaling übertrifft. Sie senkt den KV-Cache-Bedarf um bis zu 75 Prozent und steigert den Decoding-Durchsatz bei Kontexten von 1 Million Token um das bis zu Sechsfache.
Repository:PipeNetwork/kimi-k3-mlx
kimi-k3-mlx portiert Moonshots multimodales Kimi-K3-MoE-Modell (2,78 Billionen Parameter) auf Apples MLX-Framework. Da das Modell selbst im komprimierten Zustand zu groß für handelsübliche Apple-Silicon-Rechner ist, liefert das Projekt neben den Modell- und Vision-Wrappern einen Streaming-Konverter sowie Werkzeuge zum Pruning von Experten.
337SternePython
Artikel:Ju-yeong Ji, Ravin Kumar
Google erklärt die Neuerungen in Gemma 3. Die Modellreihe bringt Vision-Language-Funktionen, längere Kontextfenster, einen überarbeiteten Tokenizer sowie architektonische Anpassungen für effizientere KV-Cache-Nutzung.
X-Post:wast3
Ein Entwickler stellt eine speicherbasierte Architektur für Kimi K3 vor, die Vektordatenbanken und riesige Kontextfenster durch ein Vier-Knoten-Modell mit automatischem Verfall ersetzt. Statt Informationen unbegrenzt aufzubewahren, müssen Fakten ihre Relevanz durch tatsächliche Weiternutzung verdienen.
697Lesezeichen67.060Aufrufe
Artikel:Wikipedia contributors
Der Wikipedia-Artikel fasst den Aufbau und die historische Entstehung von Transformer-Modellen zusammen. Die Architektur basiert auf Multi-Head-Attention und verzichtet vollständig auf rekurrente Schichten, was paralleles Training auf Grafikprozessoren ermöglicht.
Repository:studio-dots-ai/dots3-note-prev
Dots Studio hat mit dots3-note preview das erste Open-Weight-Modell der dots3-Reihe veröffentlicht. Die Mixture-of-Experts-Architektur kombiniert 280 Milliarden Gesamtparameter mit 16 Milliarden aktivierten Parametern und unterstützt multimodale Eingaben sowie bis zu 512.000 Kontext-Token.
123Sterne
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
