ArtikelAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia PolosukhinForschung
Die Transformer-Architektur löst traditionelle RNNs und CNNs in der Sequenzverarbeitung ab, da sie durch vollständige Parallelisierung drastisch schnellere Trainingszeiten bei gleichzeitig höherer Genauigkeit ermöglicht.
Das Papier demonstriert, dass Rekurrenz nicht notwendig ist, um sequenzielle Abhängigkeiten in Sprache zu modellieren. Durch den Verzicht auf sequentielle Verarbeitungsschritte lassen sich Modelle effizienter auf moderner Hardware trainieren, was den Trainingsaufwand im Vergleich zu früheren Bestmodellen auf einen Bruchteil reduziert.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Wikipedia contributors
Der Wikipedia-Artikel fasst den Aufbau und die historische Entstehung von Transformer-Modellen zusammen. Die Architektur basiert auf Multi-Head-Attention und verzichtet vollständig auf rekurrente Schichten, was paralleles Training auf Grafikprozessoren ermöglicht.
Artikel:Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
Das Paper von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio adressiert den Flaschenhals von Vektoren fester Länge in Encoder-Decoder-Architekturen durch eine weiche Zuordnung relevanter Satzteile.
Artikel:Yonghui Wu, Mike Schuster, Zhifeng Chen, et al.
In einer Forschungsarbeit beschreiben Forschende von Google das neuronale Übersetzungssystem GNMT (Google's Neural Machine Translation). Es adressiert zentrale Nachteile bisheriger NMT-Modelle wie hohen Rechenaufwand im Training, langsame Inferenz und Schwächen bei seltenen Wörtern.
Artikel:Albert Gu, Tri Dao
Albert Gu und Tri Dao stellen mit Mamba eine Architektur vor, die auf selektiven State Space Models (SSMs) basiert. Das Modell skaliert linear mit der Sequenzlänge, verzichtet auf Attention-Mechanismen sowie MLP-Blöcke und übertrifft vergleichbare Transformer bei fünffachem Inferenzdurchsatz.
Artikel:Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter
Ein Forschungsteam um Sepp Hochreiter stellt xLSTM vor, eine Weiterentwicklung der klassischen Long Short-Term Memory-Architektur für moderne Large Language Models. Die Erweiterung behebt bisherige Skalierungs- und Parallelisierungsgrenzen von LSTMs und erzielt vergleichbare Ergebnisse zu Transformer- und State-Space-Modellen.
Artikel:Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean
Ein Forschungsteam um Tomas Mikolov stellt zwei neue Modellarchitekturen vor, um kontinuierliche Vektor-Repräsentationen von Wörtern aus sehr großen Textmengen effizient zu berechnen. Der Ansatz erzielt höhere Genauigkeit bei deutlich reduziertem Rechenaufwand im Vergleich zu früheren neuronalen Netzen.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
