ArtikelYonghui Wu, Mike Schuster, Zhifeng Chen, et al.Forschung
Neuronale Übersetzungssysteme lieferten zwar theoretisch bessere Ergebnisse als phrasenbasierte Ansätze, waren aber lange zu rechenintensiv und fehleranfällig bei seltenen Begriffen. Die Arbeit demonstriert, mit welchen architektonischen und mathematischen Optimierungen NMT für großskalierte Produktionsumgebungen nutzbar gemacht wurde.
Die Autoren lösen praktische Hürden der neuronalen Übersetzung auf mehreren Ebenen: Das Wordpiece-Modell umgeht das Problem fester Vokabulare, ohne die Nachteile reiner Zeichenmodelle zu übernehmen. Hardware- und inferenzseitige Maßnahmen wie Berechnungen mit niedriger Genauigkeit machen das System praxistauglich für Echtzeitanwendungen. Auf Benchmarks wie WMT'14 Englisch-Französisch und Englisch-Deutsch erreicht das Modell den Stand der Technik.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Rico Sennrich, Barry Haddow, Alexandra Birch
Rico Sennrich, Barry Haddow und Alexandra Birch stellen eine Methode vor, mit der neuronale Übersetzungssysteme seltene und unbekannte Wörter durch Subword-Einheiten verarbeiten können. Statt auf ein festes Vokabular mit Wörterbuch-Rückfallebene zu setzen, nutzt das Verfahren Segmentierungen wie Byte Pair Encoding (BPE), um ein offenes Vokabular zu ermöglichen.
Artikel:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
Die Autoren stellen mit dem Transformer eine Netzwerkarchitektur vor, die vollständig auf Rekurrenz und Faltungen verzichtet und stattdessen ausschließlich auf Aufmerksamkeitsmechanismen setzt.
Artikel:Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
Das Paper von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio adressiert den Flaschenhals von Vektoren fester Länge in Encoder-Decoder-Architekturen durch eine weiche Zuordnung relevanter Satzteile.
Artikel:Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter
Ein Forschungsteam um Sepp Hochreiter stellt xLSTM vor, eine Weiterentwicklung der klassischen Long Short-Term Memory-Architektur für moderne Large Language Models. Die Erweiterung behebt bisherige Skalierungs- und Parallelisierungsgrenzen von LSTMs und erzielt vergleichbare Ergebnisse zu Transformer- und State-Space-Modellen.
Artikel:Wikipedia contributors
Der Wikipedia-Artikel fasst den Aufbau und die historische Entstehung von Transformer-Modellen zusammen. Die Architektur basiert auf Multi-Head-Attention und verzichtet vollständig auf rekurrente Schichten, was paralleles Training auf Grafikprozessoren ermöglicht.
Artikel:Ju-yeong Ji, Ravin Kumar
Google erklärt die Neuerungen in Gemma 3. Die Modellreihe bringt Vision-Language-Funktionen, längere Kontextfenster, einen überarbeiteten Tokenizer sowie architektonische Anpassungen für effizientere KV-Cache-Nutzung.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
