ArtikelRico Sennrich, Barry Haddow, Alexandra BirchForschung
Die Zerlegung von Wörtern in Subword-Einheiten via Byte Pair Encoding löst das Problem von Out-of-Vocabulary-Wörtern elegant und bildet das methodische Fundament moderner Tokenizer in der Computerlinguistik und bei Sprachmodellen.
Das Paper zeigt, dass die Repräsentation von Sprache nicht an starren Wortgrenzen festhalten muss, um semantische und morphologische Strukturen korrekt zu erfassen. Die Autoren weisen nach, dass BPE empirisch messbare Qualitätssteigerungen liefert, ohne zusätzliche externe Ressourcen wie Nachschlagewerke zu benötigen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
Das Paper von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio adressiert den Flaschenhals von Vektoren fester Länge in Encoder-Decoder-Architekturen durch eine weiche Zuordnung relevanter Satzteile.
Artikel:Wikipedia contributors
Byte-Pair Encoding (BPE), ursprünglich 1994 von Philip Gage als Algorithmus zur Datenkompression vorgestellt, bildet in modifizierter Form das Fundament moderner Tokenizer für große Sprachmodelle (LLMs). Anstelle maximaler Kompression erzeugt die LLM-Variante ein fest definiertes Token-Vokabular durch schrittweises Zusammenführen häufiger n-Gramme.
Artikel:Yonghui Wu, Mike Schuster, Zhifeng Chen, et al.
In einer Forschungsarbeit beschreiben Forschende von Google das neuronale Übersetzungssystem GNMT (Google's Neural Machine Translation). Es adressiert zentrale Nachteile bisheriger NMT-Modelle wie hohen Rechenaufwand im Training, langsame Inferenz und Schwächen bei seltenen Wörtern.
Artikel:Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean
Ein Forschungsteam um Tomas Mikolov stellt zwei neue Modellarchitekturen vor, um kontinuierliche Vektor-Repräsentationen von Wörtern aus sehr großen Textmengen effizient zu berechnen. Der Ansatz erzielt höhere Genauigkeit bei deutlich reduziertem Rechenaufwand im Vergleich zu früheren neuronalen Netzen.
Artikel:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
Die Autoren stellen mit dem Transformer eine Netzwerkarchitektur vor, die vollständig auf Rekurrenz und Faltungen verzichtet und stattdessen ausschließlich auf Aufmerksamkeitsmechanismen setzt.
Artikel:Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean
Die Autoren stellen Erweiterungen für das kontinuierliche Skip-Gram-Modell vor, um Trainingsgeschwindigkeit und Vektorqualität zu optimieren. Vorgestellt werden das Subsampling häufiger Wörter, Negative Sampling als Alternative zu Hierarchical Softmax sowie eine Methode zur Vektordarstellung idiomatrischer Phrasen.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
