3 Einträge
Schlagwort: tokenizationArtikel:Rico Sennrich, Barry Haddow, Alexandra Birch
Rico Sennrich, Barry Haddow und Alexandra Birch stellen eine Methode vor, mit der neuronale Übersetzungssysteme seltene und unbekannte Wörter durch Subword-Einheiten verarbeiten können. Statt auf ein festes Vokabular mit Wörterbuch-Rückfallebene zu setzen, nutzt das Verfahren Segmentierungen wie Byte Pair Encoding (BPE), um ein offenes Vokabular zu ermöglichen.
Artikel:Wikipedia contributors
Byte-Pair Encoding (BPE), ursprünglich 1994 von Philip Gage als Algorithmus zur Datenkompression vorgestellt, bildet in modifizierter Form das Fundament moderner Tokenizer für große Sprachmodelle (LLMs). Anstelle maximaler Kompression erzeugt die LLM-Variante ein fest definiertes Token-Vokabular durch schrittweises Zusammenführen häufiger n-Gramme.
X-Post:Ahmad
Ahmad (@TheAhmadOsman) teilt einen strukturierten, projektbasierten Leitfaden für LLM-Engineering. Ziel ist es, Sprachmodelle nicht nur theoretisch zu verstehen, sondern fundamentale Bausteine wie Tokenizer, Attention, Caches, Serving und Evaluierung von Grund auf selbst zu implementieren und zu testen.
975Lesezeichen18.522Aufrufe
3 von 3 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
