3 Einträge
Schlagwort: bpeArtikel:Rico Sennrich, Barry Haddow, Alexandra Birch
Rico Sennrich, Barry Haddow und Alexandra Birch stellen eine Methode vor, mit der neuronale Übersetzungssysteme seltene und unbekannte Wörter durch Subword-Einheiten verarbeiten können. Statt auf ein festes Vokabular mit Wörterbuch-Rückfallebene zu setzen, nutzt das Verfahren Segmentierungen wie Byte Pair Encoding (BPE), um ein offenes Vokabular zu ermöglichen.
Artikel:Wikipedia contributors
Byte-Pair Encoding (BPE), ursprünglich 1994 von Philip Gage als Algorithmus zur Datenkompression vorgestellt, bildet in modifizierter Form das Fundament moderner Tokenizer für große Sprachmodelle (LLMs). Anstelle maximaler Kompression erzeugt die LLM-Variante ein fest definiertes Token-Vokabular durch schrittweises Zusammenführen häufiger n-Gramme.
Repository:w3cj/how-llms-work
Das GitHub-Repository 'how-llms-work' von w3cj bietet eine interaktive Webanwendung, die Schritt für Schritt erklärt, wie moderne Large Language Models funktionieren. Vom einfachen regelbasierten Chat über neuronale Netze, BPE-Tokenisierung und Word2Vec-Embeddings bis hin zum Training eines Transformers von Grund auf wird jede Stufe mit lokal ausführbarem Code veranschaulicht.
568SterneTypeScript
3 von 3 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
