7 Einträge
Schlagwort: nlpArtikel:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
Die Autoren stellen mit dem Transformer eine Netzwerkarchitektur vor, die vollständig auf Rekurrenz und Faltungen verzichtet und stattdessen ausschließlich auf Aufmerksamkeitsmechanismen setzt.
Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers
Artikel:Yonghui Wu, Mike Schuster, Zhifeng Chen, et al.
In einer Forschungsarbeit beschreiben Forschende von Google das neuronale Übersetzungssystem GNMT (Google's Neural Machine Translation). Es adressiert zentrale Nachteile bisheriger NMT-Modelle wie hohen Rechenaufwand im Training, langsame Inferenz und Schwächen bei seltenen Wörtern.
Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers
Artikel:Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
Das Paper von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio adressiert den Flaschenhals von Vektoren fester Länge in Encoder-Decoder-Architekturen durch eine weiche Zuordnung relevanter Satzteile.
Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers
Artikel:Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean
Ein Forschungsteam um Tomas Mikolov stellt zwei neue Modellarchitekturen vor, um kontinuierliche Vektor-Repräsentationen von Wörtern aus sehr großen Textmengen effizient zu berechnen. Der Ansatz erzielt höhere Genauigkeit bei deutlich reduziertem Rechenaufwand im Vergleich zu früheren neuronalen Netzen.
Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers
Artikel:Wikipedia contributors
Der britische Sprachwissenschaftler J. R. Firth (1890–1960) prägte die moderne Sprachverarbeitung maßgeblich mit dem Satz: „You shall know a word by the company it keeps“. Seine distributionssemantischen Konzepte bilden das theoretische Fundament für Vektordarstellungen wie Word2vec und GloVe im Natural Language Processing.
Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers
Artikel:Rico Sennrich, Barry Haddow, Alexandra Birch
Rico Sennrich, Barry Haddow und Alexandra Birch stellen eine Methode vor, mit der neuronale Übersetzungssysteme seltene und unbekannte Wörter durch Subword-Einheiten verarbeiten können. Statt auf ein festes Vokabular mit Wörterbuch-Rückfallebene zu setzen, nutzt das Verfahren Segmentierungen wie Byte Pair Encoding (BPE), um ein offenes Vokabular zu ermöglichen.
Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers
Artikel:Lei Liang et al.
Ein Forschungsteam um Lei Liang stellt mit Knowledge Augmented Generation (KAG) ein Framework vor, das klassisches RAG um Wissensgraphen erweitert. KAG adressiert typische Schwächen rein vektorbasierten Abrufs bei logischen, zeitlichen und numerischen Abhängigkeiten in Fachdomänen.
7 von 7 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
