Wissensbasis

Artikel:Wikipedia contributors·17. Sep. 2026

John Rupert Firth: Der Linguist hinter den Grundlagen moderner Word Embeddings

Der britische Sprachwissenschaftler J. R. Firth (1890–1960) prägte die moderne Sprachverarbeitung maßgeblich mit dem Satz: „You shall know a word by the company it keeps“. Seine distributionssemantischen Konzepte bilden das theoretische Fundament für Vektordarstellungen wie Word2vec und GloVe im Natural Language Processing.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Repository:w3cj/how-llms-work·13. Sep. 2026

How LLMs Work: Interaktive Einführung in die Funktionsweise von Sprachmodellen

Das GitHub-Repository 'how-llms-work' von w3cj bietet eine interaktive Webanwendung, die Schritt für Schritt erklärt, wie moderne Large Language Models funktionieren. Vom einfachen regelbasierten Chat über neuronale Netze, BPE-Tokenisierung und Word2Vec-Embeddings bis hin zum Training eines Transformers von Grund auf wird jede Stufe mit lokal ausführbarem Code veranschaulicht.

568SterneTypeScript

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Video:CURT·10. Juli 2026

Funktionsweise von LLMs von Grund auf: Neuronale Netze, Tokenisierung und Transformer

In einer detaillierten Übersicht mit begleitenden Codebeispielen erklärt CJ die Funktionsweise moderner Sprachmodelle. Er zeichnet die Entwicklung von regelbasierten Chatbots bis hin zu Transformern nach und demonstriert schrittweise Neuronale Netze, Byte Pair Encoding sowie Vektor-Embeddings.