ArtikelWikipedia contributorsSammlung
Moderne KI-Sprachmodelle basieren grundlegend auf der numerischen Repräsentation von Wörtern anhand ihrer statistischen Nachbarschaft. Firths linguistische Arbeiten aus den 1950er-Jahren lieferten die theoretische Basis für das Verständnis, wie Algorithmen semantische Zusammenhänge rein aus Kontextbeziehungen erfassen können.
Firths Ansatz des Polysystematismus und der Kontextgebundenheit brach mit rein formalistischen, linearen Sprachanalysen. Anstatt Wörter als isolierte logische Einheiten zu betrachten, definierte er Bedeutung über das Auftreten im Kontext. Diese Idee der Distributionssemantik schlug Jahrzehnte später die Brücke von der traditionellen Sprachwissenschaft zur modernen Informationstechnologie: Algorithmen wie Word2vec und moderne Transformer greifen genau dieses Prinzip auf, um semantische Räume zu spannen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean
Ein Forschungsteam um Tomas Mikolov stellt zwei neue Modellarchitekturen vor, um kontinuierliche Vektor-Repräsentationen von Wörtern aus sehr großen Textmengen effizient zu berechnen. Der Ansatz erzielt höhere Genauigkeit bei deutlich reduziertem Rechenaufwand im Vergleich zu früheren neuronalen Netzen.
Artikel:Wikipedia contributors
Das Kontextprinzip besagt, dass die Bedeutung eines Wortes niemals isoliert, sondern nur im Kontext eines Satzes bestimmt werden darf. Das von Gottlob Frege formulierte Prinzip zählt zu den Grundpfeilern der Sprachphilosophie und beeinflusste unter anderem Bertrand Russell und Ludwig Wittgenstein.
Artikel:Wikipedia contributors
Byte-Pair Encoding (BPE), ursprünglich 1994 von Philip Gage als Algorithmus zur Datenkompression vorgestellt, bildet in modifizierter Form das Fundament moderner Tokenizer für große Sprachmodelle (LLMs). Anstelle maximaler Kompression erzeugt die LLM-Variante ein fest definiertes Token-Vokabular durch schrittweises Zusammenführen häufiger n-Gramme.
VideoVideo:CURT
In einer detaillierten Übersicht mit begleitenden Codebeispielen erklärt CJ die Funktionsweise moderner Sprachmodelle. Er zeichnet die Entwicklung von regelbasierten Chatbots bis hin zu Transformern nach und demonstriert schrittweise Neuronale Netze, Byte Pair Encoding sowie Vektor-Embeddings.
Artikel:Rico Sennrich, Barry Haddow, Alexandra Birch
Rico Sennrich, Barry Haddow und Alexandra Birch stellen eine Methode vor, mit der neuronale Übersetzungssysteme seltene und unbekannte Wörter durch Subword-Einheiten verarbeiten können. Statt auf ein festes Vokabular mit Wörterbuch-Rückfallebene zu setzen, nutzt das Verfahren Segmentierungen wie Byte Pair Encoding (BPE), um ein offenes Vokabular zu ermöglichen.
Link:Melanie Lefkowitz
Ein Rückblick der Cornell University beleuchtet das Leben und Werk von Frank Rosenblatt, der 1958 mit dem Perzeptron das erste künstliche neuronale Netzwerk vorstellte. Trotz heftiger Kritik seiner Zeitgenossen und des darauffolgenden KI-Winters bilden seine Algorithmen das Fundament moderner Deep-Learning-Systeme.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
