Wissensbasis

Link:Xavier Glorot, Yoshua Bengio·18. Sep. 2026

Analyse der Trainingsschwierigkeiten bei tiefen Feedforward-Netzen

Die Forschungsarbeit von Xavier Glorot und Yoshua Bengio untersucht, warum herkömmlicher Gradientenabstieg bei zufälliger Initialisierung in tiefen neuronalen Netzen oft scheitert. Die Autoren analysieren den Einfluss von Aktivierungsfunktionen und der Dynamik von Gradienten über verschiedene Schichten hinweg und stellen ein neues Initialisierungsverfahren für deutlich schnellere Konvergenz vor.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Artikel:David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams·17. Sep. 2026

Klassische Arbeit zu Backpropagation: Repräsentationen durch Fehlerrückführung lernen

Die Forschungsarbeit von David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams stellt das Backpropagation-Verfahren für neuronale Netze vor. Der Algorithmus passt Verbindungsgewichte schrittweise an, um Abweichungen zwischen Soll- und Ist-Ausgaben zu minimieren.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Artikel:Marvin Minsky, Seymour Papert·17. Sep. 2026

Minsky und Paperts „Perceptrons“: Theoretische Grenzen und Kontroverse

Das 1969 veröffentlichte Buch „Perceptrons“ von Marvin Minsky und Seymour Papert analysierte mathematisch die Grenzen einfacher neuronaler Netze. Es gilt historisch als Auslöser für die Abkehr vom Konnektionismus hin zur symbolischen KI und den anschließenden KI-Winter der 1980er-Jahre.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Link:Melanie Lefkowitz·17. Sep. 2026

Frank Rosenblatts Perzeptron: Wie ein Cornell-Forscher die Grundlagen moderner KI schuf

Ein Rückblick der Cornell University beleuchtet das Leben und Werk von Frank Rosenblatt, der 1958 mit dem Perzeptron das erste künstliche neuronale Netzwerk vorstellte. Trotz heftiger Kritik seiner Zeitgenossen und des darauffolgenden KI-Winters bilden seine Algorithmen das Fundament moderner Deep-Learning-Systeme.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Artikel:Wikipedia-Autoren·16. Sep. 2026

Perceptron: Grundlagen, Entstehungsgeschichte und Grenzen

Der Wikipedia-Artikel beschreibt das Perzeptron, einen Algorithmus für das überwachte Lernen linearer binärer Klassifikatoren, von Frank Rosenblatts Hardware-Entwicklung bis hin zu den mathematischen Grenzen des Modells.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Artikel:Wikipedia-Autoren·16. Sep. 2026

Frank Rosenblatt: Pionier der neuronalen Netze und des Perceptrons

Der Wikipedia-Artikel beleuchtet das Leben und Werk des US-amerikanischen Psychologen Frank Rosenblatt (1928–1971), der durch die Erfindung des Perceptrons und seine Beiträge zu künstlichen neuronalen Netzen bekannt wurde.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Artikel:Warren Sturgis McCulloch and Walter Pitts·16. Sep. 2026

A Logical Calculus of the Ideas Immanent in Nervous Activity (1943)

Das historische Papier von Warren Sturgis McCulloch und Walter Pitts aus dem Jahr 1943 begründete das Konzept künstlicher neuronaler Netze. Es beschreibt das Nervensystem als ein Netzwerk einfacher logischer Elemente, die Eingaben summieren und ab einem Schwellenwert ein Signal ausgeben. Die Autoren zeigten die Äquivalenz dieser Netze zu logischen Aussagen und zu Turing-Maschinen auf.

Aus Video: Building an LLM from Scratch: Neural Networks, Tokenization, and Transformers

Link:Andrej Karpathy·5. Sep. 2026

Andrej Karpathy: Persönliche Website und Ressourcenübersicht

Die persönliche Portfolio- und Ressourcen-Website des KI-Forschers Andrej Karpathy bietet einen Überblick über seine beruflichen Stationen, Lehrmaterialien, Vorträge und Open-Source-Projekte.

Aus Video: Weekly AI Updates: Model Releases, Agent Harnesses, and Developer Tooling (August 2026)

Artikel:Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal·5. Sep. 2026

Double Descent: Vereinbarkeit von moderner Machine-Learning-Praxis und Bias-Variance-Trade-off

Ein Forschungsteam um Mikhail Belkin löst den scheinbaren Widerspruch zwischen klassischer Lerntheorie und modernen überparametrisierten Modellen auf. Die Autoren führen eine verallgemeinerte Leistungskurve mit sogenanntem Double Descent ein, die erklärt, warum Modelle nach dem Erreichen des Interpolationspunkts bei weiter steigender Kapazität wieder besser generalisieren.

Aus Video: Weekly AI Updates: Model Releases, Agent Harnesses, and Developer Tooling (August 2026)

Video:CURT·10. Juli 2026

Funktionsweise von LLMs von Grund auf: Neuronale Netze, Tokenisierung und Transformer

In einer detaillierten Übersicht mit begleitenden Codebeispielen erklärt CJ die Funktionsweise moderner Sprachmodelle. Er zeichnet die Entwicklung von regelbasierten Chatbots bis hin zu Transformern nach und demonstriert schrittweise Neuronale Netze, Byte Pair Encoding sowie Vektor-Embeddings.