LinkXavier Glorot, Yoshua BengioForschung
Die Untersuchung liefert die mathematische und empirische Erklärung für das Scheitern früherer Trainingsansätze in tiefen Architekturen. Das daraus abgeleitete Verfahren, bekannt als Glorot- bzw. Xavier-Initialisierung, bildet ein grundlegendes Standardverfahren für das Training tiefer neuronaler Netze.
Glorot und Bengio verknüpfen theoretische Eigenschaften der Schichtenübertragung mit praktischen Beobachtungen des Gradientenflusses. Der Fokus auf das Verhalten der Jacobimatrix und die Vermeidung von Sättigungseffekten löste eines der zentralen Blockadeprobleme beim Training mehrschichtiger Feedforward-Netzwerke.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
Das Paper von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio adressiert den Flaschenhals von Vektoren fester Länge in Encoder-Decoder-Architekturen durch eine weiche Zuordnung relevanter Satzteile.
Artikel:David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams
Die Forschungsarbeit von David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams stellt das Backpropagation-Verfahren für neuronale Netze vor. Der Algorithmus passt Verbindungsgewichte schrittweise an, um Abweichungen zwischen Soll- und Ist-Ausgaben zu minimieren.
Artikel:Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
Das Forschungsteam um Kaiming He stellt ein Residual-Learning-Framework vor, das das Training extrem tiefer neuronaler Netze erleichtert. Schichten lernen dabei Residualfunktionen bezogen auf die Eingaben statt unreferenzierter Funktionen.
Artikel:Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
Die Autoren analysieren die Signalweiterleitung in tiefen Residual-Netzen (ResNet) und zeigen, dass Forward- und Backward-Signale direkt durch das Netz fließen können, wenn Skip-Connections und Aktivierungen nach der Addition als reine Identitätsabbildungen ausgelegt sind. Auf Basis dieser Erkenntnis schlagen sie eine modifizierte Residual-Einheit vor, die das Training erleichtert und die Generalisierung verbessert.
Artikel:Warren Sturgis McCulloch and Walter Pitts
Das historische Papier von Warren Sturgis McCulloch und Walter Pitts aus dem Jahr 1943 begründete das Konzept künstlicher neuronaler Netze. Es beschreibt das Nervensystem als ein Netzwerk einfacher logischer Elemente, die Eingaben summieren und ab einem Schwellenwert ein Signal ausgeben. Die Autoren zeigten die Äquivalenz dieser Netze zu logischen Aussagen und zu Turing-Maschinen auf.
Repository:josch14/double-descent
Ein Forschungsprojekt der Universität Ulm untersucht das Double-Descent-Phänomen bei zweischichtigen Fully Connected Neural Networks (FCNN) auf dem MNIST-Datensatz. Die Arbeit reproduziert und erweitert Erkenntnisse von Belkin et al. (2019) und analysiert den Einfluss von Label Noise sowie Regularisierungsmethoden.
15SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
