ArtikelKaiming He, Xiangyu Zhang, Shaoqing Ren, Jian SunForschung
Die Arbeit liefert das theoretische und architektonische Fundament für ResNet v2 und zeigt, wie selbst Netze mit über 1000 Schichten ohne Signalverlust stabil trainiert werden können.
Durch das Beibehalten von reinen Identitätsabbildungen auf dem Bypass-Pfad wird der Informationsfluss im Vorwärts- wie im Rückwärtspfad ununterbrochen aufrechterhalten. Die Arbeit etabliert das Prinzip der Voraktivierung (Pre-Activation) vor den Faltungsschichten statt nach der Addition.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
Das Forschungsteam um Kaiming He stellt ein Residual-Learning-Framework vor, das das Training extrem tiefer neuronaler Netze erleichtert. Schichten lernen dabei Residualfunktionen bezogen auf die Eingaben statt unreferenzierter Funktionen.
Link:Xavier Glorot, Yoshua Bengio
Die Forschungsarbeit von Xavier Glorot und Yoshua Bengio untersucht, warum herkömmlicher Gradientenabstieg bei zufälliger Initialisierung in tiefen neuronalen Netzen oft scheitert. Die Autoren analysieren den Einfluss von Aktivierungsfunktionen und der Dynamik von Gradienten über verschiedene Schichten hinweg und stellen ein neues Initialisierungsverfahren für deutlich schnellere Konvergenz vor.
Artikel:Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter
Ein Forschungsteam um Sepp Hochreiter stellt xLSTM vor, eine Weiterentwicklung der klassischen Long Short-Term Memory-Architektur für moderne Large Language Models. Die Erweiterung behebt bisherige Skalierungs- und Parallelisierungsgrenzen von LSTMs und erzielt vergleichbare Ergebnisse zu Transformer- und State-Space-Modellen.
Repository:josch14/double-descent
Ein Forschungsprojekt der Universität Ulm untersucht das Double-Descent-Phänomen bei zweischichtigen Fully Connected Neural Networks (FCNN) auf dem MNIST-Datensatz. Die Arbeit reproduziert und erweitert Erkenntnisse von Belkin et al. (2019) und analysiert den Einfluss von Label Noise sowie Regularisierungsmethoden.
15SternePython
Artikel:David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams
Die Forschungsarbeit von David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams stellt das Backpropagation-Verfahren für neuronale Netze vor. Der Algorithmus passt Verbindungsgewichte schrittweise an, um Abweichungen zwischen Soll- und Ist-Ausgaben zu minimieren.
Artikel:Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal
Ein Forschungsteam um Mikhail Belkin löst den scheinbaren Widerspruch zwischen klassischer Lerntheorie und modernen überparametrisierten Modellen auf. Die Autoren führen eine verallgemeinerte Leistungskurve mit sogenanntem Double Descent ein, die erklärt, warum Modelle nach dem Erreichen des Interpolationspunkts bei weiter steigender Kapazität wieder besser generalisieren.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
