Deep Residual Learning for Image Recognition: Das ResNet-Framework

ArtikelKaiming He, Xiangyu Zhang, Shaoqing Ren, Jian SunForschung

Das Forschungsteam um Kaiming He stellt ein Residual-Learning-Framework vor, das das Training extrem tiefer neuronaler Netze erleichtert. Schichten lernen dabei Residualfunktionen bezogen auf die Eingaben statt unreferenzierter Funktionen.

Das Wichtigste

  1. Reformulierung der Schichten zum Erlernen von Residualfunktionen in Bezug auf die Layer-Eingaben erleichtert die Optimierung deutlich tieferer Netze.
  2. ResNet-Architekturen mit bis zu 152 Schichten auf ImageNet sind achtmal tiefer als VGG-Netze, weisen aber eine geringere Komplexität auf.
  3. Ein Ensemble aus Residual-Netzwerken erreichte eine Fehlerrate von 3,57 % auf dem ImageNet-Testset und belegte den ersten Platz bei der ILSVRC 2015 Classification Task.
  4. Zusätzliche Tests auf CIFAR-10 wurden mit Modellen von 100 und 1.000 Schichten durchgeführt.
  5. Die tiefen Repräsentationen brachten 28 % relative Verbesserung beim COCO-Objekterkennungs-Datensatz sowie Siege bei weiteren ILSVRC- und COCO-Wettbewerben (Detection, Localization, Segmentation).

Warum das relevant ist

Das Papier adressiert das grundlegende Problem, dass tiefere neuronale Netze schwieriger zu optimieren sind. Durch Residualverbindungen wird das Training wesentlich tieferer Architekturen stabil möglich, was die Basis für moderne Architekturen in der Computer Vision bildet.

Einordnung

Der Ansatz löst die Trainingsprobleme sehr tiefer Netze durch eine fundamentale mathematische Umformulierung. Anstatt eine direkte Abbildung zu lernen, modellieren die Schichten die Abweichung (Residual) zum Eingang. Die Ergebnisse aus 2015 dominierten die damaligen Benchmarks und belegten, dass Netzwerktiefe gezielt für signifikante Genauigkeitsgewinne genutzt werden kann, ohne die Rechenkomplexität unverhältnismäßig zu steigern.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Artikel:Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

    Identity Mappings in Deep Residual Networks

    Die Autoren analysieren die Signalweiterleitung in tiefen Residual-Netzen (ResNet) und zeigen, dass Forward- und Backward-Signale direkt durch das Netz fließen können, wenn Skip-Connections und Aktivierungen nach der Addition als reine Identitätsabbildungen ausgelegt sind. Auf Basis dieser Erkenntnis schlagen sie eine modifizierte Residual-Einheit vor, die das Training erleichtert und die Generalisierung verbessert.

    KI & AI· Forschung

  • Link:Xavier Glorot, Yoshua Bengio

    Analyse der Trainingsschwierigkeiten bei tiefen Feedforward-Netzen

    Die Forschungsarbeit von Xavier Glorot und Yoshua Bengio untersucht, warum herkömmlicher Gradientenabstieg bei zufälliger Initialisierung in tiefen neuronalen Netzen oft scheitert. Die Autoren analysieren den Einfluss von Aktivierungsfunktionen und der Dynamik von Gradienten über verschiedene Schichten hinweg und stellen ein neues Initialisierungsverfahren für deutlich schnellere Konvergenz vor.

    KI & AI· Forschung

  • Artikel:David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams

    Klassische Arbeit zu Backpropagation: Repräsentationen durch Fehlerrückführung lernen

    Die Forschungsarbeit von David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams stellt das Backpropagation-Verfahren für neuronale Netze vor. Der Algorithmus passt Verbindungsgewichte schrittweise an, um Abweichungen zwischen Soll- und Ist-Ausgaben zu minimieren.

    KI & AI· Forschung

  • Artikel:Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter

    xLSTM: Extended Long Short-Term Memory

    Ein Forschungsteam um Sepp Hochreiter stellt xLSTM vor, eine Weiterentwicklung der klassischen Long Short-Term Memory-Architektur für moderne Large Language Models. Die Erweiterung behebt bisherige Skalierungs- und Parallelisierungsgrenzen von LSTMs und erzielt vergleichbare Ergebnisse zu Transformer- und State-Space-Modellen.

    KI & AI· Forschung

  • Artikel:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

    Attention Is All You Need: Die Transformer-Architektur

    Die Autoren stellen mit dem Transformer eine Netzwerkarchitektur vor, die vollständig auf Rekurrenz und Faltungen verzichtet und stattdessen ausschließlich auf Aufmerksamkeitsmechanismen setzt.

    KI & AI· Forschung

Zurück zur Wissensbasis

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.