Artikel:Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
Identity Mappings in Deep Residual Networks
Die Autoren analysieren die Signalweiterleitung in tiefen Residual-Netzen (ResNet) und zeigen, dass Forward- und Backward-Signale direkt durch das Netz fließen können, wenn Skip-Connections und Aktivierungen nach der Addition als reine Identitätsabbildungen ausgelegt sind. Auf Basis dieser Erkenntnis schlagen sie eine modifizierte Residual-Einheit vor, die das Training erleichtert und die Generalisierung verbessert.
Aus Video: Weekly AI Updates: Local Models, GPT-6 Astra, and Agent Architectures