Repositoryjosch14/double-descentForschung
Das Phänomen des Double Descent verbindet klassische statistische Annahmen (größere Modelle neigen zu Überanpassung) mit modernen Deep-Learning-Beobachtungen (überparametrisierte Modelle generalisieren oft besser). Die Arbeit liefert empirische Einblicke in Mechanismen, die diesen Übergang steuern.
Das Projekt basiert auf Python 3.10 und PyTorch (2.0.1) zusammen mit scikit-learn und Matplotlib. Es richtet sich primär an Forschende und Studierende im Bereich maschinelles Lernen, die theoretische Grundlagen von Überparametrisierung verstehen wollen. Bei einem Entwicklungsstand als Universitätsprojekt mit wenigen Sternen und Forks handelt es sich um eine akademische Referenz- und Reproduktionsarbeit, nicht um eine produktionsreife Bibliothek.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Jared Wilber & Brent Werness
MLU-explAIn veranschaulicht das Phänomen des Double Descent. Entgegen der klassischen Bias-Variance-Theorie sinkt der Testfehler bei stark überparametrisierten Modellen nach einem Fehlerspitzenwert erneut.
Artikel:Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal
Ein Forschungsteam um Mikhail Belkin löst den scheinbaren Widerspruch zwischen klassischer Lerntheorie und modernen überparametrisierten Modellen auf. Die Autoren führen eine verallgemeinerte Leistungskurve mit sogenanntem Double Descent ein, die erklärt, warum Modelle nach dem Erreichen des Interpolationspunkts bei weiter steigender Kapazität wieder besser generalisieren.
Repository:karpathy/nanoGPT
nanoGPT von Andrej Karpathy ist eine schlanke und schnelle Codebasis zum Trainieren und Finetunen mittelgroßer GPT-Modelle in PyTorch. Das Repository wurde als Nachfolger von minGPT konzipiert und reproduziert unter anderem GPT-2 (124M). Seit November 2025 stuft der Autor das Projekt als veraltet ein und verweist auf nanochat.
62.776SternePython
Repository:aipoch/open-science
Open Science von AIPOCH ist eine quelloffene, lokale und modellagnostische Desktop-Workbench, die wissenschaftliche KI-Agenten für reproduzierbare Forschung auf macOS, Windows und Linux bereitstellt.
3500SterneTypeScript
Repository:test-time-training/e2e
Dieses Repository enthält die offizielle JAX-Implementierung für End-to-End Test-Time Training (TTT) für lange Kontexte. Der Ansatz modelliert die Verarbeitung langer Kontexte als Continual-Learning-Problem: Ein Standard-Transformer mit Sliding-Window-Attention passt seine Gewichte zur Testzeit via Next-Token-Prediction an und komprimiert den Kontext direkt in die Parameter.
693SternePython
Link:Xavier Glorot, Yoshua Bengio
Die Forschungsarbeit von Xavier Glorot und Yoshua Bengio untersucht, warum herkömmlicher Gradientenabstieg bei zufälliger Initialisierung in tiefen neuronalen Netzen oft scheitert. Die Autoren analysieren den Einfluss von Aktivierungsfunktionen und der Dynamik von Gradienten über verschiedene Schichten hinweg und stellen ein neues Initialisierungsverfahren für deutlich schnellere Konvergenz vor.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
