Repositoryjosch14/double-descentForschung
Das Phänomen des Double Descent verbindet klassische statistische Annahmen (größere Modelle neigen zu Überanpassung) mit modernen Deep-Learning-Beobachtungen (überparametrisierte Modelle generalisieren oft besser). Die Arbeit liefert empirische Einblicke in Mechanismen, die diesen Übergang steuern.
Das Projekt basiert auf Python 3.10 und PyTorch (2.0.1) zusammen mit scikit-learn und Matplotlib. Es richtet sich primär an Forschende und Studierende im Bereich maschinelles Lernen, die theoretische Grundlagen von Überparametrisierung verstehen wollen. Bei einem Entwicklungsstand als Universitätsprojekt mit wenigen Sternen und Forks handelt es sich um eine akademische Referenz- und Reproduktionsarbeit, nicht um eine produktionsreife Bibliothek.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Jared Wilber & Brent Werness
MLU-explAIn veranschaulicht das Phänomen des Double Descent. Entgegen der klassischen Bias-Variance-Theorie sinkt der Testfehler bei stark überparametrisierten Modellen nach einem Fehlerspitzenwert erneut.
Artikel:Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal
Ein Forschungsteam um Mikhail Belkin löst den scheinbaren Widerspruch zwischen klassischer Lerntheorie und modernen überparametrisierten Modellen auf. Die Autoren führen eine verallgemeinerte Leistungskurve mit sogenanntem Double Descent ein, die erklärt, warum Modelle nach dem Erreichen des Interpolationspunkts bei weiter steigender Kapazität wieder besser generalisieren.
Repository:karpathy/nanoGPT
nanoGPT von Andrej Karpathy ist eine schlanke und schnelle Codebasis zum Trainieren und Finetunen mittelgroßer GPT-Modelle in PyTorch. Das Repository wurde als Nachfolger von minGPT konzipiert und reproduziert unter anderem GPT-2 (124M). Seit November 2025 stuft der Autor das Projekt als veraltet ein und verweist auf nanochat.
62.776SternePython
Repository:aipoch/open-science
Open Science von AIPOCH ist eine quelloffene, lokale und modellagnostische Desktop-Workbench, die wissenschaftliche KI-Agenten für reproduzierbare Forschung auf macOS, Windows und Linux bereitstellt.
3500SterneTypeScript
Repository:volotat/mini-AGI
mini-AGI ist ein experimentelles Open-Source-Sprachmodell auf Byte-Ebene, das kontinuierliches Lernen aus einem fortlaufenden Datenstrom (Batch Size 1) auf gewöhnlicher Consumer-Hardware mit 8 GB VRAM demonstriert. Das Modell speichert Gewichte auf der Festplatte und lagert sie nach Bedarf in den GPU-Speicher ein, passt seine Netzwerkarchitektur dynamisch an und vermeidet katastrophales Vergessen.
793SternePython
Repository:test-time-training/e2e
Dieses Repository enthält die offizielle JAX-Implementierung für End-to-End Test-Time Training (TTT) für lange Kontexte. Der Ansatz modelliert die Verarbeitung langer Kontexte als Continual-Learning-Problem: Ein Standard-Transformer mit Sliding-Window-Attention passt seine Gewichte zur Testzeit via Next-Token-Prediction an und komprimiert den Kontext direkt in die Parameter.
693SternePython
Ein Teil von diesem Inhalt wurde mit KI gemacht.
