Repositorykarpathy/nanoGPTSammlung
Das Repository reduzierte komplexe Transformer-Architekturen und Training-Pipelines auf ein überschaubares Minimum von wenigen hundert Zeilen verständlichem Python-Code. Dadurch diente es Entwicklern und Forschenden als praktische Referenz zum Verständnis und zur Modifikation moderner Sprachmodelle.
Das Projekt richtet sich an Entwickler und ML-Praktiker, die Transformer-Modelle ohne den Ballast umfangreicher Frameworks verstehen, anpassen oder trainieren möchten. Hinsichtlich der Reife galt die Codebasis mit über 62.000 Sternen als extrem populär und stabil, befindet sich nun aber am Ende ihres Lebenszyklus. Mit der offiziellen Einstufung als veraltet im November 2025 wird sie vom Autor nur noch für Archivzwecke bereitgestellt, während für neue Vorhaben auf nanochat verwiesen wird.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:0xSero
In einem X-Beitrag empfiehlt 0xSero ein praxisorientiertes Wochenendprojekt zum Training eines Sprachmodells auf GPT-2-Niveau mit Python. Nach seinen Angaben beansprucht das Projekt etwa 4 bis 8 Stunden Zeit bei Rechenkosten von rund 50 US-Dollar. Zur Vertiefung verweist er auf Andrej Karpathys nanoGPT-Repository und dessen YouTube-Reihe.
1233Lesezeichen69.092Aufrufe
Link:Andrej Karpathy
Die persönliche Portfolio- und Ressourcen-Website des KI-Forschers Andrej Karpathy bietet einen Überblick über seine beruflichen Stationen, Lehrmaterialien, Vorträge und Open-Source-Projekte.
Repository:josch14/double-descent
Ein Forschungsprojekt der Universität Ulm untersucht das Double-Descent-Phänomen bei zweischichtigen Fully Connected Neural Networks (FCNN) auf dem MNIST-Datensatz. Die Arbeit reproduziert und erweitert Erkenntnisse von Belkin et al. (2019) und analysiert den Einfluss von Label Noise sowie Regularisierungsmethoden.
15SternePython
Repository:deepseek-ai/DeepSpec
DeepSpec ist eine Open-Source-Codebasis von DeepSeek zum Trainieren und Evaluieren von Draft-Modellen für spekulatives Dekodieren. Die Suite deckt die gesamte Pipeline ab: Datenvorbereitung, Modelltraining auf Multi-GPU-Knoten und Benchmarking.
7081SternePython
Repository:volotat/mini-AGI
mini-AGI ist ein experimentelles Open-Source-Sprachmodell auf Byte-Ebene, das kontinuierliches Lernen aus einem fortlaufenden Datenstrom (Batch Size 1) auf gewöhnlicher Consumer-Hardware mit 8 GB VRAM demonstriert. Das Modell speichert Gewichte auf der Festplatte und lagert sie nach Bedarf in den GPU-Speicher ein, passt seine Netzwerkarchitektur dynamisch an und vermeidet katastrophales Vergessen.
793SternePython
Repository:MakazhanAlpamys/Soup
Soup (soup-cli) ist ein Open-Source-Werkzeug, mit dem Sprachmodelle über eine einzige YAML-Konfigurationsdatei und einen CLI-Befehl lokal feinjustiert werden können. Durch Layer-Streaming ermöglicht das Tool das Training von 8B-Modellen auf Consumer-Hardware mit nur 4 GB Grafikspeicher.
7489SternePython
Ein Teil von diesem Inhalt wurde mit KI gemacht.
