X-Post0xSeroSammlung
Moderne KI-Entwicklung stützt sich oft nur auf bestehende APIs. Der Aufbau und das Training kleinerer Sprachmodelle von Grund auf vermitteln Kernkompetenzen in Bezug auf Datenvorbereitung, Hardware-Ressourcen und Trainingsabläufe, die beim reinen Prompting verborgen bleiben.
Das nanoGPT-Repository von Karpathy bietet eine minimalistische Basis für Trainingsläufe, verweist mittlerweile jedoch auf nanochat. 0xSeros Zeitangabe von 4 bis 8 Stunden bezieht sich primär auf Setup und Einstieg; frühere Messungen von ihm zeigten für vollständige Läufe auf 4x RTX 3090 eine Gesamtlaufzeit von rund 55 Stunden. Für Entwickler bleibt das Szenario dennoch eine überschaubare Möglichkeit, praktische Erfahrung mit GPU-Clustern und Transformer-Architekturen zu sammeln.
0xSero
@0xSero · 22. August 2026
Weekend project to level you up. Cost: 50$~ Time: 4-8 hours Goal: Train GPT2 level model Language: Python You'll learn: 1. Datasets 2. Chinchilla 3. Provisioning Compute 4. Training 5. SFT 6. Benchmarks Karpathy's YouTube series is excellent alongside t.co/Ts4iGGYR6Z t.co/20UYEnQdT9
1119 Likes19 Antworten1233 Lesezeichen69.092 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:karpathy/nanoGPT
nanoGPT von Andrej Karpathy ist eine schlanke und schnelle Codebasis zum Trainieren und Finetunen mittelgroßer GPT-Modelle in PyTorch. Das Repository wurde als Nachfolger von minGPT konzipiert und reproduziert unter anderem GPT-2 (124M). Seit November 2025 stuft der Autor das Projekt als veraltet ein und verweist auf nanochat.
62.776SternePython
X-Post:0xSero
Entwickler 0xSero kündigt eine interaktive Lernsession rund um das KI-Projekt Pi auf Discord an. Teilnehmende sollen das Repository studieren, die Anwendung lokal einrichten und entweder ein kostenloses Cloud-Modell über OpenRouter oder ein lokales Modell via LM Studio anbinden.
523Lesezeichen40.173Aufrufe
X-Post:Ahmad
Ahmad (@TheAhmadOsman) teilt einen strukturierten, projektbasierten Leitfaden für LLM-Engineering. Ziel ist es, Sprachmodelle nicht nur theoretisch zu verstehen, sondern fundamentale Bausteine wie Tokenizer, Attention, Caches, Serving und Evaluierung von Grund auf selbst zu implementieren und zu testen.
975Lesezeichen18.522Aufrufe
Link:Tatsunori Hashimoto, Percy Liang
Die Stanford-Lehrveranstaltung CS336 vermittelt die Entwicklung von Sprachmodellen von Grund auf – ähnlich wie klassische Betriebssystemkurse. Studierende durchlaufen alle Phasen von Datenbereinigung und Tokenisierung über Transformer-Architekturen und GPU-Optimierung mit Triton bis hin zu Post-Training und Alignment.
Repository:w3cj/how-llms-work
Das GitHub-Repository 'how-llms-work' von w3cj bietet eine interaktive Webanwendung, die Schritt für Schritt erklärt, wie moderne Large Language Models funktionieren. Vom einfachen regelbasierten Chat über neuronale Netze, BPE-Tokenisierung und Word2Vec-Embeddings bis hin zum Training eines Transformers von Grund auf wird jede Stufe mit lokal ausführbarem Code veranschaulicht.
568SterneTypeScript
VideoVideo:CURT
In einer detaillierten Übersicht mit begleitenden Codebeispielen erklärt CJ die Funktionsweise moderner Sprachmodelle. Er zeichnet die Entwicklung von regelbasierten Chatbots bis hin zu Transformern nach und demonstriert schrittweise Neuronale Netze, Byte Pair Encoding sowie Vektor-Embeddings.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
