Stanford CS336: Language Modeling from Scratch

LinkTatsunori Hashimoto, Percy LiangSammlung

Die Stanford-Lehrveranstaltung CS336 vermittelt die Entwicklung von Sprachmodellen von Grund auf – ähnlich wie klassische Betriebssystemkurse. Studierende durchlaufen alle Phasen von Datenbereinigung und Tokenisierung über Transformer-Architekturen und GPU-Optimierung mit Triton bis hin zu Post-Training und Alignment.

Das Wichtigste

  1. Fokus auf praktische Implementierung: Studierende erhalten minimale Vorlagen und schreiben deutlich mehr Code als in üblichen KI-Vorlesungen.
  2. Fünf strukturierte Aufgaben: Grundlagen & Tokenizer, Systemoptimierung & FlashAttention2 via Triton, Skalierungsgesetze, Datenaufbereitung (Common Crawl) sowie Alignment und RL für mathematisches Schließen.
  3. Strenge KI-Richtlinie: LLMs dürfen für grundlegende Programmierfragen genutzt werden, KI-Autovervollständigung (z. B. GitHub Copilot, Cursor Tab) soll jedoch deaktiviert werden, um den Lerneffekt nicht zu schmälern.
  4. Materialien und Aufzeichnungen: Vorlesungsskripte, Code-Dateien und YouTube-Aufzeichnungen stehen auch für das Selbststudium zur Verfügung, ergänzt durch Rechenzeit-Empfehlungen auf B200-GPUs.

Warum das relevant ist

Viele KI-Kurse verbleiben auf Ebene von High-Level-APIs oder reiner Theorie. CS336 zwingt dazu, die vollständige Pipeline inklusive Low-Level-GPU-Kernels, verteiltem Training und Datenfilterung selbst nachzubauen, was für ein echtes Systemverständnis moderner LLMs essenziell ist.

Einordnung

Der Lehrplan von Tatsunori Hashimoto und Percy Liang reflektiert den Wandel der KI-Ingenieurpraxis: Neben Architekturfragen dominieren Performance-Engineering (Triton, FlashAttention2, Speicherhierarchien) und Datenqualität (Deduplizierung, Filterung von Web-Dumps) das Feld. Auch die explizite Einschränkung von KI-Code-Assistenten verdeutlicht, dass fundiertes Systemverständnis nur durch eigenhändiges Implementieren aufgebaut werden kann.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Link:Diyi Yang, Michael Ryan, John Yang

    CS 329Z: Stanford-Kurs für Engineering AI Agents

    Die Stanford University bietet im Herbst 2026 den Kurs CS 329Z (Engineering AI Agents) an. Die Lehrveranstaltung behandelt den Übergang von monolithischen Sprachmodellen zu sogenannten Compound AI Systems und autonomen Agenten. Alle Kursmaterialien wie Vorlesungsfolien und Leselisten sind öffentlich über die Kurs-Website zugänglich.

    KI & AI· Sammlung

  • Link:Percy Liang

    Percy Liang: Forschungsprofil und Initiativen für offene KI-Entwicklung

    Die persönliche Universitäts-Webseite von Percy Liang, Informatikprofessor an der Stanford University, stellt seine aktuellen Forschungsschwerpunkte, Lehrveranstaltungen und akademischen Projekte vor. Im Zentrum stehen Grundlagenfragen des maschinellen Lernens, das Projekt Marin für radikal offene Modellentwicklung sowie Werkzeuge für reproduzierbare Forschung wie CodaLab Worksheets.

    KI & AI· Sammlung

  • Video

    Video:Stanford Online

    Stanford CS329A: Einführung in selbstverbessernde KI-Agenten und Scaling-Trends

    In der ersten Vorlesung des Stanford-Kurses CS329A geben Aakanksha Chowdhery und Azalia Mirhoseini einen Überblick über die Entwicklung von Sprachmodellen und autonomen Agenten. Sie beleuchten klassische Scaling Laws, emergentes Denkvermögen via Chain of Thought, Post-Training-Methoden wie RLHF sowie neue Paradigmen: Test-Time-Compute (Inference-Time Scaling) und strukturierte agentische Workflows in Coding- und Research-Tools.

    KI & AI· Vortrag

  • Link:Aakanksha Chowdhery, Azalia Mirhoseini

    Stanford CS329A: Self-Improving AI Agents

    Die Stanford University bietet mit CS329A ein Master-Seminar zu selbstoptimierenden KI-Agenten an. Der Kurs unter der Leitung von Aakanksha Chowdhery und Azalia Mirhoseini behandelt Methoden, mit denen LLM-basierte Systeme durch Eigeninteraktion und Umgebungsfeedback kontinuierlich lernen.

    KI & AI· Sammlung

  • X-Post:CopyRebeldia

    Stanford-Vorlesung über die mathematischen Grundlagen von LLMs

    Ein viraler Beitrag hebt eine Stanford-Vorlesung über die technischen Grundlagen von Large Language Models hervor. Der Autor betont, dass KI-Modelle wie Claude oder ChatGPT Texte nicht direkt verstehen, sondern rein auf Zahlen basieren, und verweist auf hohe Gehälter für Ingenieure mit diesem Grundlagenwissen. Ein Community-Hinweis korrigiert allerdings die Zuordnung des gezeigten Videos.

    41.878Lesezeichen2,8 Mio.Aufrufe

    KI & AI· Sammlung

Sprechen wir über Ihr Projekt.

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.