Stanford CS336: Language Modeling from Scratch

LinkTatsunori Hashimoto, Percy LiangSammlung

Die Stanford-Lehrveranstaltung CS336 vermittelt die Entwicklung von Sprachmodellen von Grund auf – ähnlich wie klassische Betriebssystemkurse. Studierende durchlaufen alle Phasen von Datenbereinigung und Tokenisierung über Transformer-Architekturen und GPU-Optimierung mit Triton bis hin zu Post-Training und Alignment.

Das Wichtigste

  1. Fokus auf praktische Implementierung: Studierende erhalten minimale Vorlagen und schreiben deutlich mehr Code als in üblichen KI-Vorlesungen.
  2. Fünf strukturierte Aufgaben: Grundlagen & Tokenizer, Systemoptimierung & FlashAttention2 via Triton, Skalierungsgesetze, Datenaufbereitung (Common Crawl) sowie Alignment und RL für mathematisches Schließen.
  3. Strenge KI-Richtlinie: LLMs dürfen für grundlegende Programmierfragen genutzt werden, KI-Autovervollständigung (z. B. GitHub Copilot, Cursor Tab) soll jedoch deaktiviert werden, um den Lerneffekt nicht zu schmälern.
  4. Materialien und Aufzeichnungen: Vorlesungsskripte, Code-Dateien und YouTube-Aufzeichnungen stehen auch für das Selbststudium zur Verfügung, ergänzt durch Rechenzeit-Empfehlungen auf B200-GPUs.

Warum das relevant ist

Viele KI-Kurse verbleiben auf Ebene von High-Level-APIs oder reiner Theorie. CS336 zwingt dazu, die vollständige Pipeline inklusive Low-Level-GPU-Kernels, verteiltem Training und Datenfilterung selbst nachzubauen, was für ein echtes Systemverständnis moderner LLMs essenziell ist.

Einordnung

Der Lehrplan von Tatsunori Hashimoto und Percy Liang reflektiert den Wandel der KI-Ingenieurpraxis: Neben Architekturfragen dominieren Performance-Engineering (Triton, FlashAttention2, Speicherhierarchien) und Datenqualität (Deduplizierung, Filterung von Web-Dumps) das Feld. Auch die explizite Einschränkung von KI-Code-Assistenten verdeutlicht, dass fundiertes Systemverständnis nur durch eigenhändiges Implementieren aufgebaut werden kann.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Link:Percy Liang

    Percy Liang: Forschungsprofil und Initiativen für offene KI-Entwicklung

    Die persönliche Universitäts-Webseite von Percy Liang, Informatikprofessor an der Stanford University, stellt seine aktuellen Forschungsschwerpunkte, Lehrveranstaltungen und akademischen Projekte vor. Im Zentrum stehen Grundlagenfragen des maschinellen Lernens, das Projekt Marin für radikal offene Modellentwicklung sowie Werkzeuge für reproduzierbare Forschung wie CodaLab Worksheets.

    KI & AI· Sammlung

  • Video

    Video:Stanford Online

    Stanford CS329A: Einführung in selbstverbessernde KI-Agenten und Scaling-Trends

    In der ersten Vorlesung des Stanford-Kurses CS329A geben Aakanksha Chowdhery und Azalia Mirhoseini einen Überblick über die Entwicklung von Sprachmodellen und autonomen Agenten. Sie beleuchten klassische Scaling Laws, emergentes Denkvermögen via Chain of Thought, Post-Training-Methoden wie RLHF sowie neue Paradigmen: Test-Time-Compute (Inference-Time Scaling) und strukturierte agentische Workflows in Coding- und Research-Tools.

    KI & AI· Vortrag

  • Link:Aakanksha Chowdhery, Azalia Mirhoseini

    Stanford CS329A: Self-Improving AI Agents

    Die Stanford University bietet mit CS329A ein Master-Seminar zu selbstoptimierenden KI-Agenten an. Der Kurs unter der Leitung von Aakanksha Chowdhery und Azalia Mirhoseini behandelt Methoden, mit denen LLM-basierte Systeme durch Eigeninteraktion und Umgebungsfeedback kontinuierlich lernen.

    KI & AI· Sammlung

  • X-Post:CopyRebeldia

    Stanford-Vorlesung über die mathematischen Grundlagen von LLMs

    Ein viraler Beitrag hebt eine Stanford-Vorlesung über die technischen Grundlagen von Large Language Models hervor. Der Autor betont, dass KI-Modelle wie Claude oder ChatGPT Texte nicht direkt verstehen, sondern rein auf Zahlen basieren, und verweist auf hohe Gehälter für Ingenieure mit diesem Grundlagenwissen. Ein Community-Hinweis korrigiert allerdings die Zuordnung des gezeigten Videos.

    41.878Lesezeichen2,8 Mio.Aufrufe

    KI & AI· Sammlung

  • X-Post:Mark Phelps

    Stanford veröffentlicht neuen Kurs CS329Z: Engineering AI Agents

    Die Stanford University hat den Lehrplan für den Kurs CS329Z ('Engineering AI Agents') für den Herbst 2026 freigeschaltet. Der Kurs behandelt die Entwicklung zusammengesetzter KI-Systeme ('Compound AI Systems'), die Eigenentwicklung von RAG und Tool-Nutzung, Frameworks wie DSPy sowie Evaluationsstrategien.

    2296Lesezeichen66.100Aufrufe

    KI & AI· Sammlung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.