Finetuning eines 4B-Modells für 80 Dollar übertrifft GPT 5.6 Terra bei Spezialaufgabe

X-PostMaxime RivestNews

Maxime Rivest berichtet, wie er mit 5.000 synthetischen Trainingsbeispielen, vier Stunden Trainingszeit und 80 US-Dollar ein 4B-Parameter-Modell trainiert hat, das GPT 5.6 Terra in einer spezifischen Schreibaufgabe schlägt.

Das Wichtigste

  1. Kosten und Aufwand: 5.000 Beispiele, vier Stunden Rechenzeit und 80 US-Dollar genügten für das Finetuning eines 4B-Modells.
  2. Aufgabe: Das Modell wurde darauf spezialisiert, wissenschaftliche Publikationen aus Ökologie und Evolution für 14-jährige Leser verständlich umzuschreiben.
  3. Datengrundlage: Der synthetische Datensatz stammte aus Umformulierungen durch Frontier-Modelle, unter anderem mit Beiträgen von Opus 5.5.
  4. Kernargument: Rivest plädiert dafür, Finetuning häufiger einzusetzen, anstatt für eng begrenzte Aufgaben die Overheads generalistischer Modelle zu zahlen.

Warum das relevant ist

Der Ansatz zeigt, dass kleine, gezielt trainierte Modelle durch billige synthetische Daten und Coding Agents bei dedizierten Aufgaben mit enorm teuren Frontier-Modellen konkurrieren können, ohne deren hohe Betriebskosten zu verursachen.

Einordnung

Rivest hebt hervor, dass die Hürden für Modell-Finetuning drastisch gesunken sind. Anstatt allgemeine Modelle für isolierte Anforderungen zu nutzen, lässt sich mit wenigen tausend synthetischen Beispielen eine hohe Spezialisierung erzielen. Er plant, das Modell auf Hugging Face zu veröffentlichen und eine Dokumentation nachzureichen.

Original-Post

Maxime Rivest 🧙‍♂️🦙🐧

@MaximeRivest · 5. Oktober 2026

I never thought that with only 5000 training examples, 4 hours of training and 80$ I could make a 4b model beat gpt 5.6 terra. training data is now cheap and plentiful, coding agent are now capable enough to do the work. you just need to figure out th ask you want to teach you t.co/gyASTc5n9H

427 Likes49 Antworten380 Lesezeichen32.619 Aufrufe

Auf X ansehen
Weitere Posts im Thread (11)
  1. @imevgenii its not an agent
  2. @eragoaugustus that is exactly my point: finetuning is accessible now and should be more often considered.
  3. @mahi17939311 probably! and i wouldnt care :) it is specialized on one particular task. why paying the overhead of generalization when you can specialize that easily?
  4. @mahi17939311 sample output of the 4b below. the task is: rewrite a scientific article so a 14 year old can understand it. the dataset is 5000 of those rewrites from frontier models. All in ecology, environment, evolution type of fields. There are about 100 million scientific articles to t.co/v9yNpVoPVU
  5. @_rchaves_ writing something up but: t.co/KpYWXQtqe6
  6. @_NicholasFong t.co/KpYWXQtqe6
  7. @chirag @madmaxbr5 t.co/KpYWXQtqe6
  8. @martino_broggi synthetic was not just opus, and whatever bias opus 5.5 had, matched my taste. but indeed astra would score these differently, but worst, in my opinion.
  9. @mahi17939311 > Also 100 million is ambitious asf just 3 years on a rtx 6000 pro. :D
  10. @rakeshsahni_ working on it! i'll upload the models on hf and write something up.
  11. @jeetendrayd working on that
Ausgewählte Antworten (5)
  • @imevgenii @MaximeRivest Benchmaxxing. Test on real agentic tasks.
  • @_NicholasFong @MaximeRivest on what?
  • @madmaxbr5 @MaximeRivest *on a narrow task
  • @mahi17939311 @MaximeRivest Aaaah this makes so much more sense. I thought the previous was coding related. On writing type tasks, specialized models are much better than frontiers. Also 100 million is ambitious asf. Good luck finding enough GPU time lmao. Maybe try Ling 3.0 tiny or similar MOE?
  • @kennethlau12393 @MaximeRivest the hard part is the automatic scorer. 5000 examples only works if outputs can be graded without a human

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 6. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • X-Post:Rahul

    Bedeutung von Fine-Tuning für AI Engineers

    Rahul (@sairahul1) argumentiert, dass Fine-Tuning zu einer der wertvollsten Fähigkeiten für KI-Entwickler wird, und verlinkt dazu einen Leitfaden.

    10.098Lesezeichen2,3 Mio.Aufrufe

    KI & AI· Meinung

  • Link:oumi.ai

    Oumi: Plattform zur Entwicklung und zum Betrieb spezialisierter KI-Modelle

    Oumi positioniert sich als AI Factory zur Erstellung, Bereitstellung und kontinuierlichen Optimierung eigener KI-Modelle. Anstatt ausschließlich auf generische Frontier-Modelle via API zu setzen, ermöglicht die Plattform das automatisierte Training und Feintuning spezialisierter Modelle auf Basis eigener Unternehmensdaten.

    KI & AI· Tool

  • Video

    Video:Lev Selector

    Wöchentliche KI-Updates: Lokale Modelle, GPT-6 Astra und Agenten-Architekturen

    Lev Selector fasst die wichtigsten KI-Nachrichten der ersten Septemberwoche 2026 zusammen. Zu den Höhepunkten gehören die Veröffentlichung von GPT-6 Astra, signifikante Kostensenkungen durch lokale Modelle, neue Open-Source-Agentenplattformen sowie Architekturempfehlungen für unternehmensweite RAG-Systeme.

    KI & AI· News

  • X-Post:Astraia

    Hypothese zum Training von Qwen 3.8 27B: GRPO statt klassischem SFT

    Laut einer Analyse des X-Accounts Astraia basiert die Leistungsfähigkeit von Qwen 3.8 27B nicht auf klassischem Supervised Fine-Tuning (SFT). Stattdessen sei Group Relative Policy Optimization (GRPO) mit großzügigeren Reasoning-Kontextlängen und den Ausgaben von Qwen 3.8 Max als Zielvorgabe genutzt worden.

    995Lesezeichen121.991Aufrufe

    KI & AI· Meinung

  • X-Post:Udi Wertheimer

    PrismML kündigt Ternary Bonsai 2 27B an: 6 GB großes quantisiertes Modell

    Udi Wertheimer hebt die Ankündigung von PrismMLs Ternary Bonsai 2 27B hervor. Das Modell basiert auf Qwen3.8 27B, benötigt lediglich 5,9 GB Speicher und soll laut Hersteller 98,2 % der Benchmark-Leistung des Vollpräzisionsmodells erreichen.

    1468Lesezeichen260.139Aufrufe

    KI & AI· Meinung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.