KI-Agenten mit messbaren Zielen für Test-Bereinigungen steuern

X-PostPeter SteinbergerMeinung

Peter Steinberger empfiehlt, KI-Agenten bei Aufräumarbeiten keine vagen Anweisungen zu geben, da sie die Aufgabe sonst vorzeitig beenden. Stattdessen sollten präzise Zielvorgaben wie das Löschen von 20 Prozent der am wenigsten nützlichen Tests bei maximal zwei Prozent Abdeckungsverlust formuliert werden.

Das Wichtigste

  1. Vage Prompts wie 'räum auf' führen dazu, dass KI-Agenten viel zu früh stoppen.
  2. Ambitionierte, quantifizierbare Zielvorgaben zwingen den Agenten zu tiefergehenden Optimierungen.
  3. Ein exemplarisches Ziel: 20 % der überflüssigsten Tests entfernen und dabei die Testabdeckung im Rahmen von 2 % halten.
  4. Steinberger nutzt dafür langlaufende Befehle wie /goal.

Warum das relevant ist

Große Test-Suites verlangsamen CI-Pipelines und erzeugen Wartungsaufwand. Wer KI-Agenten zur Bereinigung von Codebasen einsetzt, benötigt Steuerungsmechanismen mit messbaren Grenzwerten, um nützliche Arbeitsergebnisse zu erzielen.

Einordnung

Steinbergers Beobachtung illustriert ein zentrales Problem beim Prompt Engineering autonomer Coding-Agenten: Ohne messbare Schwellenwerte erfüllen LLM-Agenten die Mindestanforderung ('etwas aufgeräumt') und beenden den Vorgang. Das Setzen harter metrischer Vorgaben zwingt den Agenten in eine iterative Optimierungsschleife. Reaktionen aus der Entwickler-Community weisen allerdings darauf hin, dass Code Coverage allein kein verlässlicher Indikator für Testqualität ist, da das Löschen von Randfall-Tests trotz unveränderter Abdeckung die Fehlererkennung schwächen kann.

Original-Post

Peter Steinberger 🦞

@steipete · 24. September 2026

If you just tell the agent to clean up, it will stop far too early. Give it an ambitious goal. Try "remove 20% of the least useful tests while maintaining code coverage within 2%"

593 Likes16 Antworten515 Lesezeichen102.657 Aufrufe

Auf X ansehen
Weitere Posts im Thread (3)
  1. @PavelVanchugov Google rejected the update and it’s stalling. Working on it.
  2. @bvirlet It’s not meant for humans.
  3. That /goal is still running.
Ausgewählte Antworten (5)
  • @ZainanZhou @steipete Bill Gates has a great analogy: "Measuring programming progress by lines of code is like measuring aircraft building progress by weight." Reducing the lines of code in testing is like reducing the weight of ... the hangar. Yeah maybe it's helpful but also doesn't makes sense to
  • @akshaymarch7 @steipete A useful follow-up would be to reintroduce a few previously fixed bugs and check whether the smaller suite still catches them. That would give me more confidence in the cleanup than the coverage number alone.
  • @gauravdhiman_ai @steipete How can you trust them now, that what they did is right .. when you earlier trusted them assuming what they did was right 😄 You are just driving the car blindly without knowing when it's going to get into an accident.
  • @ChristianLempa @steipete @NousResearch did it first 😜
  • @CycleOrpington @steipete All tests are useful t.co/wNjKWr7Eci

Erwähnte Links

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 30. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • X-Post:Peter Steinberger

    OpenClaw entfernt 400.000 Zeilen Testcode mit spezialisiertem Agent-Skill

    Peter Steinberger berichtet, dass das Open-Source-Projekt OpenClaw rund 400.000 Zeilen eigener Tests gelöscht hat, ohne die Testabdeckung nennenswert zu verändern. Ermöglicht wurde dies durch den Agent-Skill „test-audit“, der minderwertige, redundante oder stark an Implementierungsdetails gekoppelte Tests aufspürt.

    10.797Lesezeichen1,3 Mio.Aufrufe

    KI & AI· News

  • Artikel:Nate

    Agenten-Wartung: Warum das Bereinigen von KI-Systemen entscheidend ist

    Nate argumentiert, dass die langfristige Wartung von KI-Agenten wichtiger wird als deren Erstellung. Agenten liefern oft noch Ergebnisse, wenn sie inhaltlich längst nicht mehr stimmen. Am Beispiel von Vercel, wo 80 Prozent der Agenten-Tools entfernt wurden, zeigt er, wie Reduktion und klare Leitplanken die Zuverlässigkeit sichern.

    KI & AI· Meinung

  • Repository:GonChen/real-engineering-prompt

    Real Engineering Prompt: Minimalistische Verhaltensregeln für Coding-Agents

    Das Open-Source-Projekt stellt eine schlanke Instruktionsvorlage (AGENTS.md) bereit, die moderne Coding-Agents auf pragmatische Engineering-Prinzipien wie minimale Komplexität, isolierte Änderungen und evidenzbasierte Verifikation ausrichtet.

    4Sterne

    KI & AI· Sammlung

  • X-Post:Tech with Mak

    Ponytail: Weniger Code durch Wiederverwendung bei KI-Coding-Agents

    Das Open-Source-Projekt Ponytail trimmt KI-Coding-Agents darauf, vorhandenen Code, Standardbibliotheken und bestehende Abhängigkeiten zu nutzen, statt ungefiltert neuen Code zu generieren. Laut Entwickler Tech with Mak reduziert das Tool den generierten Code im Schnitt um 54 Prozent.

    1875Lesezeichen149.333Aufrufe

    KI & AI· Tool

  • Artikel:Nate

    Vercel reduziert Tools für Agenten um 80 Prozent

    Laut einem Beitrag von Nate auf Substack führte das Entfernen von 80 Prozent der Tools bei Vercels Agenten zu besseren Ergebnissen. Der vollständige Text des Artikels liegt im Quellmaterial nicht vor.

    KI & AI

Zurück zur Wissensbasis

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.