LinkVercelSammlung
Für Entwicklerteams und Sicherheitsverantwortliche liefert der Benchmark konkrete Leistungsdaten dazu, welche Modelle verlässlich Code-Schwachstellen erkennen, wie hoch die Fehlalarm-Quote ist und welche Rechenkosten pro Prüflauf anfallen.
Die Daten zeigen erhebliche Unterschiede zwischen Trefferquote (Recall) und Genauigkeit (Precision). Selbst das führende Modell GPT-6 Astra xhigh deckt nur 32,8 % der Schwachstellen ab, glänzt aber mit sehr geringen Fehlalarmen (97,9 % Precision). Spitzenmodelle wie Claude Opus 5 verursachen im Claude-Code-Harness mit über 127 USD signifikante Kosten, während Modelle wie Deepseek V4 Flash für rund 6 USD vergleichbare Scores zu Mittelklasse-Setups erreichen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:Guillermo Rauch
Laut Vercel-CEO Guillermo Rauch belegt OpenAI GPT-6 Astra den ersten Platz auf dem DeepsecBench für IT-Sicherheit. Das Modell löst Testaufgaben in knapp 50 Minuten, wofür der Vorgänger fast vier Stunden benötigte.
180Lesezeichen81.077Aufrufe
Link:Vellum
Das LLM-Leaderboard von Vellum vergleicht aktuelle Sprachmodelle über standardisierte Benchmarks hinweg und führt Metriken zu Durchsatz, Latenz sowie Token-Kosten auf.
Link:StackAI
StackAI bietet ein interaktives Dashboard, das Sprachmodelle anhand von Benchmarks, Durchsatz, Kontextfenstern und Kosten vergleicht. Das Tool fasst Leistungskennzahlen wie MMLU, HumanEval+, GPQA, SWE-Bench und GSM8K zusammen und ermöglicht den direkten Modellvergleich.
Link:clickrank.ai
Ein Leitfaden von ClickRank AI analysiert den Stand der LLM-Ranglisten im Jahr 2026. Da traditionelle Tests wie MMLU und HumanEval übersättigt sind, stützen sich Vergleiche heute auf anspruchsvollere Benchmarks, menschliche Blindvergleiche und kombinierte Metriken aus Leistung, Geschwindigkeit und Token-Preisen.
Link:Roshan Desai
Onyx vergleicht in seinem LLM Leaderboard 2026 führende Open-Source- und Closed-Source-Modelle anhand von Benchmarks für Coding, Reasoning, Mathematik und agentische Aufgaben sowie deren API-Preisen.
Link:The Cognition Team
Cognition hat mit FrontierCode einen Benchmark und ein Leaderboard veröffentlicht, das bewertet, ob von KI-Modellen erstellte Pull Requests von Open-Source-Maintainern tatsächlich gemergt werden würden. Die Bewertung stützt sich auf Unit-Tests, Verifizierer und praxisnahe Rubriken von Maintainern.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
