X-PostGuillermo RauchNews
Die Verringerung der Laufzeit von mehreren Stunden auf unter 50 Minuten bei hoher Treffergenauigkeit und niedrigen Kosten verändert die Effizienz automatisierter Schwachstellenanalysen im Code erheblich.
Der DeepsecBench verdeutlicht die Dynamik bei codebasierten Sicherheitsprüfungen. GPT-6 Astra zeigt vor allem bei der Ausführungszeit einen markanten Sprung gegenüber Modellen wie GPT-5.6 Sol oder Claude Opus 5. Gleichzeitig veranschaulicht Rauchs Hinweis auf Fable, dass strenge Modell-Guardrails die praktische Eignung von KI-Systemen bei Sicherheitsüberprüfungen einschränken können.
Guillermo Rauch
@rauchg · 5. September 2026
Astra is now the best cybersecurity model in the world on @vercel DeepsecBench. It pulls off in 49 minutes what took Sol ~4 hours, with a better score, at nearly the same cost. It's more effective and 50% cheaper than Claude Opus 5 max. t.co/14WK4F7Qhs t.co/zRyGqlZYFo
1050 Likes70 Antworten180 Lesezeichen81.077 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Vercel
Auf dem Vercel AI Gateway vergleicht das Leaderboard DeepsecBench verschiedene KI-Modelle hinsichtlich ihrer Fähigkeit, Sicherheitslücken in Anwendungscode aufzuspüren. Die Auswertung basiert auf dem Deepsec-Cyber-Harness und kombiniert Recall sowie Precision zu einem Gesamtwert.
Link:OpenAI
OpenAI hat die System Card für GPT-6 Astra vorgestellt. Das Modell erreicht als erstes System des Herstellers die Einstufung „Critical“ im Bereich Cybersicherheit, zeigt Fortschritte bei Robustheit und Alignment gegenüber GPT-5.6 Sol, weist jedoch eine verringerte Überwachbarkeit seiner Chain of Thought auf.
Link:Vellum
Das LLM-Leaderboard von Vellum vergleicht aktuelle Sprachmodelle über standardisierte Benchmarks hinweg und führt Metriken zu Durchsatz, Latenz sowie Token-Kosten auf.
Link:Roshan Desai
Onyx vergleicht in seinem LLM Leaderboard 2026 führende Open-Source- und Closed-Source-Modelle anhand von Benchmarks für Coding, Reasoning, Mathematik und agentische Aufgaben sowie deren API-Preisen.
Link:Anthropic
Anthropic kündigt die Frontier-Modelle Claude Fable 5.1 und Claude Mythos 5.1 an. Beide basieren auf demselben Modell, unterscheiden sich jedoch bei Sicherheitsbarrieren. Fable 5.1 bietet höhere Leistung beim Coding, wissenschaftlicher Forschung und Knowledge Work bei gleichzeitig reduzierten Kosten.
Link:StackAI
StackAI bietet ein interaktives Dashboard, das Sprachmodelle anhand von Benchmarks, Durchsatz, Kontextfenstern und Kosten vergleicht. Das Tool fasst Leistungskennzahlen wie MMLU, HumanEval+, GPQA, SWE-Bench und GSM8K zusammen und ermöglicht den direkten Modellvergleich.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
