ArtikelIshan Patel, Sahil Sen, Elias Lumer, Vamse Kumar SubbiahForschung
JSON-basiertes Function Calling stößt bei komplexen Verkettungen und parallelen Aufrufen an Grenzen. Die Bereitstellung von Tools als Programmcode nutzt die Programmierfähigkeiten moderner Modelle besser aus und reduziert Anfälligkeiten gegenüber Kontextüberlastung.
Die Untersuchung zeigt, dass Code als Schnittstelle für LLMs natürlicher skaliert als starre JSON-Schemata. Indem Modelle Werkzeuge direkt über Python-Skripte verketten und ausführen, lassen sich Aufrufe bündeln und die Trefferquote steigern, insbesondere bei Modellen neuerer Generationen wie GPT-5.6.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Masato Okuwaki
Masato Okuwaki analysiert eine Studie von PwC, die natives JSON-Tool-Calling mit programmgesteuertem Tool Calling (PTC) via Python-Skripten vergleicht. Auf einem 309 Aufgaben umfassenden Subset des Benchmarks BFCL v4 erzielten elf von vierzehn Modellen von Anthropic und OpenAI mit Code bessere oder gleiche Ergebnisse wie mit Standard-JSON.
Link:Shishir G. Patil, Huanzhi Mao, Charlie Cheng-Jie Ji, Fanjia Yan, Vishnu Suresh, Ion Stoica, Joseph E. Gonzalez
Das Berkeley Function Calling Leaderboard (BFCL) V4 evaluiert die Fähigkeit von Sprachmodellen, Funktionen und Werkzeuge präzise aufzurufen. Version 4 erweitert frôhere Iterationen um eine ganzheitliche agentische Bewertung.
Artikel:Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang
ToolSandbox ist ein Evaluierungs-Benchmark, der die Fähigkeiten von Sprachmodellen bei der Werkzeugnutzung anhand zustandsbehafteter Umgebungen und mehrteiliger Dialoge testet.
Repository:alexfazio/artificial-analysis-compare
Ein Python-basiertes Skill-Tool, das die API von Artificial Analysis abfragt, um Sprachmodelle wie GPT-5, Claude und Gemini hinsichtlich Leistung, Benchmark-Werten, Kosten und Latenz zu vergleichen.
12SternePython
Link:aicodingdaily.com
Die Website AI Coding Daily veröffentlicht laufend Tests, Benchmarks und Video-Tutorials zum praktischen Einsatz von Sprachmodellen in der Softwareentwicklung. Im Fokus stehen Vergleiche von Spitzenmodellen, lokale LLMs und Sicherheitswerkzeuge für Entwickler.
Link:nekuda-ai
Nekuda-ai hat mit WindTunnel einen reproduzierbaren Open-Source-Benchmark vorgestellt, der WebMCP mit visuellen Screen-Agents und DOM-basierten Ansätzen vergleicht. Der Benchmark testet 49 Aufgaben auf acht realen Websites mit jeweils drei Durchläufen über Modelle wie GPT-5.6 Luna, Gemini 3.6 Flash und Sonnet 5.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
