agents-on-modal: Coding-Agenten mit Open-Weight-Modellen auf Modal

Repositorysshh12/agents-on-modalTool

Das Python-Tool verbindet Agent-CLIs wie Claude Code oder Codex mit selbst gehosteten Open-Weight-LLMs auf Modal-Serverless-GPUs. Entwickler können Coding-Agenten isoliert lokal, in Docker oder in Modal-Sandboxes skalieren.

Das Wichtigste

  1. Verbindet Agent-Harnesses (Claude Code, Codex CLI) mit Open-Weight-Modellen wie Qwen3, GPT-OSS, DeepSeek-V4 und GLM-5.3.
  2. Ein Container-Gateway übersetzt native Protokolle (Anthropic Messages, OpenAI Responses) in Chat-Completions-APIs.
  3. Bereitstellung der Modelle erfolgt serverless via SGLang oder llama.cpp auf Modal-GPUs mit Scale-to-Zero.
  4. Drei Sandbox-Optionen: lokal, isolierter lokaler Docker-Container oder massiv parallele Modal-Sandboxes.
  5. Modell-Konfigurationen inkl. Reasoning-Mappings werden deklarativ in einer JSON-Catalog-Datei gepflegt.

Warum das relevant ist

Das Projekt ermöglicht es Teams, proprietäre Agenten-Workflows wie Claude Code kostengünstig und datensouverän auf eigener GPU-Infrastruktur mit Open-Source-Modellen auszuführen.

Einordnung

Problemstellung und Architektur

Coding-Agenten wie Claude Code oder Codex sind standardmäßig fest an proprietäre APIs (Anthropic, OpenAI) gekoppelt. agents-on-modal entkoppelt die Agent-Ebene von den Backend-Modellen durch drei frei kombinierbare Achsen:

  • Modelle: Open-Weight- und abliterierte Modelle (z. B. Qwen3.8-27b, DeepSeek-V4) werden serverseitig über SGLang oder llama.cpp bereitgestellt und skalieren bei Nichtnutzung auf null.
  • Harness & Gateway: Ein integriertes Gateway empfängt API-Aufrufe der CLIs (Anthropic Messages API oder OpenAI Responses) und konvertiert sie in kompatible Chat-Completions-Aufrufe samt Zuordnung von Reasoning-Limits.
  • Sandbox: Ausführung wahlweise direkt im Host-System, im isolierten Docker-Container ohne LAN-Zugriff oder in Modal-Cloud-Sandboxes für Schwarm-Ausführungen.

Reifegrad und Zielgruppe

Das Tool richtet sich primär an Entwickler, Red Teams und Sicherheitsforscher, die agentische Workflows mit unzensierten oder selbst verwalteten Modellen automatisieren wollen. Mit Stand November 2026 befindet sich das Repository mit 5 Sternen, fehlender Lizenzdatei und aktuellem Entwicklungsstand noch in einer sehr frühen Phase. Für den Produktiveinsatz fehlen formale Lizenzbedingungen und breitere Praxistests, der modulare Architekturansatz für serverlose Agenten-Pipelines ist jedoch technisch bemerkenswert pragmatisch gelöst.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 8. November 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:ollama/ollama

    Ollama: Lokale Ausführung und Integration offener Sprachmodelle

    Ollama ist ein Open-Source-Framework in Go, mit dem Open-Weight-Modelle lokal ausgeführt, über APIs angesprochen und an Entwicklungswerkzeuge sowie Chat-Assistenten angebunden werden können.

    180.203SterneGo

    KI & AI· Tool

  • Repository:FeiZhuLulu/Agent-Bridge

    Agent Bridge: Lokale Coding-Agenten über MCP orchestrieren

    Agent Bridge ist ein Python-basiertes Open-Source-Tool, das lokale Coding-Agenten über das Model Context Protocol (MCP) miteinander verbindet. Entwickler steuern dabei einen primären Koordinator-Agenten, der wiederum spezialisierte Worker-Agenten über Kommandozeilenschnittstellen delegiert.

    31SternePython

    KI & AI· Tool

  • X-Post:Shrivu Shankar

    agents-on-modal: Unzensierte LLMs für autonome Security-Agents

    Shrivu Shankar empfiehlt unzensierte Open-Weight-Modelle für automatisierte Red-Teaming-Tests und teilt sein Open-Source-Framework 'agents-on-modal'. Damit lassen sich Agenten-CLIs wie Claude Code oder Codex isoliert gegen selbst gehostete Modelle auf Modal-GPUs betreiben.

    157Lesezeichen2737Aufrufe

    KI & AI· Sammlung

  • Link:modal.com

    Modal: Serverless-GPU-Infrastruktur für KI-Workflows und Agenten

    Modal ist eine Cloud-Plattform zur Entwicklung, zum Training und zum Betrieb von KI-Anwendungen. Sie bietet serverlose Funktionen, GPU-Inferenz, Training und isolierte Sandboxes mit sekundengenauer Abrechnung. Entwickler und KI-Teams skalieren damit rechenintensive Workloads ohne eigene Cluster-Verwaltung.

    KI & AI· Tool

Zurück zur Wissensbasis

Sprechen wir über Ihr Projekt.

Kontakt

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.