agents-on-modal: Unzensierte LLMs für autonome Security-Agents

X-PostShrivu ShankarSammlung

Shrivu Shankar empfiehlt unzensierte Open-Weight-Modelle für automatisierte Red-Teaming-Tests und teilt sein Open-Source-Framework 'agents-on-modal'. Damit lassen sich Agenten-CLIs wie Claude Code oder Codex isoliert gegen selbst gehostete Modelle auf Modal-GPUs betreiben.

Das Wichtigste

  1. Shrivu Shankar stuft dealignai/DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8 als derzeit stärkstes Modell für automatisierte Pentests ein.
  2. Das Tool 'agents-on-modal' bindet Claude Code oder Codex CLI an auf Modal gehostete Open-Weight-Modelle (wie DeepSeek, GLM oder Qwen) an.
  3. Ein Gateway übersetzt native Protokolle (Anthropic Messages, OpenAI Responses) in Chat-Completions-APIs der Serving-Engines (SGLang/llama.cpp).
  4. Agenten laufen isoliert lokal, in Docker-Containern oder in parallelen Modal-Sandboxes mit optionalem Residential-Proxy-Routing.
  5. In einem Test mit 100 parallelen Agenten wurden reale Schwachstellen wie IDORs und kompromittierte Zugangsdaten in alten Webprojekten aufgedeckt.

Warum das relevant ist

Sicherheitsprüfungen stoßen bei kommerziellen Standard-LLMs oft an Verweigerungsfilter. Abliterierte Modelle ermöglichen praxisnahes Red Teaming, erfordern aber strikte Isolation durch Sandboxing.

Einordnung

Hintergrund und Funktionsweise

Kommerzielle KI-Modelle weigern sich bei Standard-Prompts meist, offensive Pentesting-Aufgaben durchzuführen. Als Lösung dienen sogenannte 'abliterierte' Modelle: Durch gezielte Subtraktion des internen Verweigerungs-Vektors aus den Modellgewichten fallen Schutzschranken weg, ohne dass das logische Denkvermögen leidet. Shrivu Shankar nutzt hierfür unter anderem dealignai/DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8, gehostet auf Modal-Infrastruktur.

Die Architektur von agents-on-modal

Das veröffentlichte Repository sshh12/agents-on-modal modularisiert das Setup entlang dreier Achsen:

  • Modelle: Verwaltung im Katalog (z. B. DeepSeek-V4, GLM-5.3, Qwen3.8), betrieben via SGLang oder llama.cpp mit automatischem Scale-to-Zero auf Modal-GPUs (etwa B300:4).
  • Agenten-Harness: Unterstützung für gängige Entwickler-Werkzeuge wie Claude Code und die OpenAI Codex CLI.
  • Sandboxing: Ausführung lokal, in isolierten Docker-Containern (ohne LAN-Zugriff) oder in cloudbasierten Modal-Sandboxes.

Ein integriertes Protokoll-Gateway wandelt proprietäre Befehle in standardisierte Chat-Completion-Aufrufe um. Für Web-Scraping und Netzwerkaufrufe lässt sich der ausgehende Datenverkehr über Residential Proxies leiten, während Token-Traffic direkt zum Modell fließt.

Erkenntnisse aus Praxistests

In einem vorausgegangenen Experiment mit rund 100 Agenten gelang es dem Setup, ohne Zero-Day-Exploits mehrere Altsysteme über IDOR-Lücken, schwache Passwörter und OSINT-Recherchen zu kompromittieren. Dies unterstreicht das Potenzial, aber auch das Gefahrenpotenzial unkontrollierter Agenten-Schwärme.

Original-Post

Shrivu Shankar

@ShrivuShankar · 7. November 2026

@dbmikus yes! dealignai/DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8 is the best i've tried use t.co/2s1QTpbPzl to run claude/codex on modal sandboxes on modal inference (B300:4) often red teaming my own apps on railway (pre-all the recent stuff thats happened w/them) t.co/86z5ZzArZX

66 Likes3 Antworten157 Lesezeichen2737 Aufrufe

Auf X ansehen
Ausgewählte Antworten (5)
  • @dbmikus Anybody here running abliterated models for security testing? I'm curious to learn about your setup: 1. which models? 2. which inference providers? 3. how do you secure the agent using the abliterated model? 4. how do you set up your pentest environment?
  • @refuselessai @dbmikus Might wanna try our abliterated GLM & DeepSeek
  • @NirvikBaruah @dbmikus Yup, been using abliterated deepseek in a sailbox for pentesting our infra. Model is self-hosted on our own GPUs and internal. I feed the networking logs + tool calls to a regular model so that it can periodically check what's going on and msg me summaries of what is happening.
  • @emil_no @dbmikus Tested both t.co/XHaCJoULVd and @OrcaCyberHQ
  • @anthonyronning @dbmikus dealign's dsv4.1 flash 1017 on @TryMapleAI on a kali box on an outside computer testing out dev infra need to work on better red team harnesses / goal / looping behavior because it's so quick, i have to keep responding to it's reports and say keep going lol.

Links und Tools aus diesem Beitrag

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 8. November 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:sshh12/agents-on-modal

    agents-on-modal: Coding-Agenten mit Open-Weight-Modellen auf Modal

    Das Python-Tool verbindet Agent-CLIs wie Claude Code oder Codex mit selbst gehosteten Open-Weight-LLMs auf Modal-Serverless-GPUs. Entwickler können Coding-Agenten isoliert lokal, in Docker oder in Modal-Sandboxes skalieren.

    5SternePython

    KI & AI· Tool

  • Link:Cantina Security

    Apex Flash 1 Abliterated: Open-Weights-Sicherheitsmodell ohne Refusals

    Cantina Security hat in Kooperation mit Yeta Labs apex-flash-1-abliterated veröffentlicht, ein modifiziertes Open-Weights-Modell für autorisierte Sicherheitsanalysen. Die Variante basiert auf GLM-5.3-Flash und lockert standardmäßige Verweigerungsfilter umfassend. Es richtet sich an Sicherheitsforschende in eigenen Testumgebungen.

    KI & AI· Tool

  • Artikel:DeepInfra

    Die besten LLMs für OpenClaw im Praxiseinsatz

    Ein Leitfaden von DeepInfra vergleicht Modelle mit offenen Gewichten für den autonomen Agenten OpenClaw. Im Fokus stehen Kriterien wie zuverlässige Tool-Aufrufe, Kontextstabilität und reale Kosten pro Aufgabe.

    KI & AI· Sammlung

  • X-Post:Juraj Bednar

    Cloudflares Open-Source-Skill für mehrstufige KI-Sicherheitsaudits

    Cloudflare hat mit 'security-audit-skill' ein quelloffenes Werkzeug veröffentlicht, das Coding-Agenten in strukturierte Sicherheitsprüfer verwandelt. Juraj Bednar empfiehlt das Tool für Code-Audits und betont, dass strukturierte Workflows selbst mit günstigen Modellen tiefere Schwachstellen aufdecken als ungeführte Prompts bei Spitzenmodellen.

    16.351Lesezeichen600.123Aufrufe

    KI & AI· Tool

  • X-Post:Brais Moure

    Cloudflare veröffentlicht Open-Source-Skill für Sicherheitsaudits mit Coding-Agents

    Brais Moure weist auf die Veröffentlichung von Cloudflares „security-audit-skill“ hin. Das Open-Source-Werkzeug verwandelt Coding-Agents in strukturierte Sicherheitsprüfer und bildete die Grundlage für Cloudflares internes System zur Erkennung von Schwachstellen.

    3362Lesezeichen139.387Aufrufe

    KI & AI· Tool

  • X-Post:O

    Post-Training-Varianten von GLM-5.3-Flash für Coding und Security

    In einer Diskussion um GLM-5.3-Flash empfiehlt Nutzer O spezialisierte Fine-Tuning-Modelle auf Hugging Face. Swift 1.5 von UkisAI reduziert Denk-Tokens für den Alltagseinsatz drastisch, während Cantinas apex-flash-1-abliterated auf Sicherheitsanalysen ausgelegt ist. Laut dem Autor übertreffen diese Varianten sowohl das Basismodell als auch DeepSeek.

    13Lesezeichen468Aufrufe

    KI & AI· Diskussion

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.