Neuron Explorer: Interaktives Steering- und Analyse-Tool für Qwen3.5-4B

Repositorylyramakesmusic/neuron-explorerTool

Neuron Explorer ist ein spezialisiertes Open-Source-Tool für die mechanistische Interpretierbarkeit von Qwen3.5-4B. Es manipuliert systematisch einzelne MLP-Neuronen, speichert alle Rollouts und visualisiert Aktivierungen und Linsen in einer 3D-Ansicht. Die Anwendung richtet sich an KI-Forschende und Entwickler im Bereich Modell-Steering.

Das Wichtigste

  1. Führt systematische Sweeps über MLP-Neuronen durch, indem Werte positiv und negativ skaliert werden.
  2. Bietet eine interaktive 3D-Visualisierung der Schichten inklusive Logit- und Steer-Lens.
  3. Enthält eine dreispaltige Chat-Ansicht zur direkten Gegenüberstellung von negativer, neutraler und positiver Dosis.
  4. Integriert die Claude-CLI über ein MCP-Interface für automatisierte Analysen, Ablationen und Abfragen.
  5. Nutzt für Sweeps einen vLLM-Fork auf CUDA 13 sowie lokale Ausführung via MPS, CUDA oder CPU.

Warum das relevant ist

Das Verständnis interner Repräsentationen und das gezielte Steuern von Sprachmodellen sind zentral für KI-Sicherheit und Feinanpassung. Neuron Explorer macht komplexe neuronale Eingriffe direkt visuell und interaktiv erfahrbar.

Einordnung

Funktionsweise und Problemstellung

Das Projekt adressiert die Blackbox-Problematik neuronaler Netze, speziell für das Modell Qwen3.5-4B. Statt Neuronen nur passiv zu beobachten, verfolgt Neuron Explorer einen aktiven »Steering-first«-Ansatz: MLP-Neuronen werden in definierten Dosen relativ zur Residuen-Norm manipuliert, und die resultierenden Text-Rollouts werden vollständig erfasst.

Benutzeroberfläche und Features

Die Weboberfläche (explorer/server.py) visualisiert Schichten und Neuronen räumlich:

  • Map & List: 3D-Ansicht nach Schreibrichtung der Projektionsmatrizen; Suche über Steer- und Logit-Linsen sowie Filterung nach aktiven Neuronen (fires).
  • Neuron-Detail & Embeddings: Vergleichende Chat-Ansichten (−, 0, +) und UMAP-Projektionen der Rollouts.
  • Agent-Anbindung: Über das Model Context Protocol (MCP) kann die claude-CLI direkt auf die Modellzustände zugreifen, Ablationen durchführen und die UI steuern.

Reifegrad und Technologien

Das Tool basiert auf Python (uv), vLLM (Fork von RhizoNymph) für Sweeps und unterstützt lokale Inferenz über MPS, CUDA oder CPU. Trotz beachtlicher GitHub-Sterne (rund 1.500) handelt es sich um ein hochspezialisiertes Forschungswerkzeug ohne formelle Lizenzangabe, das sich primär an Alignment- und Interpretability-Forscher richtet.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 28. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:ahujasid/mcp-for-blender

    mcp-for-blender: Blender per Model Context Protocol mit LLMs steuern

    Das Open-Source-Projekt mcp-for-blender verbindet die 3D-Software Blender über das Model Context Protocol (MCP) mit beliebigen Sprachmodellen. Es ermöglicht die promptbasierte Erstellung und Manipulation von 3D-Szenen und richtet sich an 3D-Artists sowie Entwickler.

    32.933SternePython

    KI & AI· Tool

  • Repository:ahujasid/blender-mcp

    blender-mcp: Blender über das Model Context Protocol per LLM steuern

    blender-mcp ist ein quelloffenes Community-Plugin, das die 3D-Software Blender an beliebige Large Language Models anbindet. Über das Model Context Protocol (MCP) lassen sich 3D-Modellierung, Szenenerstellung und Bearbeitungsschritte direkt per Prompt automatisieren.

    26.735SternePython

    KI & AI· Tool

  • Repository:MiaAI-Lab/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install

    One-Click-Installer für Qwen3.8-27B auf 16-GB-Nvidia-GPUs

    Ein Serving-Kit für Windows und Linux ermöglicht die lokale Ausführung des Sprachmodells Qwen3.8-27B auf einzelnen Nvidia-Grafikkarten ab 12 bis 16 GB VRAM mittels EXL3-Quantisierungen.

    529SternePython

    KI & AI· Tool

  • Repository:img2threejs/img2threejs

    img2threejs: Bild-zu-3D-Rekonstruktion als prozeduraler Three.js-Code

    img2threejs rekonstruiert Objekte aus Referenzbildern als prozeduralen, animationsbereiten Three.js-Code. Statt Fotogrammetrie oder Mesh-Extraktion setzt das Projekt auf token-effiziente Code-Generierung.

    15.104SternePython

    KI & AI· Tool

  • Repository:morluto/rea

    REA: Reverse Engineering per Model Context Protocol für KI-Agenten

    REA (Reverse Engineer Anything) ist ein Open-Source-MCP-Server, mit dem KI-Agenten Anwendungen, Laufzeitverhalten und native Binärdateien analysieren und per Reverse Engineering untersuchen können.

    29.253SterneTypeScript

    KI & AI· Tool

Zurück zur Wissensbasis

Sprechen wir über Ihr Projekt.

Kontakt

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.