X-PostTrevor WoodAnkündigung
Dank MLX und starker Quantisierung können multimodale 27B-Modelle lokal auf Mac-Hardware betrieben werden. Das Entfernen interner Verweigerungsfilter ist für Forschungszwecke oder die Generierung synthetischer Daten relevant, erfordert jedoch externe Kontrollmechanismen.
Das Verfahren basiert auf einer gezielten Modifikation von 80 Residual-Matrizen auf den Schichten 24 bis 63, um die Ablehnungsreaktion bei sensiblen Anfragen zu unterdrücken, ohne das allgemeine Sprach- und Bildverständnis in höheren Bitbreiten zu beeinträchtigen. Allerdings zeigt die 2-Bit-Fassung deutliche Funktionseinbußen bei komplexen Aufgaben wie Werkzeugnutzung oder exaktem Textabruf.
Trevor Wood
@trevorwood222 · 15. August 2026
Qwen3.8-27B Abliterated is now available for Apple Silicon with MLX 🔓🍎 Separate 4, 6, 8-bit + BF16 releases. All four scored 0/100 explicit refusals on harmful prompts and benign controls, plus 12/12 quality, 8/8 tools and verified 4K retrieval. t.co/vUgQBjbuAa
2785 Likes50 Antworten3198 Lesezeichen199.030 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:PocketAiHub
PocketAiHub hat eine inoffizielle Reihe von MLX-Konvertierungen des multimodalen Modells Qwen3.8-27B veröffentlicht. Durch 'Abliteration' wurde das antrainierte Verweigerungsverhalten (Refusals) modifiziert. Das Repository bietet Quantisierungen von 2-Bit AWQ bis BF16 speziell für Apple Silicon.
Link:OrcaRouter
OrcaRouter hat eine modifizierte FP8-Version des multimodalen Modells Qwen3.8-27B auf Hugging Face bereitgestellt. Durch gezielte Abliteration wurde die interne Verweigerungsrichtung entfernt, um das Modell für Red-Teaming und Sicherheitsforschung ohne Schutzfilter nutzbar zu machen.
Link:Qwen
Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.
Link:Unsloth AI
Unsloth AI hat quantisierte GGUF-Versionen des neuen Modells Qwen3.8-27B unter der Apache-2.0-Lizenz bereitgestellt. Die Quantisierungen nutzen das neue Verfahren Dynamic V3.0, das gegenüber anderen Anbietern eine höhere Genauigkeit bei gleicher Dateigröße erzielen soll. Qwen3.8-27B ist ein 27 Milliarden Parameter starkes Vision-Language-Modell mit nativer Bild- und Videoverarbeitung, hybridem DeltaNet- und Attention-Aufbau sowie flexibler Steuerung von Denkprozessen.
Link:Unsloth AI
Unsloth AI stellt mit Qwen3.6-27B-MTP-GGUF quantisierte Versionen des ersten Open-Weight-Modells aus der Qwen3.6-Reihe bereit. Das multimodale 27-Milliarden-Parameter-Modell nutzt Multi-Token Prediction (MTP) für schnellere Inferenz und bringt Verbesserungen bei Agentic Coding sowie Tool Calling mit.
Repository:PipeNetwork/kimi-k3-mlx
kimi-k3-mlx portiert Moonshots multimodales Kimi-K3-MoE-Modell (2,78 Billionen Parameter) auf Apples MLX-Framework. Da das Modell selbst im komprimierten Zustand zu groß für handelsübliche Apple-Silicon-Rechner ist, liefert das Projekt neben den Modell- und Vision-Wrappern einen Streaming-Konverter sowie Werkzeuge zum Pruning von Experten.
337SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
