11 Einträge
Schlagwort: gguf
X-Post:OrcaRouter
OrcaRouter hat modifizierte, sogenannte abliterierte GGUF-Gewichte für DeepSeek V4.1 Flash 1017 als Open Source bereitgestellt. Das Modell soll Ablehnungen drastisch reduzieren, ohne an Leistungsfähigkeit einzubüßen.
3444Lesezeichen250.653Aufrufe
Link:abenzerps
Auf Hugging Face wurden GGUF-Quantisierungen des Modells Qwen/Qwen-Image-2.1 veröffentlicht. Die Versionen richten sich an die lokale Bildgenerierung mit ComfyUI und kommen ohne eingebaute Safety-Checker oder Inhaltsfilter.
Aus X-Post: Uncensored GGUF Quantisations Released for Qwen-Image 2.1
X-Post:Mia
Auf Hugging Face wurde ein Repository mit GGUF- und Safetensors-Quantisierungen des Bildmodells Qwen-Image 2.1 veröffentlicht. Das Paket zielt auf die lokale Ausführung in ComfyUI ab und verzichtet auf integrierte Sicherheitsfilter.
2488Lesezeichen137.970Aufrufe
Repository:MakazhanAlpamys/Soup
Soup (soup-cli) ist ein Open-Source-Werkzeug, mit dem Sprachmodelle über eine einzige YAML-Konfigurationsdatei und einen CLI-Befehl lokal feinjustiert werden können. Durch Layer-Streaming ermöglicht das Tool das Training von 8B-Modellen auf Consumer-Hardware mit nur 4 GB Grafikspeicher.
7489SternePython
Aus Video: Trending GitHub Projects: OpenBao, Magnitude, herdr, and Other Open-Source Tools
Link:Unsloth AI
Unsloth AI hat quantisierte GGUF-Versionen des neuen Modells Qwen3.8-27B unter der Apache-2.0-Lizenz bereitgestellt. Die Quantisierungen nutzen das neue Verfahren Dynamic V3.0, das gegenüber anderen Anbietern eine höhere Genauigkeit bei gleicher Dateigröße erzielen soll. Qwen3.8-27B ist ein 27 Milliarden Parameter starkes Vision-Language-Modell mit nativer Bild- und Videoverarbeitung, hybridem DeltaNet- und Attention-Aufbau sowie flexibler Steuerung von Denkprozessen.
Aus X-Post: One-click installer runs Qwen3.8-27B on Nvidia GPUs with 16 GB VRAM
Repository:unslothai/unsloth
Unsloth ist eine plattformübergreifende Open-Source-Desktop-Anwendung sowie ein Framework zum lokalen Ausführen und Trainieren von Sprach- und Diffusionsmodellen auf handelsüblicher Hardware.
75.651SternePython
Aus Video: AI Weekly Updates: Open-Source Model Surge, Agent Harnesses, and Meta's AI Reality Check
Link:Unsloth AI
Unsloth AI stellt mit Qwen3.6-27B-MTP-GGUF quantisierte Versionen des ersten Open-Weight-Modells aus der Qwen3.6-Reihe bereit. Das multimodale 27-Milliarden-Parameter-Modell nutzt Multi-Token Prediction (MTP) für schnellere Inferenz und bringt Verbesserungen bei Agentic Coding sowie Tool Calling mit.
Aus Video: Weekly AI Roundup: DeepSeek Harness, Model Routing, and Scaffolding Shifts
Link:kodee
Empero hat Qwythos-27B-v1 vorgestellt, ein Open-Weights-Reasoning-Modell unter der Apache-2.0-Lizenz. Das auf Qwen3.5-27B basierende Modell behält native Funktionsaufrufe, Vision-Fähigkeiten, MTP für spekulatives Decoding sowie ein auf eine Million Tokens erweitertes Kontextfenster bei.
Link:empero.org
Das unabhängige deutsche Forschungslabor Empero entwickelt offene Sprachmodelle und Entwicklerwerkzeuge für lokale Hardware. Zu den Veröffentlichungen zählen Destillationen von Qwen3.8, die Modellfamilie Qwythos sowie der Terminal-Coding-Agent Abacus.
Artikel:docs.openwebui.com
Eine Anleitung von Open WebUI beschreibt die lokale Bereitstellung von quantisierten Sprachmodellen im GGUF-Format über den llama-server und deren Einbindung in die Web-Oberfläche.
Aus Video: Weekly AI Updates: Vulkan, Mojo, Kimi K3, and Emerging Agent Frameworks
Repository:lightningpixel/modly
Modly ist eine Open-Source-Desktop-Anwendung für Windows, Linux und macOS (Apple Silicon), mit der sich 3D-Modelle aus Bildern oder Prompts lokal auf der eigenen GPU berechnen lassen.
7434SterneTypeScript
Aus Video: Weekly AI Roundup: DeepSeek Harness, Model Routing, and Scaffolding Shifts
11 von 11 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
