Unsloth: Desktop-Anwendung zum lokalen Ausführen und Trainieren von KI-Modellen

Repositoryunslothai/unslothTool

Unsloth ist eine plattformübergreifende Open-Source-Desktop-Anwendung sowie ein Framework zum lokalen Ausführen und Trainieren von Sprach- und Diffusionsmodellen auf handelsüblicher Hardware.

Das Wichtigste

  1. Bietet eine native Desktop-Oberfläche für Windows, macOS und Linux (inkl. Ubuntu .deb und AppImage) sowie Skript-Installationen.
  2. Ermöglicht sowohl die Inferenz als auch das Feintuning von LLMs, MLX, GGUF, Diffusions-, Embedding- und Audiomodellen.
  3. Unterstützt moderne Modellfamilien wie Qwen3.8, GLM-5.3-Flash, Kimi K3, MiniMax-H3, DeepSeek-V4, Gemma 4 und FLUX.
  4. Breite Hardware-Unterstützung umfasst Multi-GPU-Setups, NVIDIA-, AMD- und Intel-GPUs, CPUs sowie das Vulkan-Backend.
  5. Veröffentlicht unter der quelloffenen Apache 2.0 Lizenz mit über 75.000 Sternen auf GitHub.

Warum das relevant ist

Das Training und Ausführen moderner KI-Modelle erfordert oft komplexe Cloud-Infrastrukturen oder anspruchsvolle Terminal-Setups. Unsloth senkt diese Einstiegshürde durch eine lokale Benutzeroberfläche und hardwareübergreifende Optimierungen, was Entwicklerteams datenschutzkonforme In-House-Modellanpassungen erleichtert.

Einordnung

Das Projekt löst das Problem, dass Modelltraining und Inferenz meist technisches Spezialwissen und spezifische NVIDIA-Umgebungen voraussetzen. Durch die native Unterstützung von Vulkan, Intel-, AMD- und NVIDIA-Grafikkarten sowie reinen CPUs macht Unsloth das Finetuning auf verschiedensten Systemen zugänglich. Die Zielgruppe umfasst ML-Entwickler, Software-Engineers und Organisationen, die Modelle wie DeepSeek-V4 oder Qwen3.8 lokal betreiben und trainieren möchten. Angesichts von über 75.000 GitHub-Sternen, Tausenden Forks und fertigen Installern für alle gängigen Betriebssysteme wirkt das Projekt hochgradig ausgereift und aktiv gepflegt.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:lightningpixel/modly

    Modly: Lokale Desktop-App zur KI-gestützten 3D-Mesh-Generierung

    Modly ist eine Open-Source-Desktop-Anwendung für Windows, Linux und macOS (Apple Silicon), mit der sich 3D-Modelle aus Bildern oder Prompts lokal auf der eigenen GPU berechnen lassen.

    7434SterneTypeScript

    KI & AI· Tool

  • Repository:ollama/ollama

    Ollama: Lokale Ausführung und Integration offener Sprachmodelle

    Ollama ist ein Open-Source-Framework in Go, mit dem Open-Weight-Modelle lokal ausgeführt, über APIs angesprochen und an Entwicklungswerkzeuge sowie Chat-Assistenten angebunden werden können.

    180.203SterneGo

    KI & AI· Tool

  • Artikel:unsloth.ai

    Unsloth Benchmarks: Höhere Geschwindigkeit und verringerter VRAM-Bedarf bei QLoRA

    Die Dokumentation von Unsloth präsentiert Benchmark-Ergebnisse für das Finetuning von LLMs auf NVIDIA-GPUs. Im Vergleich zur Kombination aus Hugging Face und FlashAttention-2 erreicht Unsloth bei Modellen wie Llama 3.1 und Llama 3.3 eine Verdopplung der Geschwindigkeit, spart über 70 Prozent VRAM ein und ermöglicht deutlich längere Kontextfenster.

    KI & AI· Sammlung

  • Link:Unsloth AI

    Unsloth veröffentlicht Dynamic-V3.0-GGUF-Quantisierungen für Qwen3.8-27B

    Unsloth AI hat quantisierte GGUF-Versionen des neuen Modells Qwen3.8-27B unter der Apache-2.0-Lizenz bereitgestellt. Die Quantisierungen nutzen das neue Verfahren Dynamic V3.0, das gegenüber anderen Anbietern eine höhere Genauigkeit bei gleicher Dateigröße erzielen soll. Qwen3.8-27B ist ein 27 Milliarden Parameter starkes Vision-Language-Modell mit nativer Bild- und Videoverarbeitung, hybridem DeltaNet- und Attention-Aufbau sowie flexibler Steuerung von Denkprozessen.

    KI & AI· Tool

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.