Soup: LLM-Fine-Tuning per YAML auf Consumer-GPUs

RepositoryMakazhanAlpamys/SoupTool

Soup (soup-cli) ist ein Open-Source-Werkzeug, mit dem Sprachmodelle über eine einzige YAML-Konfigurationsdatei und einen CLI-Befehl lokal feinjustiert werden können. Durch Layer-Streaming ermöglicht das Tool das Training von 8B-Modellen auf Consumer-Hardware mit nur 4 GB Grafikspeicher.

Das Wichtigste

  1. Ermöglicht Fine-Tuning und Post-Training von LLMs über eine zentrale YAML-Datei ohne komplexe SSH- oder Cluster-Setups.
  2. Nutzt Layer-Streaming, um Modelle mit bis zu 8 Milliarden Parametern auf Notebook-Grafikkarten mit 4 GB VRAM zu trainieren.
  3. Bietet sowohl ein Kommandozeileninterface (CLI) als auch eine Web-UI für Konfiguration und Ablauf.
  4. Basiert auf Python (3.10–3.12) sowie gängigen Ökosystem-Standards wie PyTorch, Hugging Face Transformers, PEFT, LoRA/QLoRA und DPO.
  5. Ermöglicht Exporte und Integrationen für Formate wie GGUF und Plattformen wie Ollama.

Warum das relevant ist

Das Feintunen eigener Modelle scheitert oft an hohen Hardwareanforderungen und unübersichtlichen Toolchains. Soup senkt die Einstiegshürde drastisch, indem es ressourcenschonendes Training direkt auf alltäglicher Entwickler-Hardware verfügbar macht.

Einordnung

Das Projekt adressiert das typische VRAM-Bottleneck im lokalen Modelltraining. Technologisch setzt Soup auf etablierte Open-Source-Komponenten (PyTorch, PEFT, Transformers, QLoRA) und kombiniert diese mit Layer-Streaming, um Speicherbedarf von Berechnungen zu minimieren. Die Zielgruppe umfasst KI-Entwickler, ML-Engineers und experimentierfreudige Entwickler, die ohne teure Cloud-Instanzen spezifische Modelle trainieren wollen. Mit über 7.400 GitHub-Sternen, PyPI-Distribution (soup-cli), CI-Pipelines, Dokumentation und Community-Kanälen wirkt das Projekt trotz seines jungen Alters bereits beachtlich ausgereift und aktiv gepflegt.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 29. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:volotat/mini-AGI

    mini-AGI: Kontinuierliches Lernen auf Byte-Ebene für 8-GB-VRAM-Hardware

    mini-AGI ist ein experimentelles Open-Source-Sprachmodell auf Byte-Ebene, das kontinuierliches Lernen aus einem fortlaufenden Datenstrom (Batch Size 1) auf gewöhnlicher Consumer-Hardware mit 8 GB VRAM demonstriert. Das Modell speichert Gewichte auf der Festplatte und lagert sie nach Bedarf in den GPU-Speicher ein, passt seine Netzwerkarchitektur dynamisch an und vermeidet katastrophales Vergessen.

    793SternePython

    KI & AI· Forschung

  • Repository:LMCache/LMCache

    LMCache: Skalierbare KV-Cache-Verwaltung für LLM-Inferenz

    LMCache ist ein Open-Source-Projekt unter Apache-2.0-Lizenz, das als spezialisierter Management-Layer für den KV-Cache bei LLM-Inferenz dient. Es optimiert Latenz und Kosten beim Serving von Sprachmodellen auf GPUs von Nvidia und AMD.

    11.660SternePython

    KI & AI· Tool

  • Repository:drumih/turbo-fieldfare

    TurboFieldfare: Gemma 4 26B-A4B mit 2 GB RAM auf Apple Silicon

    TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.

    6609SterneSwift

    KI & AI· Tool

Zurück zur Wissensbasis

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.