RepositoryNVIDIA/Model-OptimizerTool
Moderne Sprach- und Diffusionsmodelle fordern enorme GPU-Ressourcen bei der Inferenz. ModelOpt standardisiert komplexe Kompressionsverfahren wie W4A4-Quantisierung und Destillation in einer offiziellen NVIDIA-Bibliothek, wodurch Teams Durchsatzsteigerungen und Speicherreduktionen ohne manuelle Formatbrüche umsetzen können.
Das Tool löst die Fragmentierung im Ökosystem der Modelloptimierung, indem es den gesamten Weg vom Rohmodell bis zum fertigen Inferenz-Checkpoint abdeckt. Mit über 5.000 Sternen, Apache-2.0-Lizenz und fortlaufenden Beiträgen zu modernen Verfahren (wie NVFP4-Workflows für Qwen3.6-35B-A3B und Nemotron 3.5 Lightning) ist das Projekt produktionsreif und bildet eine Kernkomponente des NVIDIA-KI-Stacks.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 29. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:Tencent/AngelSlim
AngelSlim ist ein quelloffenes Python-Toolkit von Tencent zur Komprimierung und Beschleunigung großer Sprach- und Multimodalmodelle. Es bietet Methoden für Quantisierung, spekulatives Decoding und Sparse Attention, um ressourcenintensive Modelle wie Hunyuan oder Qwen effizienter zu trainieren und auszuführen.
1627SternePython
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Repository:LMCache/LMCache
LMCache ist ein Open-Source-Projekt unter Apache-2.0-Lizenz, das als spezialisierter Management-Layer für den KV-Cache bei LLM-Inferenz dient. Es optimiert Latenz und Kosten beim Serving von Sprachmodellen auf GPUs von Nvidia und AMD.
11.660SternePython
Repository:MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks
Das GitHub-Repository von Mia's AI Lab bietet eine optimierte vLLM-Serving-Konfiguration für GLM-5.3-Flash mit 4-bpw-EXL3-Quantisierung auf zwei NVIDIA GB10 Systemen.
431SternePython
Repository:syv-ai/qwen38-27b-rtx3090
Das Repository bietet eine optimierte Serving-Lösung, um das Modell Qwen3.8-27B auf einer einzigen Consumer-Grafikkarte (RTX 3090 mit 24 GB VRAM) mit vLLM 0.28.0 und bis zu 150k–262k Kontextlänge zu betreiben.
1142SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
