Repository:NVIDIA/Model-Optimizer
NVIDIA Model Optimizer: Einheitliche Bibliothek für LLM- und Deep-Learning-Kompression
NVIDIA Model Optimizer (ModelOpt) bündelt Methoden zur Modellkompression und Beschleunigung wie Quantisierung, Pruning, Destillation und Speculative Decoding. Die Bibliothek verarbeitet PyTorch-, Hugging-Face- sowie ONNX-Modelle und exportiert optimierte Checkpoints für Inferenz-Engines wie TensorRT-LLM, vLLM und SGLang.
5035SternePython
Aus Video: Trending GitHub Projects: OpenBao, Magnitude, herdr, and Other Open-Source Tools
