Wissensbasis

Repository:NVIDIA/Model-Optimizer·29. Sep. 2026

NVIDIA Model Optimizer: Einheitliche Bibliothek für LLM- und Deep-Learning-Kompression

NVIDIA Model Optimizer (ModelOpt) bündelt Methoden zur Modellkompression und Beschleunigung wie Quantisierung, Pruning, Destillation und Speculative Decoding. Die Bibliothek verarbeitet PyTorch-, Hugging-Face- sowie ONNX-Modelle und exportiert optimierte Checkpoints für Inferenz-Engines wie TensorRT-LLM, vLLM und SGLang.

5035SternePython

Aus Video: Trending GitHub Projects: OpenBao, Magnitude, herdr, and Other Open-Source Tools

Artikel:docs.baseten.co·5. Sep. 2026

Baseten-Übersicht: Infrastruktur für Model Inference und Training

Baseten bietet eine Plattform für das Hosting, Deployment und Training von KI-Modellen auf GPU-Infrastruktur. Nutzer können gehostete Modelle über Schnittstellen ansprechen, eigene Modelle auf dedizierten Ressourcen bereitstellen oder Fine-Tuning und Trainings-Jobs durchführen.

Link:spark-arena.com·5. Sep. 2026

Spark Arena: LLM-Performance-Leaderboard auf NVIDIA DGX Spark

Spark Arena bietet ein öffentliches Leaderboard zum Leistungsvergleich von Large Language Models auf NVIDIA DGX Spark Hardware. Die Plattform nutzt Open-Source-Tools, um Benchmarks über verschiedene Runtime-Engines wie vLLM, SGLang, TensorRT-LLM und llama.cpp hinweg transparent abzubilden.

Link:NVIDIA·5. Sep. 2026

NVIDIA DGX Spark Developer Hub: Ressourcen für den GB10 Grace Blackwell Superchip

NVIDIA bündelt im DGX Spark Developer Hub Anleitungen und Playbooks zur Entwicklung von AI Agents und Modellen auf dem GB10 Grace Blackwell Superchip. Die Plattform bietet Schnellstarts für Werkzeuge wie Open-WebUI, ComfyUI und vLLM sowie Anleitungen für Multi-GPU- und Multi-Spark-Setups.

X-Post:0xSero·9. Aug. 2026

Funktionsweise und Trade-offs von KV-Caching bei LLM-Inferenz

Ein technischer Leitfaden von Avi Chawla, geteilt von 0xSero, erklärt die Mechanismen des Key-Value-Cachings (KV-Caching) in Transformern. Das Verfahren verhindert redundante Berechnungen bei der autoregressiven Generierung von Tokens und beschleunigt die Inferenz in der Praxis um etwa das Fünffache, verlagert den Engpass jedoch auf den GPU-Speicher.

343Lesezeichen36.448Aufrufe