Wissensbasis

Repository:Tencent/AngelSlim·5. Sep. 2026

Tencent AngelSlim: Umfassendes Toolkit zur Modellkomprimierung und Beschleunigung von LLMs

AngelSlim ist ein quelloffenes Python-Toolkit von Tencent zur Komprimierung und Beschleunigung großer Sprach- und Multimodalmodelle. Es bietet Methoden für Quantisierung, spekulatives Decoding und Sparse Attention, um ressourcenintensive Modelle wie Hunyuan oder Qwen effizienter zu trainieren und auszuführen.

1627SternePython

Aus Video: Weekly AI Updates: Local Models, GPT-6 Astra, and Agent Architectures

Artikel:NVIDIA et al.·5. Sep. 2026

LLM-Pretraining in 4-Bit: NVIDIA stellt NVFP4-Trainingsansatz vor

Ein Forschungsteam von NVIDIA hat eine Methode vorgestellt, um Large Language Models stabil und akkurat im 4-Bit-Gleitkommaformat NVFP4 vorzutrainieren. Zur Validierung trainierten die Forscher ein Modell mit 12 Milliarden Parametern auf 10 Billionen Tokens – laut Autoren der bisher längste dokumentierte Trainingslauf in 4-Bit-Präzision. Die Ergebnisse zeigen vergleichbare Trainingsverluste und Genauigkeiten wie bei einer FP8-Baseline.

Repository:syv-ai/qwen38-27b-rtx3090·5. Sep. 2026

Qwen3.8-27B auf einer RTX 3090: Hochleistungs-Serving mit vLLM

Das Repository bietet eine optimierte Serving-Lösung, um das Modell Qwen3.8-27B auf einer einzigen Consumer-Grafikkarte (RTX 3090 mit 24 GB VRAM) mit vLLM 0.28.0 und bis zu 150k–262k Kontextlänge zu betreiben.

1142SternePython

Aus Video: AI Weekly Updates: Open-Source Model Surge, Agent Harnesses, and Meta's AI Reality Check

X-Post:Ahmad·22. Aug. 2026

Praxisorientierte Roadmap für LLM-Engineering (Ausgabe 2026)

Ahmad (@TheAhmadOsman) teilt einen strukturierten, projektbasierten Leitfaden für LLM-Engineering. Ziel ist es, Sprachmodelle nicht nur theoretisch zu verstehen, sondern fundamentale Bausteine wie Tokenizer, Attention, Caches, Serving und Evaluierung von Grund auf selbst zu implementieren und zu testen.

975Lesezeichen18.522Aufrufe

X-Post:0xSero·27. Juli 2026

LLM-Benchmark-Ergebnisse bei 3-Bit-Quantisierung

Ein Beitrag auf X diskutiert unerwartet hohe Leistungswerte eines Sprachmodells bei 3-Bit-Quantisierung (exl-3bits). Bei einem Benchmark-Score von 78,6 % wurden Durchsätze von 100 Token pro Sekunde bei einer Spitzenleistungsaufnahme von 1400 Watt erzielt.

36Lesezeichen11.045Aufrufe