6 Einträge
Schlagwort: kv-cacheRepository:LMCache/LMCache
LMCache ist ein Open-Source-Projekt unter Apache-2.0-Lizenz, das als spezialisierter Management-Layer für den KV-Cache bei LLM-Inferenz dient. Es optimiert Latenz und Kosten beim Serving von Sprachmodellen auf GPUs von Nvidia und AMD.
11.660SternePython
Aus Video: Weekly AI Updates: Local Models, GPT-6 Astra, and Agent Architectures
X-Post:Mia
Mia (@MiaAI_lab) hat ein Performance-Update für das Modell Qwen3.8 Flash Next auf einem einzelnen DGX Spark vorgestellt. Die Aktualisierung steigert die Generierungsrate auf bis zu 108 Tokens pro Sekunde bei mehreren Streams und erweitert den KV-Cache auf 1M.
520Lesezeichen75.709Aufrufe
Link:lmcache.ai
LMCache ist eine modulare Open-Source-Infrastruktur für den Key-Value-Cache (KV-Cache) bei LLM-Inferenzen. Das System speichert, komprimiert, durchsucht und teilt vorberechnete KV-Caches über GPU-, CPU- und externe Speicher hinweg, um redundante Prefill-Berechnungen zu minimieren.
Aus Video: Weekly AI Updates: Local Models, GPT-6 Astra, and Agent Architectures
Repository:hhhuang/CAG
Das Open-Source-Repository CAG stellt Cache-Augmented Generation als schlanke Alternative zu Retrieval-Augmented Generation (RAG) vor. Statt Dokumente zur Laufzeit über Vektordatenbanken abzurufen, wird der gesamte Wissensbestand vorab in das Kontextfenster geladen und als KV-Cache vorgehalten.
1540SternePython
X-Post:Ahmad
Ahmad (@TheAhmadOsman) teilt einen strukturierten, projektbasierten Leitfaden für LLM-Engineering. Ziel ist es, Sprachmodelle nicht nur theoretisch zu verstehen, sondern fundamentale Bausteine wie Tokenizer, Attention, Caches, Serving und Evaluierung von Grund auf selbst zu implementieren und zu testen.
975Lesezeichen18.522Aufrufe
X-Post:0xSero
Ein technischer Leitfaden von Avi Chawla, geteilt von 0xSero, erklärt die Mechanismen des Key-Value-Cachings (KV-Caching) in Transformern. Das Verfahren verhindert redundante Berechnungen bei der autoregressiven Generierung von Tokens und beschleunigt die Inferenz in der Praxis um etwa das Fünffache, verlagert den Engpass jedoch auf den GPU-Speicher.
343Lesezeichen36.448Aufrufe
6 von 6 angezeigt
Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
