Repository:google-ai-edge/LiteRT-LM
LiteRT-LM: Googles Open-Source-Inferenz-Framework für On-Device-LLMs
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
Aus Video: Weekly AI Update: New Models, Agent Workflows, and Infrastructure Shifts