LinkModularTool
Die Entkopplung von proprietären Stacks wie NVIDIAs CUDA oder AMDs ROCm reduziert Vendor-Lock-in. Entwickler und Unternehmen können dieselben Modelle ohne Neuimplementierung auf alternativen Hardware-Architekturen betreiben.
MAX setzt an der Fragmentierung moderner Beschleuniger-Hardware an. Indem Modular eigene Graph-Compiler und in Mojo geschriebene Kernel nutzt, umgeht das System klassische Toolchain-Konflikte und vereinfacht die Bereitstellung im Datacenter. Der hervorgehobene Benchmark auf AMDs MI355x zeigt den strategischen Fokus, Inferenz jenseits dominanter NVIDIA-Infrastrukturen konkurrenzfähig zu machen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Modular
Modular stellt seine Inferenzplattform vor, die KI-Workloads herstellerunabhängig über unterschiedliche Architekturen wie NVIDIA, AMD, TPU, Trainium und Apple Silicon ausführt. Der Stack umfasst das Serving-Framework MAX und die Programmiersprache Mojo.
Link:mojolang.org
Die Programmiersprache Mojo wurde in Version 1.0.0 veröffentlicht und unter der Apache-2.0-Lizenz als Open Source auf GitHub bereitgestellt. Mojo positioniert sich als Systemsprache für heterogene Hardware im KI-Bereich, die hohe Performance mit Python-Interoperabilität kombiniert.
Link:lmcache.ai
LMCache ist eine modulare Open-Source-Infrastruktur für den Key-Value-Cache (KV-Cache) bei LLM-Inferenzen. Das System speichert, komprimiert, durchsucht und teilt vorberechnete KV-Caches über GPU-, CPU- und externe Speicher hinweg, um redundante Prefill-Berechnungen zu minimieren.
Repository:LMCache/LMCache
LMCache ist ein Open-Source-Projekt unter Apache-2.0-Lizenz, das als spezialisierter Management-Layer für den KV-Cache bei LLM-Inferenz dient. Es optimiert Latenz und Kosten beim Serving von Sprachmodellen auf GPUs von Nvidia und AMD.
11.660SternePython
Link:Donato Capitella
Donato Capitella stellt mit den Strix Halo AI Toolboxes eine Sammlung containerisierter Laufzeitumgebungen und Systemkonfigurationen für AMDs Mobilplattform Ryzen AI MAX+ bereit. Die Plattform erlaubt dank Unified Memory bis zu 128 GB gemeinsamen Arbeitsspeicher für lokale KI-Workloads wie LLM-Inferenz, Bildgenerierung und Fine-Tuning.
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
