Repositorymw00/project-mayaTool
Entwickler und Unternehmen können State-of-the-Art-Riesenmodelle nun datenschutzkonform und kostengünstig im eigenen Rechenzentrum oder auf Workstations betreiben, ohne sensible Prompts an Cloud-Anbieter zu senden.
Project Maya von Peasant Smith (@mw00) und Co-Maintainer @needmorevram löst ein zentrales Infrastrukturproblem: Modelle mit Hunderten Milliarden Parametern erforderten bislang teure Enterprise-Cluster. Maya macht Architekturen wie DeepSeek-V4.1-Flash (748B MoE), MiniMax-M3.1-Flash (428B MoE) und GLM-5.3-Flash (321B MoE) auf Workstations lauffähig. Kern des Systems ist ein automatisches, mehrstufiges Tiering. Das Tool analysiert die Bandbreiten von GPU, CPU, System-RAM und NVMe-SSD und verschiebt MoE-Experten dynamisch im laufenden Dialog: Häufig adressierte Gewichte verbleiben im VRAM, die nächste Ebene im Arbeitsspeicher und inaktive Blöcke auf der SSD. Das Projekt umfasst neben der CUDA-Engine einen eigenen Server mit Web-Dashboard, Quantisierungstools und Endpunkten, die drop-in zu APIs von OpenAI und Anthropic kompatibel sind. Der Reifegrad ist vielversprechend: Mit über 2.000 GitHub-Stars, MIT-Lizenz und fertigen GGUF-Quantisierungen auf HuggingFace existiert eine aktive Basis. Allerdings sind AMD-Unterstützung und Windows-Betrieb ausdrücklich als experimentell eingestuft, und trotz Offloading bleibt leistungsstarke Hardware mit viel RAM und extrem schnellen SSDs zwingende Voraussetzung.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 28. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Repository:JustVugg/colibri
Colibrì ist eine leichtgewichtige Open-Source-Inferenz-Engine in reinem C ohne externe Abhängigkeiten, die riesige Mixture-of-Experts-Modelle (MoE) von 744 Milliarden bis 2,8 Billionen Parametern auf gewöhnlicher Consumer- und heterogener Hardware ausführt. Durch mehrstufiges Speichermanagement (AI Memory Multitiering) werden Experten dynamisch von der Festplatte gestreamt.
37.671SterneC
Repository:MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks
Das GitHub-Repository von Mia's AI Lab bietet eine optimierte vLLM-Serving-Konfiguration für GLM-5.3-Flash mit 4-bpw-EXL3-Quantisierung auf zwei NVIDIA GB10 Systemen.
431SternePython
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Repository:MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark
Ein Open-Source-Launcher und Docker-Setup, mit dem DeepSeek V4 Flash 0731 (EXL3) auf einer einzelnen NVIDIA DGX Spark mit 128 GiB Unified Memory ausgeführt werden kann.
328SternePython
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Ein Teil von diesem Inhalt wurde mit KI gemacht.
