Repositoryashhart/TensorFoldTool
Für Teams, die lokale oder On-Premise-LLMs betreiben, schließt TensorFold die Lücke zwischen hardwarenaher Beschleunigung (MLX auf dem Mac, moderne CUDA-Architekturen) und standardisierten API-Schnittstellen. Durch integrierte Drafting-Methoden lässt sich der Inferenz-Durchsatz für aktuelle Modellgenerationen optimieren.
TensorFold richtet sich an Entwickler und ML-Engineers, die performante lokale LLM-Inferenz ohne Bindung an proprietäre Cloud-APIs suchen. Technisch setzt das Tool auf Python, Apple MLX und CUDA mit Fokus auf modernen Architekturen ab Ada Lovelace (RTX 30 wird explizit abgewiesen). Mit über 1.000 Sternen auf GitHub und Apache-2.0-Lizenz befindet sich das Projekt in aktiver Entwicklung; der Reifegrad ist fortgeschritten, weist jedoch experimentelle Features auf (manche Builds für B200 oder EXL3 sind noch nicht auf allen Zielkarten physisch verifiziert).
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 7. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:drumih/turbo-fieldfare
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
Repository:ashhart/MCDMA
MCDMA ermöglicht Remote Direct Memory Access (RDMA) über heterogene Workstation-Hardware hinweg. Das C-basierte Open-Source-Projekt verbindet Apple-Silicon-Systeme über Thunderbolt mit Linux-Systemen wie NVIDIA DGX Spark und AMD Strix Halo, um verteilte KI-Inferenz zu beschleunigen.
178SterneC
Repository:NVIDIA/Model-Optimizer
NVIDIA Model Optimizer (ModelOpt) bündelt Methoden zur Modellkompression und Beschleunigung wie Quantisierung, Pruning, Destillation und Speculative Decoding. Die Bibliothek verarbeitet PyTorch-, Hugging-Face- sowie ONNX-Modelle und exportiert optimierte Checkpoints für Inferenz-Engines wie TensorRT-LLM, vLLM und SGLang.
5035SternePython
Link:drumih
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
Repository:LMCache/LMCache
LMCache ist ein Open-Source-Projekt unter Apache-2.0-Lizenz, das als spezialisierter Management-Layer für den KV-Cache bei LLM-Inferenz dient. Es optimiert Latenz und Kosten beim Serving von Sprachmodellen auf GPUs von Nvidia und AMD.
11.660SternePython
Repository:FlashML-org/FreeToken
FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.
11.702SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
