Repositoryashhart/MCDMATool
Große KI-Modelle übersteigen oft den Speicher einzelner Arbeitsstationen. Herkömmliche Netzwerkprotokolle wie TCP verursachen hohe Latenzen und CPU-Overhead. Durch RDMA über Thunderbolt und Hochgeschwindigkeits-NICs lassen sich Desktop- und Workstation-Rechner flexibel zusammenschließen, ohne teure Cluster-Infrastruktur aufbauen zu müssen.
Das Projekt befindet sich in einer frühen, aber funktionsfähigen Phase (CLI 1.2.0, macOS-Treiber 0.1.18). Während Tests zwischen zwei Macs sowie zwischen NVIDIA Spark und AMD Strix Halo hardwareseitig verifiziert sind, steht die physische Validierung der Strix-zu-Mac-Verbindung noch aus. Durch die geringe Latenz eignet sich MCDMA vor allem für verteilte Inferenz-Szenarien auf High-End-Entwicklergeräten.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 7. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:Ash Hart
Entwickler Ash Hart hat eine Unterstützung für gebündelte Thunderbolt-5-Verbindungen (Bonded Pair) im RDMA-Framework MCDMA vorgestellt. In Kombination mit der Inferenz-Engine TensorFold steigert die parallele Nutzung zweier Kabel auf zwei Apple Mac Studios mit M5 Ultra den Durchsatz für Tensor- und Pipeline-Parallelismus um rund 83 Prozent.
216Lesezeichen24.283Aufrufe
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Link:Apple
Apple hat die neue Generation des Mac Studio mit M5-Max- und M5-Ultra-Chips vorgestellt. Das System zielt auf anspruchsvolle Entwicklungs-, Rendering- und lokale KI-Workloads ab.
VideoVideo:Heavy Metal Cloud
Heavy Metal Cloud testet die DGX-Spark-Varianten von Gigabyte und ASUS mit Grace-Blackwell-Architektur für lokales KI-Inference und Medien-Rendering. Neben einer Schritt-für-Schritt-Anleitung für Docker, vLLM und ComfyUI zeigt das Video Vor- und Nachteile gegenüber Apples Mac Studio.
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Link:Donato Capitella
Donato Capitella stellt mit den Strix Halo AI Toolboxes eine Sammlung containerisierter Laufzeitumgebungen und Systemkonfigurationen für AMDs Mobilplattform Ryzen AI MAX+ bereit. Die Plattform erlaubt dank Unified Memory bis zu 128 GB gemeinsamen Arbeitsspeicher für lokale KI-Workloads wie LLM-Inferenz, Bildgenerierung und Fine-Tuning.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
