Wissensbasis

Repository:ashhart/TensorFold·7. Okt. 2026

TensorFold: LLM-Inferenz-Engine für Apple Silicon und modernste NVIDIA-GPUs

TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.

1061SternePython

Aus X-Post: MCDMA Enables Bonded Thunderbolt 5 Connections in TensorFold on Apple M5 Ultra

Repository:ashhart/MCDMA·7. Okt. 2026

MCDMA: RDMA-Speicherzugriff zwischen Mac Studio, NVIDIA Spark und AMD Strix Halo

MCDMA ermöglicht Remote Direct Memory Access (RDMA) über heterogene Workstation-Hardware hinweg. Das C-basierte Open-Source-Projekt verbindet Apple-Silicon-Systeme über Thunderbolt mit Linux-Systemen wie NVIDIA DGX Spark und AMD Strix Halo, um verteilte KI-Inferenz zu beschleunigen.

178SterneC

Aus X-Post: MCDMA Enables Bonded Thunderbolt 5 Connections in TensorFold on Apple M5 Ultra

X-Post:Ash Hart·6. Okt. 2026

MCDMA bringt gebündeltes Thunderbolt 5 für TensorFold auf Apple M5 Ultra

Entwickler Ash Hart hat eine Unterstützung für gebündelte Thunderbolt-5-Verbindungen (Bonded Pair) im RDMA-Framework MCDMA vorgestellt. In Kombination mit der Inferenz-Engine TensorFold steigert die parallele Nutzung zweier Kabel auf zwei Apple Mac Studios mit M5 Ultra den Durchsatz für Tensor- und Pipeline-Parallelismus um rund 83 Prozent.

216Lesezeichen24.283Aufrufe