MCDMA bringt gebündeltes Thunderbolt 5 für TensorFold auf Apple M5 Ultra

X-PostAsh HartAnkündigung

Entwickler Ash Hart hat eine Unterstützung für gebündelte Thunderbolt-5-Verbindungen (Bonded Pair) im RDMA-Framework MCDMA vorgestellt. In Kombination mit der Inferenz-Engine TensorFold steigert die parallele Nutzung zweier Kabel auf zwei Apple Mac Studios mit M5 Ultra den Durchsatz für Tensor- und Pipeline-Parallelismus um rund 83 Prozent.

Das Wichtigste

  1. MCDMA unterstützt Dual-Pipe-RDMA über zwei Thunderbolt-5-Kabel zwischen Macs mit macOS 27.0.
  2. Der Streaming-Durchsatz steigt von circa 6,4–6,67 GB/s auf 11,72–12,06 GB/s, was einem Durchsatzplus von bis zu 83 Prozent entspricht.
  3. In TensorFold verkürzt das Setup die Time-to-First-Token bei Abfragen großer Modelle wie Qwen3.8 Flash Next bei 8k und 32k Tokens um weitere 1,5 bis 2 Prozent.
  4. Die Decode-Latenz profitiert kaum vom Kabel-Bonding (Zuwachs nur 0,5–1 Prozent), da kleine Token-Übertragungen primär latenz- statt bandbreitenlimitiert sind.
  5. Getestet wurde der Aufbau auf zwei M5-Ultra-Systemen; der Code ist bereits auf GitHub freigegeben.

Warum das relevant ist

Die Verteilung großer KI-Modelle auf mehrere Endgeräte scheiterte im Heimbereich oder kleineren Laboren bislang oft an den Verbindungskapazitäten zwischen Rechnern. Schnelle Peer-to-Peer-Übertragungen via Thunderbolt 5 überwinden diese Hürde auf Apple-Hardware zunehmend und machen Multi-Mac-Setups für lokale Workloads ohne teure InfiniBand-Netzwerke praktikabler.

Einordnung

Das Striping von RDMA-Paketen über zwei parallele Thunderbolt-5-Schnittstellen zeigt eine nahezu lineare Skalierung der reinen Transferrate (Faktor 1,81 bis 1,83). Bei der tatsächlichen Modellinferenz schlägt sich das vor allem in Bandbreiten-intensiven Phasen nieder, etwa beim Prefill langer Kontexte. In der nachfolgenden Dekodierungsphase, in der fortlaufend kleine Payloads übertragen werden, bleibt der Gewinn minimal, weil Latenzen und lokale Arbeitsspeicherbandbreiten dominieren.

Original-Post

Ash Hart

@ashxhart · 6. Oktober 2026

MCDMA now unlocks bonded pair TB5 connections within TensorFold, which adds 83% uplift in throughput for Tensor and Pipeline parallelism. Thank you, @digitalix, for letting me try this on your two @apple M5U studios. t.co/VfyMCFNcqG t.co/WWS5q0NKoF t.co/Z2jobonlco

409 Likes44 Antworten216 Lesezeichen24.283 Aufrufe

Auf X ansehen
Weitere Posts im Thread (10)
  1. @Soveryn_AI @digitalix @Apple Already did with not much improvement due to memory bandwidth limits.
  2. @CerebralCoding_ @digitalix @Apple It should work just ask your agent to set it up :)
  3. @cryptosibbers @digitalix @Apple yeah it's already in pushed on gh.
  4. @arthurlee @digitalix @Apple Nothing yet but we can create you something if you’d like?
  5. @shesaidmewakeup @digitalix @Apple I’ve only tested two cables so far
  6. @ElGuiscardo @digitalix @Apple Yes
  7. @JamesMcPherson @MiaAI_lab @digitalix @Apple t.co/qGQkBfHOFf
  8. @wong_wyz @digitalix @Apple Yes.
  9. @mHatak @digitalix @Apple Yeah should do, not tested it.
  10. @JoesInvestments @digitalix @Apple Just doing my bit to help local AI.
Ausgewählte Antworten (5)
  • @JoesInvestments @ashxhart @digitalix @Apple At some point, @Apple will need to consider hiring you. You're single handedly moving the needle on sales when you ship code like this. Incredible.
  • @JamesMcPherson @ashxhart @MiaAI_lab @digitalix @Apple This is a big deal. Well done. Just a week ago I had storms of people telling me that Apple had proven this was impossible. Impossible is a funny word in the age of AI.
  • @CerebralCoding_ @ashxhart @digitalix @Apple Would love to see how it behaves with an M5 Ultra + M5 Max (since that’s the setup I’m aiming for 🤣)
  • @JoshuaSWarren @ashxhart @volatilemarkts @digitalix @Apple I absolutely will be testing and/or PRing any tweaks needed to get this working with Omarchy Linux on M5U once my M5U arrives in (checks order status) 16-18 weeks 😒
  • @xLouisHein @ashxhart @digitalix @Apple This is amazing, great work!!

Erwähnte Links

Links und Tools aus diesem Beitrag

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 7. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:ashhart/MCDMA

    MCDMA: RDMA-Speicherzugriff zwischen Mac Studio, NVIDIA Spark und AMD Strix Halo

    MCDMA ermöglicht Remote Direct Memory Access (RDMA) über heterogene Workstation-Hardware hinweg. Das C-basierte Open-Source-Projekt verbindet Apple-Silicon-Systeme über Thunderbolt mit Linux-Systemen wie NVIDIA DGX Spark und AMD Strix Halo, um verteilte KI-Inferenz zu beschleunigen.

    178SterneC

    KI & AI· Tool

  • Link:Apple

    Apple kündigt Mac Studio mit M5 Max und M5 Ultra an

    Apple hat die neue Generation des Mac Studio mit M5-Max- und M5-Ultra-Chips vorgestellt. Das System zielt auf anspruchsvolle Entwicklungs-, Rendering- und lokale KI-Workloads ab.

    KI & AI· Ankündigung

  • Repository:ashhart/TensorFold

    TensorFold: LLM-Inferenz-Engine für Apple Silicon und modernste NVIDIA-GPUs

    TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.

    1061SternePython

    KI & AI· Tool

  • Link:Apple

    Apple stellt neuen Mac mini mit M6- und M5-Pro-Chips vor

    Apple hat eine überarbeitete Generation des Mac mini mit M6- und M5-Pro-Chips angekündigt. Das ultrakompakte Gerät im Format 5 mal 5 Zoll zielt besonders auf lokale KI-Berechnungen, Entwicklungs-Workflows und kompakte Cluster ab.

    KI & AI· Ankündigung

  • X-Post:Xaden Ryan

    Hybrides LLM-Inferenz-Setup: DGX Sparks für Prefill und M3 Ultra für Decode

    Xaden Ryan plant ein Experiment zur Aufteilung von LLM-Workloads: Zwei DGX Sparks sollen den rechenintensiven Prefill-Schritt übernehmen, während ein Apple M3 Ultra mit 512 GB Unified Memory die Token-Generierung durchführt. Ziel ist es, lange Kontext-Prompts für GLM-5.3 zu beschleunigen.

    25Lesezeichen8838Aufrufe

    KI & AI· Diskussion

  • Repository:drumih/turbo-fieldfare

    TurboFieldfare: Gemma 4 26B-A4B mit 2 GB RAM auf Apple Silicon

    TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.

    6609SterneSwift

    KI & AI· Tool

Zurück zur Wissensbasis

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.