Psyche: Dezentrales KI-Training auf heterogener Hardware von Nous Research
Link·Nous Research Team··Ankündigung
Nous Research stellt mit Psyche eine quelloffene Infrastruktur für das dezentrale Training von Sprachmodellen vor. Das System baut auf den Algorithmen DeMo und DisTrO auf und nutzt die Solana-Blockchain für die Koordination, um ungenutzte Rechenressourcen weltweit zusammenzuschalten.
Das Wichtigste
1Kompression via DisTrO: Nutzt Prinzipien der JPEG-Kompression mittels Discrete Cosine Transform (DCT) auf Momentum-Tensoren, um das Datenvolumen bei der Gradientenübertragung drastisch zu reduzieren.
21-Bit-Quantisierung: Psyche überträgt lediglich das Vorzeichen (+1 oder -1) der stärksten DCT-Komponenten, was die Datenmenge ohne wesentlichen Informationsverlust um mehr als das Dreifache komprimiert.
3Überlapptes Training: Neue Trainingsschritte starten bereits während der Übertragung der vorherigen Ergebnisse, wodurch Kommunikationslatenzen bei größeren Modellen nicht mehr als Flaschenhals wirken.
4Drei Kernakteure: Ein Coordinator als Smart Contract auf Solana für Statusverwaltung und Zufallsgenerierung, Clients (GPU-Knoten) für Training, Witnessing und Verifikation sowie Data Provider für Trainingsdaten.
5Epochen-basiertes On- und Offboarding: Flexible Teilnahmezyklen erlauben es Rechenkapazitäten, kurzfristig beizutreten oder auszusteigen, was Opportunitätskosten minimiert.
Warum das relevant ist
Das Vortraining von LLMs ist bislang fast ausschließlich großen Technologiekonzernen mit gigantischen Rechenzentren vorbehalten. Psyche senkt die Bandbreitenhürden so stark, dass auch verteilte, heterogene Consumer- und Cloud-GPUs gemeinsam an einem Modell trainieren können, ohne dass Übertragungsengpässe den Fortschritt blockieren.
Einordnung
Das Design von Psyche adressiert zwei Hauptprobleme verteilter Machine-Learning-Setups: extreme Netzwerklatenz und das Vertrauensproblem in offenen P2P-Netzwerken. Die Überlappung von Berechnung und Kommunikation stellt sicher, dass GPUs nicht untätig auf Updates warten. Durch die Verlagerung von Koordination und Verifikationsbeweisen (via Bloom-Filter) auf Solana vermeidet Nous Research zentrale Ausfallpunkte. Dennoch bleibt abzuwarten, wie robust sich das System gegen bösartige Akteure und schwankende Netzwerkkonnektivität in freier Wildbahn bewährt.
DisTrO (Distributed Training Over-The-Internet) von Nous Research ist eine Familie verteilter Optimierer mit niedriger Latenz. Sie senkt die Kommunikationsanforderungen zwischen GPUs um drei bis vier Größenordnungen.
Das KI-Startup Nous Research hat eine Series-A-Finanzierungsrunde über 50 Millionen US-Dollar abgeschlossen, die von Paradigm angeführt wurde. Das Unternehmen nutzt die Solana-Blockchain, um das Training von KI-Modellen über dezentral bereitgestellte Rechenleistung zu organisieren.
Nous Research entwickelt Open-Source-Sprachmodelle sowie Infrastruktur für verteiltes Training. Das Team konzentriert sich auf Modellarchitektur, Datensynthese, Fine-Tuning und Reasoning.
Prime Intellect bietet einen durchgängigen Stack für das Training, Evaluieren und Bereitstellen eigener KI-Modelle und Agenten. Die Plattform kombiniert On-Demand- und reservierte GPU-Rechenleistung mit Reinforcement-Learning-Frameworks wie Prime-RL und einer quelloffenen Umgebungsbibliothek.
Nous Research hat Hermes Agent v0.21.0 unter MIT-Lizenz vorgestellt. Die Anwendung fungiert als erweiterbarer KI-Agent, der auf mehreren Betriebssystemen und Kommunikationsplattformen läuft und über persistentes Gedächtnis sowie isolierte Ausführungsumgebungen verfügt.
Unsloth bietet ein Open-Source-Framework sowie eine Desktop-App, um KI-Modelle auf eigener Hardware auszuführen und zu trainieren. Über die Funktion 'unsloth start' lassen sich Coding-Agenten wie Claude Code oder Codex direkt an lokale Modelle anbinden.