Psyche: Dezentrales KI-Training auf heterogener Hardware von Nous Research

LinkNous Research TeamAnkündigung

Nous Research stellt mit Psyche eine quelloffene Infrastruktur für das dezentrale Training von Sprachmodellen vor. Das System baut auf den Algorithmen DeMo und DisTrO auf und nutzt die Solana-Blockchain für die Koordination, um ungenutzte Rechenressourcen weltweit zusammenzuschalten.

Das Wichtigste

  1. Kompression via DisTrO: Nutzt Prinzipien der JPEG-Kompression mittels Discrete Cosine Transform (DCT) auf Momentum-Tensoren, um das Datenvolumen bei der Gradientenübertragung drastisch zu reduzieren.
  2. 1-Bit-Quantisierung: Psyche überträgt lediglich das Vorzeichen (+1 oder -1) der stärksten DCT-Komponenten, was die Datenmenge ohne wesentlichen Informationsverlust um mehr als das Dreifache komprimiert.
  3. Überlapptes Training: Neue Trainingsschritte starten bereits während der Übertragung der vorherigen Ergebnisse, wodurch Kommunikationslatenzen bei größeren Modellen nicht mehr als Flaschenhals wirken.
  4. Drei Kernakteure: Ein Coordinator als Smart Contract auf Solana für Statusverwaltung und Zufallsgenerierung, Clients (GPU-Knoten) für Training, Witnessing und Verifikation sowie Data Provider für Trainingsdaten.
  5. Epochen-basiertes On- und Offboarding: Flexible Teilnahmezyklen erlauben es Rechenkapazitäten, kurzfristig beizutreten oder auszusteigen, was Opportunitätskosten minimiert.

Warum das relevant ist

Das Vortraining von LLMs ist bislang fast ausschließlich großen Technologiekonzernen mit gigantischen Rechenzentren vorbehalten. Psyche senkt die Bandbreitenhürden so stark, dass auch verteilte, heterogene Consumer- und Cloud-GPUs gemeinsam an einem Modell trainieren können, ohne dass Übertragungsengpässe den Fortschritt blockieren.

Einordnung

Das Design von Psyche adressiert zwei Hauptprobleme verteilter Machine-Learning-Setups: extreme Netzwerklatenz und das Vertrauensproblem in offenen P2P-Netzwerken. Die Überlappung von Berechnung und Kommunikation stellt sicher, dass GPUs nicht untätig auf Updates warten. Durch die Verlagerung von Koordination und Verifikationsbeweisen (via Bloom-Filter) auf Solana vermeidet Nous Research zentrale Ausfallpunkte. Dennoch bleibt abzuwarten, wie robust sich das System gegen bösartige Akteure und schwankende Netzwerkkonnektivität in freier Wildbahn bewährt.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:NousResearch/DisTrO

    DisTrO: Verteiltes KI-Training über das Internet

    DisTrO (Distributed Training Over-The-Internet) von Nous Research ist eine Familie verteilter Optimierer mit niedriger Latenz. Sie senkt die Kommunikationsanforderungen zwischen GPUs um drei bis vier Größenordnungen.

    1058Sterne

    KI & AI· Sammlung

  • Artikel:Kyt Dotson

    Nous Research sichert sich 50 Millionen Dollar für dezentrales KI-Training

    Das KI-Startup Nous Research hat eine Series-A-Finanzierungsrunde über 50 Millionen US-Dollar abgeschlossen, die von Paradigm angeführt wurde. Das Unternehmen nutzt die Solana-Blockchain, um das Training von KI-Modellen über dezentral bereitgestellte Rechenleistung zu organisieren.

    KI & AI· News

  • Link:primeintellect.ai

    Prime Intellect: Plattform für dezentrales KI-Training, RL-Umgebungen und Inferenz

    Prime Intellect bietet einen durchgängigen Stack für das Training, Evaluieren und Bereitstellen eigener KI-Modelle und Agenten. Die Plattform kombiniert On-Demand- und reservierte GPU-Rechenleistung mit Reinforcement-Learning-Frameworks wie Prime-RL und einer quelloffenen Umgebungsbibliothek.

    KI & AI· Tool

  • Link:Nous Research

    Hermes Agent: Open-Source-KI-Agent von Nous Research

    Nous Research hat Hermes Agent v0.21.0 unter MIT-Lizenz vorgestellt. Die Anwendung fungiert als erweiterbarer KI-Agent, der auf mehreren Betriebssystemen und Kommunikationsplattformen läuft und über persistentes Gedächtnis sowie isolierte Ausführungsumgebungen verfügt.

    KI & AI· Tool

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.