ArtikelKyt DotsonNews
Große KI-Modelle werden bislang fast ausschließlich in hochgradig zentralisierten Rechenzentren von Branchengrößen wie OpenAI oder DeepSeek trainiert. Dezentrale Ansätze versuchen, Hardware-Engpässe zu umgehen und das Monopol auf teure Servercluster aufzubrechen.
Nous Research kombiniert Distributed Computing mit Blockchain-Anreizen, begegnet der Skepsis gegenüber Krypto-Projekten jedoch mit wissenschaftlicher Forschung. Die eigentliche technische Hürde bei dezentralem Training – die enorme Netzwerk-Latenz zwischen einzelnen Knoten – adressiert das Team mit Nous Distro, indem Synchronisationsschritte reduziert werden. Ob dieser Ansatz mit gigantischen, eng gekoppelten Clustern skalierungstechnisch konkurrieren kann, müssen künftige Tests größerer Modelle zeigen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Nous Research Team
Nous Research stellt mit Psyche eine quelloffene Infrastruktur für das dezentrale Training von Sprachmodellen vor. Das System baut auf den Algorithmen DeMo und DisTrO auf und nutzt die Solana-Blockchain für die Koordination, um ungenutzte Rechenressourcen weltweit zusammenzuschalten.
Repository:NousResearch/DisTrO
DisTrO (Distributed Training Over-The-Internet) von Nous Research ist eine Familie verteilter Optimierer mit niedriger Latenz. Sie senkt die Kommunikationsanforderungen zwischen GPUs um drei bis vier Größenordnungen.
1058Sterne
Link:primeintellect.ai
Prime Intellect bietet einen durchgängigen Stack für das Training, Evaluieren und Bereitstellen eigener KI-Modelle und Agenten. Die Plattform kombiniert On-Demand- und reservierte GPU-Rechenleistung mit Reinforcement-Learning-Frameworks wie Prime-RL und einer quelloffenen Umgebungsbibliothek.
Link:Nous Research
Nous Research entwickelt Open-Source-Sprachmodelle sowie Infrastruktur für verteiltes Training. Das Team konzentriert sich auf Modellarchitektur, Datensynthese, Fine-Tuning und Reasoning.
Artikel:Wikipedia-Autoren
Sakana AI ist ein im Juli 2023 in Tokio gegründetes KI-Unternehmen, das von David Ha, Ren Ito und dem ehemaligen Google-Forscher Llion Jones ins Leben gerufen wurde. Das Startup konzentriert sich auf kollektive Intelligenz und evolutionäre Methoden zur Modellentwicklung.
Artikel:NVIDIA et al.
Ein Forschungsteam von NVIDIA hat eine Methode vorgestellt, um Large Language Models stabil und akkurat im 4-Bit-Gleitkommaformat NVFP4 vorzutrainieren. Zur Validierung trainierten die Forscher ein Modell mit 12 Milliarden Parametern auf 10 Billionen Tokens – laut Autoren der bisher längste dokumentierte Trainingslauf in 4-Bit-Präzision. Die Ergebnisse zeigen vergleichbare Trainingsverluste und Genauigkeiten wie bei einer FP8-Baseline.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
