RepositoryNousResearch/DisTrOSammlung
Klassisches LLM-Training erfordert extrem teure Hochgeschwindigkeits-Netzwerkverbindungen zwischen Rechenzentrums-GPUs. Wenn der Datenbedarf drastisch sinkt, wird verteiltes Vortraining über reguläre Internetverbindungen möglich.
Das Projekt adressiert den Engpass bei der GPU-zu-GPU-Kommunikation. Technologisch baut DisTrO auf DeMo-Optimierung und Rust-Implementierungen (im Psyche-Projekt) auf. In puncto Reife zeigt die Roadmap reale Trainingsläufe bis hin zu einem 40-Milliarden-Parameter-Modell (Consilience 40b) und Produktionscode; das Repository selbst dient jedoch primär als Einstiegspunkt und Dokumentationshub für die zugehörigen Paper und Folgeprojekte.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Nous Research Team
Nous Research stellt mit Psyche eine quelloffene Infrastruktur für das dezentrale Training von Sprachmodellen vor. Das System baut auf den Algorithmen DeMo und DisTrO auf und nutzt die Solana-Blockchain für die Koordination, um ungenutzte Rechenressourcen weltweit zusammenzuschalten.
Artikel:Kyt Dotson
Das KI-Startup Nous Research hat eine Series-A-Finanzierungsrunde über 50 Millionen US-Dollar abgeschlossen, die von Paradigm angeführt wurde. Das Unternehmen nutzt die Solana-Blockchain, um das Training von KI-Modellen über dezentral bereitgestellte Rechenleistung zu organisieren.
Link:Nous Research
Nous Research entwickelt Open-Source-Sprachmodelle sowie Infrastruktur für verteiltes Training. Das Team konzentriert sich auf Modellarchitektur, Datensynthese, Fine-Tuning und Reasoning.
Repository:deepseek-ai/DeepSpec
DeepSpec ist eine Open-Source-Codebasis von DeepSeek zum Trainieren und Evaluieren von Draft-Modellen für spekulatives Dekodieren. Die Suite deckt die gesamte Pipeline ab: Datenvorbereitung, Modelltraining auf Multi-GPU-Knoten und Benchmarking.
7081SternePython
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Link:primeintellect.ai
Prime Intellect bietet einen durchgängigen Stack für das Training, Evaluieren und Bereitstellen eigener KI-Modelle und Agenten. Die Plattform kombiniert On-Demand- und reservierte GPU-Rechenleistung mit Reinforcement-Learning-Frameworks wie Prime-RL und einer quelloffenen Umgebungsbibliothek.
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
