ArtikelSaeed BabamohamadiNews
Klassische Vision-Language-Action-Modelle (VLAs) verstehen zwar Sprachbefehle und Bildinhalte, erfassen aber physikalische Konsequenzen von Bewegungen oft unzureichend. WAMs verallgemeinern physikalische Dynamiken besser auf unbekannte Objekte und senken den Trainingsaufwand für neue Greifer und Roboterarme deutlich.
Der Schritt von rein semantischer Imitation hin zur gemeinsamen Generierung von Handlung und erwartetem Szenenverlauf löst eine zentrale Schwachstelle bisheriger Robotik-Pipelines. Da NVIDIA Gewichte, Rezepte und Datensätze unter einer kommerziell nutzbaren Lizenz bereitstellt und auf Standardformate wie LeRobotDataset setzt, bietet Cosmos 3 einen praxistauglichen Baustein für autonome Systeme.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Artikel:Moo Jin Kim et al.
Forschende von Stanford, UC Berkeley, Google DeepMind und weiteren Institutionen stellen OpenVLA vor, ein quelloffenes Vision-Language-Action-Modell mit 7 Milliarden Parametern. Das auf 970.000 realen Roboterdemonstrationen trainierte Modell übertrifft geschlossene Vorgänger wie RT-2-X deutlich und lässt sich per LoRA auf handelsüblichen GPUs feinjustieren.
Link:Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti et al.
OpenVLA ist ein quelloffenes Vision-Language-Action-Modell (VLA) mit 7 Milliarden Parametern zur Steuerung von Robotern. Es basiert auf Prismatic-7B, nutzt Llama 2 und wurde auf 970.000 Roboter-Episoden trainiert. Das Modell übertrifft bisherige Generalisten wie Octo und RT-1-X sowie teilweise das proprietäre 55B-Modell RT-2-X.
Artikel:Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan
Forschende stellen BridgeVLA++ vor, ein Vision-Language-Action-Framework für 3D-Roboter-Manipulationen. Aufbauend auf BridgeVLA erweitert das Modell vortrainierte Vision-Language-Modelle (VLMs) um eine Architektur für räumlich-zeitliches Gedächtnis, um vergangene Beobachtungen und Interaktionshistorien effizient einzubeziehen.
Link:Dyna Robotics
Dyna Robotics hat DYNA-2 vorgestellt, ein World-Action-Modell (WAM), das auf über einer Million Stunden egozentrischer menschlicher Videos vortrainiert wurde. Das Modell umgeht den Engpass manueller Teleoperationsdaten und überträgt räumliches Verständnis sowie physische Handlungen direkt auf unterschiedliche Robotersysteme.
Link:Zhe Liu, Jinghua Hou, Yuxiang Lu, et al.
Forschende der University of Hong Kong und von ACE Robotics stellen StreamPI vor. Das Framework erweitert Vision-Language-Action-Modelle (VLAs) wie π0.5 um zeitliche Kontextverarbeitung, ohne neue Modellparameter hinzuzufügen. Durch die paarweise Bindung von Bild- und Textbefehlen sowie ein Trainingsverfahren mit zufälligen Zeitintervallen verbessert StreamPI die Präzision und Robustheit bei der realen Robotersteuerung.
Repository:LMD0311/Awesome-World-Model
Das GitHub-Repository LMD0311/Awesome-World-Model sammelt, dokumentiert und bewertet wissenschaftliche Arbeiten rund um World Models mit Schwerpunkt auf autonomem Fahren und Robotik. Es dient als fortlaufende Ergänzung zur Übersichtsarbeit 'The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey'.
2234Sterne
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
