Runway 发布了名为 Praxis 1 的开源世界动作模型,把他们在视频预训练上的技术积累直接搬到了机器人控制领域。以前训练机器人全靠人工反复演示,数据积累极极慢。Runway 的解法是用海量视频数据来破局。Praxis 1 可以直接从普通视频中学习物理世界的运行规律,理解物体接触时如何运动,甚至看懂任务进行到一半时的状态。在有了这些物理常识后,只要配合极少量的第一人称视角数据,它就能将理解转化为控制力。这个模型和 Runway 的视频生成模型共享同一个底座,视频模型通过生成画面来理解物理规律,而 Praxis 1 则是把这些规律直接用在真实的物理动作上。它最强大的地方在于能够适配任何形态的机器人,且只需几分钟的演示就能上手。Runway 计划在未来几个月开源模型权重,这也给整个机器人学术界和工业界带来了新的想象空间。
#Runway新模型##具身智能##Praxis1# http://t.cn/AXWsUmhu
发布于 上海
