i陆三金
24-12-19 09:46 微博认证:AI博主

Genesis ,由卡内基梅隆、斯坦福、MIT、英伟达、北大、清华等超过 20 个研究实验室合作,历经 2 年大规模研究的成果——一个能够生成 4D 动态世界的生成式物理引擎,专为通用机器人、具身人工智能和物理人工智能应用而设计。

Genesis 支持模拟多种物理现象。项目从零开始开发了一个统一的物理引擎,集成了各种最先进的物理求解器(MPM、SPH、FEM、刚体、PBD 等),能够模拟广泛的材料:刚体、铰接体、布料、液体、烟雾、可变形体、薄壳材料、弹性/塑性体、机器人肌肉等。

Genesis 主要特性:
- 一个从零开始重新构建的通用物理引擎,能够模拟广泛的材料和物理现象。
- 一个轻量级、超快、符合 Python 风格且用户友好的机器人仿真平台。
- 一个强大且快速的逼真渲染系统。
- 一个生成式数据引擎,能将用户提示的自然语言描述转化为多种形式的数据。

Genesis 可生成以下类型数据:
- 物理上精确且空间一致的视频
- 相机运动与参数
- 人类与动物角色动作
- 机器人操作与移动策略,可部署于现实世界
- 完全交互式 3D 场景
- 开放世界关节物体生成
- 语音音频、面部动画与情感

Genesis 的物理引擎由基于 VLM 生成的智能体驱动,该智能体利用模拟基础设施提供的 API 作为工具,构建 4D 动态世界,这些世界随后可作为提取多种数据模式的基础数据源。结合生成相机和物体运动的模块,Genesis 能够生成物理上精确且视角一致的视频及其他数据模式。

开源地址: http://t.cn/A6mDT2At
项目地址: http://t.cn/A6mDT2Aq
文档: http://t.cn/A6mDT2Ac http://t.cn/A6mDT4YT

发布于 北京