这个单图生成可交互游戏/视频的世界模型,据说能在 5090 上跑到 16 FPS,感觉初步具备单机可玩性了?但是说是用 wan 2.2 训练的,不知道它的世界模型推理是否足够可靠?🧐
DreamX-World:通用交互式世界模型,支持可控探索、长视频生成和世界事件编辑
DreamX-World 1.0 是一个文本/图像到视频的交互式世界模型。它做的不是普通视频生成,而是让用户或智能体在生成世界里用相机动作导航、回到之前看过的区域、触发 prompt 描述的事件,比如环境变化、多事件组合、第一/第三人称移动等。
它的几个关键点:
- 长时序生成:支持 autoregressive rollout,能生成上百帧甚至 1 分钟级视频,并专门处理长视频里常见的颜色、风格、身份漂移。
- World Memory:用几何引导的记忆检索,在相机重新看向旧区域时找回早期画面,维持场景布局、物体身份和局部外观。
- Promptable Events:除了前进、转向这类相机控制,还能用文字触发世界事件,支持单事件和组合事件。
- 训练数据混合:用了 Unreal Engine 数据、游戏录像、真实世界视频,并结合相机估计和数据过滤,让模型学到可交互的动态场景。
- 工程路线:基于 Wan2.2-5B-TI2V,论文里提到 E-PRoPE、causal forcing、DMD-style distillation、long-rollout training、RL alignment 等方法。公开了代码和 5B 权重。
我觉得它最值得看的地方,是把“视频生成”往“可训练、可回访、可干预的世界模拟”推了一步。它和 MiroWorld 这类方向有天然接口:如果世界模型能稳定记住场景、响应动作和事件,后面就不只是生成 demo,而是给 agent 做判断训练、干预演练和认知校准。
但别被演示带飞:论文摘要里写到最高 16 FPS on eight RTX 5090 GPUs。这说明它已经在接近实时交互,但离普通创作者随手用还有明显距离。现在更像研究平台和未来基础设施的预览,不是一个马上能全民上手的世界编辑器。
🔗 链接:http://t.cn/AXSmBJXU
🌐 官方项目页:http://t.cn/AXSmBJXG
💻 代码:http://t.cn/AXSmBJXq
🤗 模型:http://t.cn/AXSmBJXb
📄 论文:http://t.cn/AXSmBJXt
📹 Demo:http://t.cn/AXSmBJX4
#HOW I AI# #ai生活指南# #agent#
发布于 广西
