谷歌刚刚发布了 Genie 4 交互式世界模型,这可以说是近期视频生成领域最硬核的突破。以前大家看 AI 视频只能当观众,而这次 Genie 4 直接把静态图片变成了可以实时探索的三维游戏空间。
它最吸引人的地方在于实时的指令操控和真实的物理反馈。你可以在游戏进行时直接输入文字来改变天气、添加新角色或者指挥镜头移动,模型会非常自然地把这些新元素融入当前的场景。在底层物理模拟上,无论是风吹物体的飘动、硬物之间的碰撞,还是人物运动时的重心变化,都显得合乎常理,几乎没有以往视频生成里的那种扭曲和机械感。
这次 Genie 4 还首次实现了原生音频生成。这就意味着世界里的风声、水流声甚至是人物之间的对话,都是伴随画面实时计算出来的,甚至人物的对话还能根据你的实时操作进行即时反馈。这种把视觉、听觉和实时操控融合在一起的能力,直接打破了传统视频生成的边界。
从技术实现上看,谷歌这次用了一个很巧妙的架构,也就是让 Gemini 3.8 Flash 在后台担任指导智能体。视频生成模型很容易在长时间运行后失去逻辑,而 Gemini 的加入则充当了“导演”的角色,在后台进行多步骤规划,确保整个世界的演进符合因果逻辑。这种尝试为机器人训练和虚拟仿真提供了一个完美的沙盒环境,机器人可以在这个安全的环境里模拟各种现实任务。
虽然它目前在长体验下的画面一致性上还有提升空间,但这种逻辑规划与像素级仿真结合的混合路线,显然给未来的内容创作和游戏开发指明了方向。
#谷歌上线最强世界模型Genie4##Genie4##AI视频生成# http://t.cn/AXjNQ4Lo
发布于 上海
