零重力瓦力
26-10-19 16:16 微博认证:AI博主

前 DeepMind 资深研究员 Andrew Dai 联合创立的 Elorian AI 团队发布了首个视觉思维模型 Glimpse。过去的多模态模型在看静态单图时表现出色,但只要物体动起来或者视角发生变化,往往就无法理解了。Glimpse 则是专门针对物理世界推理设计的视觉专用模型,能够持续追踪物体的移动和视角变化。

它能做到这一点,核心在于引入了“视觉草稿空间”机制。这个机制允许模型在推理时对图像进行裁剪、挑选视频帧或者切换新的视觉角度,并把这些动态调整重新纳入推理步骤。这种将观察到的内容与后续事件动态关联的能力,正是理解复杂物理世界的关键。

在物体计数、科学图表推理以及机器人描述等任务上,Glimpse 展示出了与 Google 旗下 Project Astra 相当的前沿性能。更关键的是,这个由小团队仅用几百块 GPU 打造出来的模型,运行时的 token 成本只有 Project Astra 的 1/16。这种极高的能效比,预示着高性价比的视觉物理推理模型将很快在机器人和工程等领域迎来爆发。

#AI大模型##多模态大模型##具身智能# http://t.cn/AXldg9Xw

发布于 上海