#李飞飞谈LLM局限性##李飞飞一年前观点火了#

大语言模型的局限在哪里？AI教母李飞飞这样说：

“大自然中是没有语言存在的”，语言只是人类生成的信号。而物理世界是客观存在的，因此，语言模型本质上是人类加工的产物，无法独立理解现实。

她指出，多模态语言模型虽然能处理图像，但最终仍是将图像等内容塞进一维token中处理。这种方式在处理空间智能——即理解三维世界的任务时，天然就有劣势。因为3D世界有物理结构、材质、规则，而语言是人造的，无法完全覆盖这些内容。

有研究团队就做了实测：拿AI环境测试Claude 3.5、GPT-4o、Gemini 1.5 Pro在虚拟3D世界的表现，结果是只会简单任务，难一点就失败。哪怕加入教学示范，表现也没变好。

这表明，在理解三维的物理世界方面，大模型的表现明显落后。

还有团队设计ABench-Physics测试，结果最强模型正确率只有43%，换个数字同理题后更差。再到视觉任务中，人类正确率95%，模型最高只有51%。这些实验都反映了李飞飞的观点——语言模型理解物理世界确实有限。

当然，也有反方声音。有网友认为语言模型可以发展出自己的“语言”理解方式；也有人说，语言在某些情况下比感知更有优势。

无论怎样，AI在理解现实世界这件事上，科学家们正不断探索可行方式。
http://t.cn/AXhPf1Xf http://t.cn/AXPDMp2z