#研究发现大型语言模型是世界模型#【不只是统计机器！MIT研究人员重磅论文引围观：大型语言模型是“世界模型”，甚至有独立的“时间和空间神经元”】近年来，大型语言模型（下称LLMs）的能力不断提高，引发了各界关于它们是否只是学习了表面的统计规律，还是形成了包含数据生成过程的内在模型（即世界模型）的争论。近日，来自麻省理工（下称MIT）的研究人员公布了他们的研究，就此给出了答案。
MIT研究人员Wes Gurnee和Max Tegmark于10月3日提交在预印本arXiv上的论文称，他们通过分析三个空间数据集（世界、美国、纽约市的地点）和三个时间数据集（历史人物、艺术作品、新闻标题）在Llama-2系列模型中的学习表征，发现了世界模型的证据。
研究人员发现，LLMs学习了空间和时间的线性表征，并且这些表征在不同的尺度和实体类型（如城市和地标）之间是统一的。此外，作者还识别出了单个的“空间神经元”和“时间神经元”，它们可靠地编码了空间和时间坐标。论文称，现代LLMs获取了关于空间和时间这些基本维度的结构化知识，证明LLMs学习的不仅仅是表面统计规律，而是真正的世界模型。（希隆）http://t.cn/A6OFXYSW