麻省理工科技评论
26-01-04 14:47 微博认证:《麻省理工科技评论》杂志官方微博

【MIT团队推出递归语言模型!不改架构、不扩窗口,上下文处理能力扩展百倍】

新年伊始,MIT CSAIL 的一纸论文在学术圈引发了不小的讨论。Alex L. Zhang 、 Tim Kraska 与 Omar Khattab 三位研究者在 #arXiv#  上发布了一篇题为《Recursive Language Models》的论文,提出了所谓“递归语言模型”(Recursive Language Models,简称 RLM)的推理策略。

早在 2025 年 10 月,Zhang 和他的导师 Omar Khattab 就在博客上公开了初步想法,引发了一些关注。如今这篇正式论文带来了更系统的实验和更扎实的数据,论证了通过让语言模型把长文本当作“外部环境中的变量”来处理,可以让模型有效处理超出其上下文窗口 2 个数量级的输入。

Zhang 在推文中写道:“正如 2025 年是从语言模型到推理模型的转换之年,我们认为 2026 年将是#递归语言模型# 的时代。”他还特别提到,RLM 是他们对推理时算力扩展(inference-time scaling)的“bitter lesson 式”解法,即与其精心设计复杂的人工规则,不如让系统自己去学、去算。

RLM 的设计哲学与此一脉相承,它不试图从模型架构层面“修复”长文本处理的问题,而是提供一套通用的推理时框架,让模型自己决定如何与超长输入交互。

戳链接查看详情:http://t.cn/AXb4DRwM