#模型时代# Jason Wei有段时间没露面，刚写了一段AI感言。感觉还是同意的，因为人类和动物的分水岭之一，就是创造和使用工具。1b参数更多是使用，但是很难创造。

---

Jason Wei：

当语言模型刚开始能够很好地使用工具时，我对这样一种叙事抱有同情：我们其实不需要继续扩大语言模型的规模，只需要一个足够强大的“认知核心”（比如 10 亿参数），其余一切都可以通过工具使用来完成，比如浏览互联网或执行代码。

我认为当时很多人都对这个论点抱有同情，而且确实很难想出一项有意义的任务，是原则上无法由一个拥有充足工具访问权限的 10 亿参数模型完成的。例如，任何大型语言模型会知道的冷门事实，原则上都可以从互联网检索出来，再由一个 10 亿参数的语言模型进行推理。

然而，我现在认为这种观点完全是错的，原因很简单：快速、自然地完成任务、而不依赖工具使用，这一点非常重要。

我真正内化这一原因的方式，其实来自我今年学习羽毛球的个人经历。在羽毛球这件事上，我非常像一个“10 亿参数的认知核心”。虽然教练教我的每一个击球动作，我在身体上都能做到，但要把每一个要领都在脑子里记住并组合起来，需要付出大量努力。在练习中，我几乎能把一个击球做得近乎完美，但在整场对拉中就很难做到，更不用说在比赛中持续稳定地完成了。这显然不同于那些把某个击球练习过上万次、能够毫不费力地作为本能执行出来的人。

同理，语言模型在内部知道一个事实、而不需要调用工具，是有意义的。第一个原因显而易见：我们在乎速度；你肯定更希望立刻得到答案，而不是让模型思考很久以确保答案正确，或者去浏览网页。第二个原因是，有些东西最好通过在大量数据上进行反向传播来学习。如果你问人们通常如何看待香巴拉音乐节，你更希望大型语言模型基于互联网上的全部数据给出一个综合意见，而不是把网页搜索结果中前三条评论原样复述一遍。第三个原因是，必须费很大劲才能找到答案，其可靠性不如本来就知道答案。虽然理论上不一定如此，但至少在目前的实践中很可能是这样。如果你总是需要重新查找事实，或者反复重新做一遍数学推导，出错的概率会更高，而在长程任务中这些错误还会累积放大。

一旦你认同“在参数内部、不依赖工具使用地完成事情是有价值的”，你就必须认同“10 亿参数的认知核心是不够的”这个论点。10 亿参数的模型能内化的知识存在信息上限，而我们肯定会希望 AI 知道的比这更多。即使是 1 万亿参数大概也不够。我们会希望 AI 尽可能多地了解我们的世界，希望它能不断更新新信息，而我们对 AI 能为我们做什么的期望也会持续增长。

总结一下：工具使用让小模型能做更多事情，但那些追求最高质量智能的人，永远会想要更大的模型。痛苦的教训再次应验。