Richard Sutton 这个最新采访在外网讨论度很高。

他说，LLM 只是预测人类会说的内容，无真实世界模型和预测能力。采访者 Dwarkesh Patel 退一步说，那 LLM 至少可以作为先验知识，Sutton 也不认可，他认为如果是先验知识，那必须是确凿的知识，LLM 中并没有定义什么是正确的、确凿的。

关于《苦涩的教训》，他还说，LLM 虽然利用了大量计算（符合《苦涩的教训》部分观点），但依赖人类知识，而《苦涩的教训》核心是说“依赖通用方法（如经验学习）的系统终将超越依赖人类知识的系统”，LLM是“错误的起点”。

他认为人类的学习和 LLM 有本质区别，婴儿主要类似于强化学习，而不是模仿学习；而 LLM 从静态训练中学习，无法在正常交互中持续获取知识。

他这两天还发帖鼓励了同样唱衰 LLM 的 Gary Marcus，现在唱衰 LLM 的三巨头分别是：Gary Marcus、Yann LeCun、Richard Sutton。

最后讲下个人观点：直觉上来说，我个人觉得 Richard Sutton 讲的没问题。但对于普通人来说，即使 Richard Sutton 讲的是对的，LLM 带来的变化也是不容忽视的，也是得跟进学习的，没办法，你只能顺着大势走。当然，天才研究员除外。