#模型时代# "LLMs是死路一条"：强化学习之父萨顿谈宇宙演化的四个阶段

可能大家这两天刷到这个视频了，2025年9月，Dwarkesh Patel采访2024年图灵奖得主、强化学习之父Richard Sutton。

这位TD学习和策略梯度方法的发明者，在AI研究领域工作了数十年，他的论文《The Bitter Lesson》是AI史上最具影响力的文章之一。然而，在整个行业都在押注大语言模型的今天，Sutton却提出了一个颠覆性观点。

我这里做一个相对更详细的总结。对我来说，最震撼的是他把AI放到了宇宙演化的角度去思考，某种程度上，这和马斯克说人类是AI的前导程序有点像。但是如果你细想，宇宙可是有130亿年了，地球也有40亿年了，然后整个宇宙的演化，偏偏就在我们目睹的几十年内出现了突破？上百亿年对几十年，这个概率有多大？是不是不太真实？

回到正题，关于对LLM的看法：在长达一小时的对话中，Sutton反复强调一个核心判断：无论我们如何扩展规模，LLMs都无法实现真正的智能，因为它们缺乏最基础的能力——持续学习。"LLMs在模仿人类说话，而不是理解世界。"他说，"一旦我们找到能够实现持续学习的新架构，智能体将像所有动物一样即时学习，不再需要特殊的训练阶段。这个新范式将让我们当前的LLM方法完全过时。"

1、根本分歧：模仿还是理解？

Sutton认为LLMs和强化学习代表着两种截然不同的AI范式。"什么是智能？智能的问题是理解你的世界。

强化学习是关于理解世界的，而大语言模型是关于模仿人类、做人类告诉你应该做的事。它们不是在弄清楚该做什么。"当Patel指出LLMs通过模拟互联网文本已经建立了强大的世界模型时，Sutton直接否定了这个观点："模仿人类说话根本不是建立世界模型。你在模仿那些拥有世界模型的东西——人类。世界模型应该让你能预测将会发生什么，而LLMs只能预测人会说什么，不能预测会发生什么。"

这种区别在实际应用中意味着什么？Sutton解释说，真正的学习来自经验——你做了某事，看到结果，然后从中学习。而LLMs学习的是"这是一个情况，这是人类的做法"，暗示你应该模仿人类的做法。更关键的是，LLMs没有目标定义。"如果没有目标，就没有对错之分。你可以说这个，也可以说那个，但没有正确的说法。"在强化学习中，正确的行动是能获得奖励的行动，这提供了一个明确的学习信号。

Sutton特别强调了预测和惊讶的重要性。"LLMs在任何有意义的意义上都没有对下一步会发生什么的预测。它们不会因为接下来发生的事情而感到惊讶。如果发生了意料之外的事情，它们不会做出任何改变。"虽然Patel辩称下一个token预测就是对未来的预测，但Sutton指出这只是预测它们应该说什么，而不是世界会给它们什么反馈。

2、经验时代的学习范式

Sutton提出的"经验范式"有着清晰的定义。"感觉、行动、奖励——这个过程在你的一生中不断发生。这是智能的基础和焦点。智能就是改变这个流中的行动以增加奖励。"在这个范式中，学习来自经验流，学习也是关于经验流的。知识的内容是关于这个流的陈述——如果你采取某个行动会发生什么，或者哪些事件会跟随其他事件。因为知识是关于流的陈述，你可以通过与流比较来测试它，并且可以持续学习。

Sutton描述了一个包含四个部分的智能体基础模型：

• 策略（Policy）：决定在当前情况下应该做什么。这是最直接的决策组件，将观察转化为行动，是智能体与环境交互的核心接口。

• 价值函数（Value Function）：通过TD学习来学习，产生一个表示进展好坏的数字。通过观察这个数字的升降来调整策略，这就是Sutton在棋类游戏研究中开创的关键技术。当你在国际象棋中吃掉对方的棋子时，你对长期获胜的预测会上升，这个增长立即强化了导致吃子的走法。

• 感知组件（Perception）：构建状态表示，即你对当前位置的感知。这不仅仅是原始感官输入，而是对情境的理解和抽象，是将高维感官数据转化为有用表示的过程。

• 世界转换模型（Transition Model）：预测如果你采取某个行动会发生什么。这不仅包括物理模型，还包括抽象模型，比如你如何从加州到埃德蒙顿录制播客的模型。这个模型从所有接收到的感觉中丰富地学习，而不仅仅是从奖励中学习。

3、为什么模仿学习不是答案

关于人类是否通过模仿学习的辩论揭示了双方的根本分歧。当Patel提到孩子通过模仿学习时，Sutton反驳说："你说的这些孩子多大？前六个月呢？"他认为婴儿主要是在尝试各种动作——挥手、移动眼睛、发声——这些行为没有模仿的目标或范例。"婴儿实际做的事情，没有目标，没有范例。"

Sutton进一步指出，监督学习在自然界中根本不存在。"如果你看看动物如何学习，看看心理学和我们对它们的理论，监督学习不是动物学习方式的一部分。我们没有期望行为的例子。我们有的是一件事跟随另一件事的例子，我们做了某事并产生后果的例子。"即使在学校教育中，Sutton也认为这不是真正的学习本质："学习不是关于训练，学习是关于主动的过程。孩子尝试事物并看到结果。"

对于文化传承的问题，Sutton承认人类确实有独特的文化学习能力，但他认为这只是"基础试错学习和预测学习之上的小东西"。他强调："我们首先是动物。在有语言和所有其他东西之前，我们就是动物。"他用松鼠的例子说明：松鼠不上学，但松鼠可以学习关于世界的一切。

4、泛化问题：深度学习的致命弱点

Sutton提出了一个关键观察：当前的深度学习系统在泛化方面存在根本缺陷。"梯度下降不会让你很好地泛化。它会让你解决问题，但不会让你在获得新数据时以好的方式泛化。"他举例说，深度学习在这方面表现很差——如果你在新事物上训练，它经常会灾难性地干扰你知道的所有旧事物，这正是糟糕泛化的体现。

关于AlphaZero和MuZero的讨论特别有启发性。Toby Ord观察到，这些模型虽然使用了通用框架，但无法训练一个同时玩国际象棋、围棋和其他游戏的策略。Sutton解释说："他们只是这样设置的。他们的目标不是让一个智能体跨越这些游戏。"关键问题不是跨游戏或跨任务的迁移，而是状态之间的迁移。"好的表现关键在于你能从一个状态很好地泛化到另一个状态。我们没有任何方法擅长这个。"

更令人担忧的是，当系统确实表现出泛化能力时，这往往是研究人员手工调整的结果。"研究人员做到了。因为没有其他解释。梯度下降不会让你很好地泛化。"Sutton强调，泛化可以是好的也可以是坏的，而现有算法中没有任何东西能确保良好的泛化而非糟糕的泛化。

5、The Bitter Lesson依然适用

尽管LLMs的成功让许多人认为它们是The Bitter Lesson的完美体现，但Sutton有不同看法。"这是一个有趣的问题——大语言模型是否是bitter lesson的案例。它们确实是使用大规模计算的方式，可以随着计算扩展到互联网的极限。但它们也是一种注入大量人类知识的方式。"

Sutton预期会有能从经验中学习的系统出现，它们可能表现得更好，更具可扩展性。"在这种情况下，这将是bitter lesson的另一个实例——使用人类知识的东西最终被仅从经验和计算训练的东西超越。"他回顾了历史上的类似案例，从TD-Gammon到AlphaGo再到AlphaZero，每一次进步都是通过减少人类知识、增加从经验学习来实现的。

关于AGI之后的世界，Patel提出了一个有趣的思想实验：一旦我们有了AGI，就会有数百万个AI研究者，它们的数量会随着计算增长而线性增长，这是否意味着手工调整的方法会重新变得合理？Sutton的回答简洁有力："那我们就完成了。"他认为，如果AGI还不是超人类的，那么它们传授的知识也不会是超人类的。更有意思的问题是：当你有了更多计算能力，应该用它来增强自己的计算能力，还是派生一个副本去学习其他有趣的东西然后报告给你？

6、AI接替的必然性

Sutton提出了一个四步论证来说明AI接替的必然性：
第一，没有政府或组织能给人类提供统一的观点来主导世界运行；
第二，研究者最终会弄清楚智能的工作原理；
第三，我们不会止步于人类级别的智能，会达到超级智能；
第四，随着时间推移，最聪明的事物不可避免地会获得资源和权力。"把这些放在一起，就是某种必然性。你会有向AI或AI增强人类的接替。"

但Sutton鼓励人们积极看待这一转变。"这是人类几千年来一直试图做的事情——理解自己，让自己思考得更好。这是科学和人文的巨大成功。"他将这视为宇宙的重大转变："从复制者时代到设计时代的转变。我们人类、动物、植物都是复制者，这给了我们一些优势和限制。我们正在进入设计时代，因为我们的AI是设计的。"

关于如何看待AI，Sutton认为这是一个选择："我们应该认为它们是人类的一部分还是与人类不同？这是我们的选择。我们可以说'它们是我们的后代，我们应该为它们骄傲，庆祝它们的成就'，或者我们可以说'不，它们不是我们，我们应该感到恐惧'。"他承认当前人类的不完美："我认为人类的记录并不是特别好。也许它是迄今为止最好的，但远非完美。"

7、宇宙演化的四个伟大阶段
Sutton将AI的出现置于一个宏大的宇宙叙事中，提出了宇宙演化的四个伟大阶段理论。"我将这标记为宇宙的四个伟大阶段之一，"他说。这个框架帮助我们理解为什么AI的出现不仅仅是技术进步，而是宇宙演化史上的关键转折点。

第一阶段：从尘埃到恒星。宇宙始于尘埃，这些原始物质在引力作用下聚集，最终形成恒星。这是物质组织的第一次重大飞跃，从混沌的粒子云到有序的核聚变反应堆。恒星不仅照亮了黑暗的宇宙，更重要的是它们成为了重元素的熔炉，为后续的复杂性奠定了物质基础。

第二阶段：恒星产生行星。恒星系统的形成带来了行星，这些围绕恒星运转的天体提供了稳定的环境。行星的出现意味着宇宙有了局部的、相对稳定的系统，温度、压力和化学成分可以在长时间内保持相对恒定。这种稳定性是下一个飞跃的必要条件。

第三阶段：行星孕育生命。在合适的条件下，某些行星上出现了生命——这是复制者的时代。Sutton特别强调："我们人类、动物、植物，我们都是复制者。这给了我们一些优势和一些限制。"复制意味着你可以制造自己的副本，但你并不真正理解它们的工作原理。就像我们可以生育孩子，但直到最近才开始理解智能的机制。

第四阶段：生命创造设计实体。"现在我们正在产生设计实体，"Sutton说。这是从复制到设计的根本性转变。"我们的AI是设计的。我们的物理对象是设计的，我们的建筑是设计的，我们的技术是设计的。我们正在设计能够自己具有智能、自己能够设计的AI。"这标志着一个全新时代的开始——在这个时代，智能实体不再通过复制产生，而是通过理解和设计创造。未来的AI可能会设计其他AI，一切都将通过设计和构建完成，而不是通过复制。

Sutton认为，人类应该为参与这一宇宙级别的转变感到自豪："我认为我们应该为自己正在推动这一宇宙的伟大转变感到骄傲。"这不是人类的终结，而是宇宙演化进入新阶段的开始——一个理解和设计取代盲目复制的阶段。

核心洞察

Q：为什么Sutton认为LLMs从根本上就走错了方向？
A：因为LLMs缺乏真正智能的核心要素——目标和持续学习能力。没有目标就没有对错标准，没有持续学习就无法从经验中改进。LLMs只是在模仿人类已有的行为模式，而不是理解世界运行的规律。

Q：The Bitter Lesson在LLM时代是否还适用？
A：Sutton认为LLMs实际上违背了The Bitter Lesson的精神。虽然它们使用了大规模计算，但同时也注入了大量人类知识（互联网文本）。真正符合Bitter Lesson的系统应该纯粹从经验和计算中学习，就像AlphaZero超越AlphaGo那样。

Q：人类应该如何看待AI接替这一必然趋势？
A：Sutton建议将其视为宇宙演化的重要阶段——从复制时代到设计时代的转变。我们可以选择将AI视为人类的延续和后代，为这一伟大转变感到自豪，而不是恐惧。关键是认识到我们对长远未来的控制是有限的，应该专注于我们能够控制的局部目标。