#模型时代# 强化学习之父Richard Sutton讲座：LLM可能只是一个过渡阶段，无法抵达终极智能，持续学习才是王道

现在发Richard Sutton的这期讲座就非常合适了。一来，过几天的上海世界人工智能大会WAIC上，他会做演讲，预测讲的内容，基本都会涵盖在本期讲座中；二来，他也刚刚宣布创业，亲身动手将自己的理论做出来。这也是我比较佩服他、杨立昆和李飞飞的原因。三人都提出了大语言模型的局限，但是没有停止于批评，而是亲自下场做一个自己觉得正确的路线的东西。

某种程度上，伊利亚和阿莫代（Anthropic创始人也是如此了，虽然现在大家很不喜欢他），看不惯OpenAI，就做出来一个自己觉得对的。

继续说讲座，来自两周前，YouTube频道EconFinAiMl上线的MIT CSAIL Dertouzos杰出讲座的录像。Sutton在2019年写下的短文“The Bitter Lesson”（苦涩的教训）至今仍是AI领域引用最密集的非论文文献之一。2025年4月，Sutton与David Silver联合发表“Welcome to the Era of Experience”，正式宣告AI需要从“人类数据时代”转向“经验时代”。就在这场MIT讲座视频上线后不到三周，2026年7月14日，Sutton宣布离开John Carmack创办的Keen Technologies，与同事Khurram Javed共同创立了Oak Lab，目标是在仅20瓦功耗下运行一个万亿参数的经验式学习智能体。

Sutton一上台就给MIT在场听众打了预防针：“这不是一场展示实验结果的演讲，这是一场谈想法的演讲。”他要讲的是一张路线图，终点是超级智能。CSAIL主任Daniela Rus介绍完Sutton的履历后问现场谁在工作中用到了强化学习，几乎所有人都举了手。但Sutton接下来要说的话，恰恰挑战的是这些人中相当一部分的工作方式：你们往智能体里灌的那些领域知识，也许短期有效，长期来看是一条苦路。他随后用整场演讲推演了一个替代方案，一种他称为OaK的架构，全称Options and Knowledge，意思是让智能体从零开始、纯粹依靠经验自主生长出抽象能力的通用心智设计。

很巧。我刚在推上，看到Astra Markets的创始人Adi总结Sutton的技术路线，写的言简意赅，也摘录一下：

- 无需预训练，所有学习均通过运行时强化学习（RL）进行持续学习
- 该系统通过学习来提取特征并定义子问题，计算这些子问题的中间价值函数，然后通过价值迭代更新策略
- 特征发现是通过“生成与测试”（即随机搜索）或“连续反向传播”（即反向传播与生成与测试的结合）来实现的

一、苦涩的教训与大世界假说

1、“苦涩的教训”适用于LLM吗？Sutton给了一个既肯定又否定的回答

Sutton的“苦涩的教训”有一个简洁的核心论点：在AI历史上，靠人类专家把知识编码进系统的做法，短期总能提升性能，长期总被“依赖通用计算扩展的方法”打败。国际象棋、围棋、计算机视觉、语音识别，反复验证了这条规律。

但LLM是个有趣的例外。一方面，LLM确实印证了“苦涩的教训”：早年NLP把音素、词义规则硬编码进去的做法，被纯学习方法碾压了。另一方面，LLM本身又是一个反例，因为它通过互联网提供的海量示例，实质上还是把大量人类知识“灌”了进去，只不过灌的方式变了。Sutton坦率地说：“这种做法最终是否会被相反的方法所取代，还有待观察。”

2、世界远比智能体的心智庞大，这一事实决定了一切

Sutton提出了一个他称之为“大世界假说”的前提：世界比任何智能体都复杂得多。光是“其他人”就已经够复杂了，他们的心智和你的一样庞大，而且数量众多，你不知道他们脑子里在想什么。

从这个前提出发，所有推论都指向同一个方向：你构建的价值函数、策略、世界模型，都不可能完全正确。世界会显得“非平稳”，你接触到不同部分时，它看起来就在不断变化。这就是为什么学习和规划必须在运行时完成，而不能全部提前做好。

3、“设计时”和“运行时”的区分是Sutton整场演讲的底层框架

设计时是研究者把领域知识构建进智能体的阶段，运行时是智能体自己在世界中行动和学习的阶段。Sutton的态度毫不含糊：在运行时做学习、规划、发现抽象，这些事“不必只在运行时完成，但必须在运行时完成”。研究者真正该做的事情，是设计那些与领域无关的能力，比如学习算法、规划方法、时序差分学习，而不是往智能体里塞关于具体世界的知识。

“Our role is to make a good agent by designing in domain independent skill。” 我们的角色，是通过设计与领域无关的能力，来打造一个优秀的智能体。这个东西该叫什么呢？他自己也说不好——“Intelligence， I guess。”

二、OaK架构：用“选项”和“知识”构建心智的跳跃式思考

1、共识智能体架构是起点，但它缺了关键的一层

Sutton先勾勒了一个他称为“共识智能体架构”的起点：感知、反应式策略、价值函数、转移模型，它们构成了强化学习、心理学、神经科学、控制论、运筹学、经济学乃至哲学中共通的心智描述。这个架构本身没问题，但它全是低层级的，动作每秒100次，观察是像素图像，奖励信号逐帧产生。

问题在于：如果你只有一个一步步预测下一时刻的低层模型，想要靠迭代推演来做长远规划，就会掉进一个陷阱。Sutton举了个例子：你想从加拿大走到波士顿，靠每秒迭代一百次的低层模型来推演全程，小误差经过天文数字次迭代之后会累积到失控，更别提每一步都有你的选择和世界的选择两重分支。“这完全彻底不切实际。”

Sutton还特别点名了POMDP和相关的贝叶斯方法。这些方法看起来更精致，但在他看来“深陷在同一个陷阱里”，因为它们的一切预测本质上都建立在单步过程之上，逃不出去。

2、“选项”是宏的推广，让智能体能跳跃式思考

OaK中的O代表Options，即“选项”。早期AI里有一种叫macro的技术，本质上是一串预先定义好的固定动作序列。选项是macro的推广：一个选项由两个元素组成，一是策略，即从状态到动作的映射；二是终止条件，决定什么时候算完成。和固定动作序列不同的是，策略依赖于当前状态，也可以是随机的。你不是照着固定序列走，而是会根据实际情况灵活调整，看谁挡在路上，该绕过谁。

有了选项之后，智能体就能跳跃式地思考：“如果我坐飞机去波士顿，我有相当大的概率能到那儿。”你跳过了所有中间细节，直接建立起一个高层的转移模型。这就是OaK中的K，Knowledge，知识。知识就是关于选项的信念：如果我按这个选项行动，我最终会到哪里、沿途的奖励大概是多少。

Sutton特别指出，选项模型是常规低层模型的一种自然推广。常规模型接收一个状态和一个动作，输出下一个状态的概率分布和期望奖励；选项模型接收一个状态和一个选项，输出终止时所处状态的概率分布和执行期间的累积期望奖励。二者形式完全一样，做价值迭代时只需把“在所有动作里取最大值”换成“在所有选项里取最大值”，几乎什么都不用改。换句话说，动作只是选项的一个特例：一个只持续一步就终止的选项。

3、特征→子问题→选项→模型，一条一一对应的链条

OaK的核心机制是一条从特征到高层知识的流水线。首先，一个状态特征（比如“拨浪鼓的声音”“咖啡在嘴里”）定义出一个子问题：怎么把世界推到这个特征值高的状态，同时不损失太多奖励。求解这个子问题，就得到一个选项。有了选项，就能去预测它的后果，形成转移模型的一部分。

每一步都是一对一的：一个特征产生一个子问题，一个子问题产生一个选项，一个选项产生一部分转移模型。而且这些步骤全部在运行时并行执行，每个时间步都往前推进一点点。

4、Sutton特别强调“尊重奖励”这个约束

OaK中的子问题有一个重要约束：它要求在不损失太多奖励的前提下达成目标特征，而非单纯地追求特征值最大化。因为主问题终究是尽可能多地获得奖励，所以如果你为了达成一个子目标而偏离主线太远，代价就太高了。公式里有一个参数kappa，衡量的就是“相对于损失奖励而言，你有多想要这个特征”。

Sutton用了一个生动的例子：他正在演讲，可以把“喝到咖啡”当作一个选项存在自己的“兵器库”里。如果他真去拿咖啡，他确实能喝到，但在场的听众可能会觉得他是个混蛋，因为他居然在演讲中途跑出去了。这种后果也包含在模型里。

三、玩耍即学习：从猩猩荡秋千到婴儿摇拨浪鼓

1、子问题从哪里来？答案是“玩耍”

OaK架构的一个关键问题是：特征和子问题不能全部预先内置，必须由智能体自己在运行时生成。Sutton引入了动物和婴儿的玩耍作为类比。他放了一段猩猩荡秋千的视频和一段虎鲸顶瓶子的视频，这些动物没有外部目标，它们给自己设定了子问题：获得“在空中荡来荡去”的感觉，把瓶子平衡在背上。这就是纯粹的玩耍。

“所有动物都会玩，这个洞见也许很显然，但它确实揭示了我们精神生活的样子，我们会给自己设定子目标。”

2、婴儿与拨浪鼓的例子是OaK的微型演示

Sutton最精彩的一段演示是婴儿摇拨浪鼓。婴儿听到拨浪鼓的声音，形成了一个新的状态特征。他给自己设定子问题：“让这个声音再次出现。”于是他学会了乱挥手臂来触发声音。在这个过程中，他发现要完全控制声音，必须抓住拨浪鼓，于是“拨浪鼓在手里”成了新的特征，又产生了新的子问题：“抓住拨浪鼓。”

这只是两步，但这个循环可以无限持续：新特征产生新子问题，新子问题的解产生新选项，新选项的使用又暴露出新的特征。这就是OaK追求的良性循环，也是“开放式智能”的来源。

3、子问题只能用“特征”来定义，这是与领域无关的唯一出路

为什么一定要用“特征”来定义子问题，而不是“去咖啡店”“到空间中某个位置”？因为“咖啡店”和“空间位置”本身就是领域相关的概念，要识别它们就得预先内置关于那个世界的知识。而“你某个状态特征被激活了”，是智能体能直接检测到的、与领域无关的事件。Sutton说：“一个子问题，几乎不可能是别的什么东西，只能是被你某个特征识别出来的东西。”

那特征会不会无限膨胀？Sutton在Q&A里对这个问题给出了一个出人意料地朴素的回答：设上限。你能同时持有的特征数量是有限的，也许一百万，也许十亿，但总有一个上限。好在计算量对特征数量是线性的，所以数字大也不可怕。当你想加入新特征时，就把那些不再有用的旧特征剪掉，腾出空间。“开放式”不等于“无限”，它的意思是：你只受限于计算资源。

四、缺失的拼图：持续学习与元学习

1、OaK今天跑不起来，核心瓶颈只有一个

Sutton在演讲中坦率承认：OaK架构目前没有大规模实例。瓶颈直指一点：当前的深度学习在持续学习场景下会灾难性地失败。要么是灾难性遗忘，学了新的忘了旧的；要么是灾难性丧失可塑性，学着学着网络就僵化了，不再有学习新东西的能力。他的学生Shibhansh Dohare 2024年在Nature上发表的工作证实了这一点。

对于线性网络，可靠的持续学习已经做到了。但深度网络还不行。Dohare提出了一种叫continual backprop的方法，在反向传播过程中持续替换掉不再有用的神经元，算是目前少数的部分解决方案之一。

2、反向传播的根本问题不在计算方式，而在训练数据的假设

在Q&A环节，有人问Sutton反向传播是否是对人脑运作方式的好模型。他的回答简洁有力：反向传播和所有监督学习方法一样，都是对自然学习过程的糟糕建模。问题不在反向传播的计算过程本身，而在于它预设你拥有那种形式的训练输入，有人告诉你正确答案。真实世界里，我们并没有这种训练输入。

由此延伸，Sutton认为未来发现新特征的方法更可能基于“生成并测试”的思路：先大量生成特征，然后由那些使用特征的模块来事后评判哪些有用。一个好的状态特征的定义，就是它被许多使用者发现有价值。这个标准本身是与领域无关的。

3、OaK用一个浅层版本已经在论文里跑通了

虽然深度学习版本还跑不起来，但Sutton指出，他们已经用线性学习的版本在AI Journal上发表了文章“reward respecting subtasks for model-based reinforcement learning”，验证了OaK架构的基本思路。完整版还需要三个前提条件：可靠的深度持续学习；元学习，特别是每个权重各自不同的学习率优化；以及更好的离策略学习算法。他推荐了Alberta Plan for AI Research中的12步路线图。

五、Q&A精华：扁平结构优于层级，模仿学习不被允许

1、Sutton刻意不使用“层级”这个词

有人问OaK里层级性和组合性扮演什么角色。Sutton的回答出乎意料：他整场演讲从未使用hierarchy这个词，而且是有意为之。“层级暗示着一层包含在另一层里面，但在OaK的规划过程里，所有选项都在同一个层面上。”你可以选择动一下手指，也可以选择去波士顿旅行，这两个选项不存在谁在谁之上的关系。模块化是必要的，层级不是。选项之间可以相互引用，为了去波士顿可以调用“叫Uber”这个选项，但这种引用关系是扁平的。

2、模仿学习在OaK框架里被排除在外

有人问imitation learning对OaK有多重要。Sutton的回答毫不犹豫：“我的目标就是不能用任何类似模仿学习的东西。模仿学习不是正常经验，它是一种特殊经验，有人告诉你‘模仿这个’。那不是正常的、普通的、未经准备的、第一人称的、运行时的经验。”

他引用了图灵1947年的原话——“What we want is a machine that can learn from experience”——并解释图灵真正的意思是：这台机器不需要有人对它说“做这个，别做那个”，而是能仅凭日常生活的正常互动，自己想明白该做什么。“婴儿就是这么学的。他们自己想办法，弄清楚该做什么才能得到自己想要的东西。”

3、领域知识可以给，但不能成为必需品

有人问数学推理是否需要领域知识才能work。Sutton的回答留了余地：“如果有某种关键的领域知识，是系统能运作所必不可少的，那就说明这个项目彻底失败了。”但他也说，不放入领域知识可能只是意味着需要更长的时间。OaK的目标是证明一条纯经验式的路径在原理上是可行的。你当然可以给它一个好的起点，比如给机器人装上摄像头和电机，但之后要怎么以开放式的方式超越这个起点，才是OaK要回答的问题。

总结

Sutton在这场MIT讲座中提出了一个几乎反直觉的主张：当前AI的主流路径，从人类数据中提取知识，可能只是智能发展的一个阶段，而非终点。他用OaK架构勾勒了一条替代道路：从与领域无关的通用原则出发，让智能体在运行时通过玩耍式的自我探索，自主发现状态和时间上的抽象，形成“特征→子问题→选项→模型”的良性循环。

这条路目前还走不通。瓶颈只有一个：深度网络的持续学习还不可靠。但Sutton认为，这正是值得全力攻克的方向，因为只有这条路通往真正不受人类能力限制的超级智能。他甚至给出了一个大胆的预测：未来AI的核心架构可能只有五页代码那么简洁。

就在这段演讲视频上线后不到三周，Sutton用行动给出了他对这个愿景的信心注脚：他创立了以OaK命名的实验室Oak Lab，目标是让万亿参数的智能体在20瓦功耗下运行，“像几个灯泡的电量”就够了。

核心归纳

Q1： Sutton认为当前AI路径的根本局限是什么？

当前主流AI的知识来源是人类数据，本质上是把人类已有的知识通过特殊渠道灌进去。这种做法有天花板：高质量数据即将耗尽，而且人类自身尚未掌握的知识，靠模仿人类永远学不到。Sutton认为，真正的智能必须能从与世界互动的普通经验中自主学习，而不依赖任何“有人告诉你正确答案”的特殊输入。

Q2： OaK架构的核心机制是什么？

OaK由两个相互配合的抽象维度构成。时间抽象通过“选项”实现，一个选项是一个策略加一个终止条件，让智能体能跳过低层细节直接在高层做规划。状态抽象通过自主发现新特征实现，每个特征定义出一个“特征达成子问题”，求解后得到一个新选项及其转移模型。两者构成良性循环：特征产生子问题，子问题的解又暴露出新特征，使得智能体的抽象能力可以持续生长。动作只是选项的特例，因此OaK可以无缝接入现有的强化学习方法。

Q3： OaK距离实现还缺什么？

核心瓶颈是可靠的深度持续学习：当前的深度网络在持续学习中会灾难性遗忘或丧失可塑性。此外还需要元学习（尤其是每个权重的学习率自适应优化）和更好的离策略学习算法。OaK的线性网络版本已经在论文中得到验证，但深度版本还有待攻克。Sutton在2026年7月创立的Oak Lab，正是瞄准了这个攻坚方向。 http://t.cn/AXKNrHIu