#模型时代# 图灵奖得主、强化学习之父Richard S. Sutton访谈：科学中没有权威，大家都是智力上的同龄人。

Richard S. Sutton和Andy Barto共同获得图灵奖后，Amii（阿尔伯塔机器智能研究所）首席执行官Cam Linke马上和Sutton做了一场独家对话。Sutton教授也是Amii的首席科学顾问。

Sutton说了他获知获奖消息的那一刻的情况："一个奇怪的电话，只是想安排一个会议，我完全不知道是关于什么的。"当他和Andy Barto最终意识到他们获得了图灵奖时，两人都感到震惊。"图灵奖，哇。这是计算机科学家能获得的最高奖项，"Sutton说，"人们对你寄予厚望，你必须不辜负这一期望。"

他说科学领域没有权威，但是谈到强化学习，他又将他创造发明的技术谦逊的在灵感上归功于图灵。当时图灵在1947年对伦敦数学学会的演讲中，说了一句话，'我们想要的是...一台从经验中学习的机器。'那是有史以来第一次关于人工智能的公开演讲。"。现在看来，也是强化学习的哲学体系。

大模型出现之后，强化学习曾经略显沉寂，但现在因为推理模型等思路的兴起，大家普遍把目光重新聚焦到强化学习，比如之前发过的一篇：强化学习的Imagenet时刻即将到来 ：http://t.cn/A61FTyA1 。如果对强化学习不熟悉，则可以看这个小的科普：十分钟了解强化学习：http://t.cn/A61FTyAB 。

***
访谈概要：

一、从经验中学习：强化学习的本质
在谈到强化学习的核心理念时，Sutton教授阐明了它与其他机器学习方法的本质区别。"强化学习是关于从经验中学习，"他解释道，"很多东西不是从经验中学习，而是从人那里学习。显然，大型语言模型是从人那里学习的，因为它们模仿人类。甚至RLHF(基于人类反馈的强化学习)也非常依赖于人类的指导。相比之下，强化学习是关于从经验中学习。"

Sutton进一步指出，强化学习的关键在于处理评估性反馈而非指导性反馈："我们学习评估性反馈的原因是因为在正常生活中，从经验中获得的不是指导性反馈。仅仅与世界互动不会给你指导性反馈，你必须处理评估。"他举例说明，赢得游戏、获取食物或赢得伴侣都是评估的形式，这正是强化学习的工作方式。

二、人工智能的历史根源
在对话中，Sutton教授揭示了强化学习与图灵本人工作之间的深刻联系。"Alan Turing谈到过从经验中学习。他是第一个为从经验中学习的机器这样做的人，"Sutton解释道，"在他1947年对伦敦数学学会的演讲中，他有一句话，'我们想要的是...一台从经验中学习的机器。'那是有史以来第一次关于人工智能的公开演讲。"

Sutton指出，图灵不仅谈到了经验，还谈到了奖励和惩罚——正是这些概念构成了今天强化学习的基础。他认为，从经验中学习的关键思想是强化学习必须发扬光大的核心理念，这一点从图灵的原始演讲一直延续到今天。

三、保持坚守：强化学习研究的长跑
当被问及如何在领域内不断变化的潮流中保持对强化学习的专注时，Sutton教授将他和Andy Barto比作"所有发生的事情中的一个不动点"。他回忆道："我们在一开始就说，哦，从经验中学习，那是正确的事情。奖励和惩罚，是的，这说得通。让我们弄清楚这一点。"

尽管时代变迁，研究热点不断转移，但Sutton和Barto始终坚持这一核心理念。他们进行了广泛的研究，与其他领域建立联系，并通过教科书的编写促进了强化学习作为一个独立领域的发展。Sutton解释道："这不是专家系统，也不是监督学习。这看起来很重要，我们一直这么说，希望以一种不夸张的方式，只是以一种直接的方式。"这种坚持最终在AlphaGo和DeepZeek等突破性成就中得到了回报。

四、科学研究中的平衡：雄心与谦逊
Sutton教授向年轻研究者提供的建议集中在一个关键平衡上："做研究要雄心勃勃，但不要傲慢。"他认为雄心对于追求重大突破至关重要，但同时警告说，一旦决定要有雄心，就容易变得傲慢，这是需要避免的。

特别值得注意的是，Sutton强调了科学中没有权威这一理念："科学中没有权威，"他明确表示，"这既赋予你质疑任何人的能力和许可，因为没有权威；同时也有点令人泄气，因为你可能把我看作一个权威，我本可以打那张牌，但我不是。"这一观点从图灵奖获得者口中说出，显得尤为有力。

五、智慧的来源：多元思想的价值
Sutton教授认为，每个人都有独特的见解可以分享，并强调了倾听不同思维方式的人的重要性。"我真的相信我所说的，我们每个人能够做出的最重要的贡献是对我们来说似乎显而易见的东西，"他表示，"我们对它了如指掌，我们唯一的局限是我们可能没有意识到其他人看不到它。"

这种开放的态度在Sutton与同事和学生的互动中体现得淋漓尽致。即使是在他获得图灵奖后，他仍然坚持与每个人平等交流，将他们视为智力上的同龄人。Sutton解释说，这并非刻意为之，而是他的本性："每个人都有见解要分享。我想要倾听以不同方式思考的人。我们想要扩大可能性的奥弗顿窗口，我认为这非常重要。"

六、人工智能的未来：马拉松而非短跑
在讨论人工智能当前快速发展的看法时，Sutton教授表达了一种更为冷静的长期视角。"我不赞同那种观点，即事情现在发展得如此之快。尽管已经取得了巨大的进步，但我认为这是一场马拉松，而不是短跑。我们还有很长的路要走。人工智能最伟大、影响最深远的方面尚未到来。"

这一观点对于当前充满炒作和焦虑的人工智能讨论提供了一个重要的平衡视角。Sutton教授在对话中展现的沉稳和远见也许正是他能够在数十年的研究生涯中保持一贯专注的原因。正如他所说："如果你长时间地、持续地在某件事上工作，你可以取得一些成就。" http://t.cn/A61FTgAQ