#Ilya罕见发声##大模型大力出奇迹到头了#

OpenAI前首席科学家Ilya Sutskever最近接受了一次深度访谈，透露了他对AI未来的最新思考。

访谈中，Ilya抛出了一个振聋发聩的观点：过去五年那种"只要砸钱买显卡就能买到未来"的暴力扩展（Scaling）时代，可能已经结束了。

他解释说，从2020到2025年，整个AI行业其实只在做一件事——扩展。预训练的逻辑很简单：投喂更多数据和算力，模型能力就会自动涌现。这让资本和巨头很舒适，因为它把不确定的科学探索变成了确定的工程投入。

但现在，预训练的数据终将耗尽，单纯把模型做大100倍带来的边际效益正在递减。我们正在被推回到2012-2020年那种"蛮荒时代"，即研究的时代。在这个新阶段，不再有现成的菜谱，如果你想让模型突破瓶颈，仅仅增加"量"已经不够了，你需要重新思考"质"。

Ilya提到了一个有趣的现象来解释当前模型的困境。他说，现在的模型就像一个刷题10000小时的竞赛选手，所有算法、所有证明技巧都在指尖，但这种准备反而让它无法泛化到其他领域。相比之下，那个只练习100小时但拥有"it"因子的学生，未来职业发展会更好。

这就引出了当前AI最大的问题：样本效率（Sample Efficiency）。人类青少年学开车可能只需要10小时练习，但最顶尖的自动驾驶模型需要在模拟器中经历数亿英里的训练。这种巨大鸿沟揭示了当前AI范式的缺陷，模型更像是一个过目不忘的"书呆子"，它记住了人类在世界上的所有投影，但并没有真正"理解"这个世界。

人类之所以能高效学习，是因为我们拥有一个强大的内在罗盘——价值函数（Value Function），或者说是一种由进化和情感塑造的"直觉"。当我们做错事时，不需要老师打分，内心会有某种不适感；当我们走在正确方向上，即便还没有结果，也会感到"顺手"。

Ilya举了一个神经科学的例子来说明情感的重要性：有个人因为脑损伤失去了所有情感处理能力，虽然他仍然能说话、解谜题，测试看起来正常，但他变得极度难以做决定：花几个小时决定穿哪双袜子，做出糟糕的财务决策。这说明我们内置的情感在让我们成为一个有效行动者方面起着关键作用。

目前的强化学习（RL）太依赖结果反馈，做完了才知道对错，而缺乏这种过程中的直觉指引。未来的突破，在于如何让AI拥有这种"未卜先知"的价值判断能力，不只是模仿人类的动作，更是模仿人类的"感觉"。

关于他的新公司SSI，Ilya透露了一个极具颠覆性的观点：不要试图让AI仅仅"爱人类"，而要让它"关爱有知觉的生命"（Sentient Life）。

他解释说，如果AI真的进化到超级智能阶段，它本身也将成为一种有知觉的生命。如果我们将规则设定为"人类至上"，那么在AI眼中，这可能就像奴隶主在制定规则，会导致潜在的对抗。反之，如果核心价值观是"关爱所有有知觉的生命"，那么AI、人类、动物将处于同一个道德框架下。利用类似"镜像神经元"的共情机制，一个拥有自我意识的AI，更有可能因为理解自己的感知，而去尊重他人的感知。

对于SSI的商业模式和研发方向，Ilya透露了几个关键信息。虽然SSI只融了30亿美元，看起来比其他巨头少很多，但他指出那些大公司的资金很大一部分用于推理服务、产品工程师、销售团队，真正用于研究的算力差距没有想象中大。而且SSI专注于不同的技术路线，不需要绝对最大的规模来证明想法是否正确。

Ilya曾经倾向于"直击超级智能"（Straight Shot），不发布中间产品，直到造出安全的超级智能。但现在他认为，让AI逐步进入公众视野可能更重要。他的理由很有意思：你写一篇关于AI的文章，人们会说"这是篇有趣的文章"；但如果你让人们看到AI真正在做这些事，那是完全不可比拟的。这不是传播想法，而是传播AI本身。

另一个重要观点是，Ilya认为AGI这个词和预训练一起，某种程度上"过度射击"了目标。他指出，按照AGI的定义，人类其实不是AGI，我们有基础技能，但缺乏大量知识，我们依赖持续学习。

所以SSI追求的超级智能，不是一个知道如何做经济中每一份工作的完成品，而是一个能够学习做每一份工作的心智。就像一个15岁的超级聪明学生，非常渴望学习，你可以让他去当程序员、医生，去学习。部署本身会涉及某种学习的试错期，这是一个过程，而不是你扔出一个成品。

Ilya还分享了他的研究品味（Research Taste）。他说指导他的是一种关于AI应该如何的美学，通过正确地思考人类是如何的。比如人工神经元直接受大脑启发，因为大脑有很多神经元，感觉是对的；分布式表示的想法；大脑从经验中学习，所以神经网络也应该从经验中学习。

他强调要从多个角度思考，寻找美、简洁。"丑陋没有容身之地。必须是美、简洁、优雅、来自大脑的正确灵感。这些东西需要同时存在。它们越存在，你就越能对自上而下的信念有信心。"

这种自上而下的信念，是当实验与你矛盾时支撑你的东西。因为如果你总是相信数据，有时候你可能在做正确的事但有个bug，但你不知道有bug。你怎么知道应该继续调试还是应该得出这是错误方向的结论？靠的是自上而下的信念。你可以说事情必须是这样，类似的东西必须有效，因此我们必须继续前进。

访谈最后，Ilya预测：真正的人类级别学习能力的AI，可能在5到20年内出现。那时，我们将见证一个真正的转折点：不是因为算力更大了，而是因为我们终于理解了智能的本质。

00:00:00 解释模型的锯齿性
00:09:39 情绪与价值函数
00:18:49 我们究竟在进行什么规模化
00:25:13 为什么人类的泛化能力优于模型
00:35:45 直线推进的超级智能
00:46:47 模型将从部署中学习
00:55:07 对齐
01:18:13 我们毋庸置疑是一家处于研究时代的公司
01:29:23 自我博弈与多智能体
01:32:42 研究品味 http://t.cn/AXLp1il7