今天,看张小珺发了一期关于姚顺宇的深度访谈。
这个人真挺有意思的,会时不时冒出一些让人猝不及防的“小疯”言论。
比如他会说:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”
首先,姚顺宇不等于姚顺雨。
这位姚顺宇清华本科、斯坦福博士,曾经研究理论物理长达9年,后来毅然转行 AI,先后在 Anthropic 和 Google DeepMind 担任研究科学家,参与了 Claude 3.7、4.5和 Gemini 3等关键模型的开发。
硅谷 AI 圈有两位同名的 Yao Shunyu,都是清华同届毕业生,这让他们俩经常成为话题人物。
这期访谈信息量很大,我整理了一些我比较有兴趣的观点,和大家聊聊这位“半路出家”的 AI 研究员眼中的行业真相。
1️⃣ AI 个人英雄主义时代已经过去了
姚顺宇反复强调一个观点:现在做 AI,本质上是集体主义的故事,要对神话个体的一切叙事充满警惕。
他的原话是:“AI 个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢。”
在 Transformer 被发现之前,找到那个关键技术的人或小团队,可能算是英雄。
但进入大规模训练阶段后,更重要的是整个集体能不能一起工作,能不能为了一个目标共同投入时间和精力。
现在大家都是冲浪的人,本质上是那个浪,而不是你这个冲浪的人。
这个观点背后其实反映了 AI 行业的一个重要转变。当技术路线逐渐清晰,Scaling Law 成为共识后,拼的就不再是某个天才的灵光一现,而是组织的执行力、资源调配能力和团队协作效率。
这也解释了为什么 Anthropic 这样有强大执行力和创始团队凝聚力的公司,能够快速崛起。
2️⃣ Anthropic 的制胜法宝:top down 的组织架构
说到 Anthropic,姚顺宇给出了一个很有意思的观察。
这家公司最强的地方,是它能够实行自上而下的决策机制,而这在 AI 行业其实很难做到。
为什么难?
因为要实行 top down,你的技术决策人必须也是公司的决策人。
Anthropic 的技术领导人 Jared Kaplan 和 Sam McCandlish 都是公司联合创始人,他们在技术上能服众,在公司层面又有决策权,可以为公司负责。
更关键的是,Anthropic 的联合创始团队没有一个人离开过,他们是一群真正一起打过仗的人,从 Scaling Law 到 GPT-3的论文都是合著者。
相比之下,OpenAI 就很难做到这一点。
姚顺宇直言:“OpenAI 就干不了。”即使 Ilya 在的时候可能可以,但后来他失去了决策能力,最终离开了。
这个组织架构的差异,直接影响了公司的反应速度。
当 Claude 3在 X上被讨论“写代码比 GPT-4强”时,Anthropic 迅速捕捉到这个信号,全力押注 coding 方向。
这种执行力,来自于清晰的决策链条和团队之间的深度信任。
3️⃣ 后训练的分水岭:找到合适的环境
姚顺宇参与的 Claude 3.7,对 Anthropic 来说是一个分水岭式的模型。
在此之前,后训练都处于小规模、修修补补的状态。但在那个阶段,不管是 OpenAI、Anthropic 还是 DeepSeek,都意识到了后训练该怎么 scale up。
关键是,要找到合适的环境。这个环境的回馈信号要足够清晰,本身也要是一个很强的数据源,能让训练非常稳定。Coding 就是这样一个完美的抽象,回归信号清晰,数据充分。
很难在别的场景下,同时找到这两个特质。
但姚顺宇对自己的贡献异常谦虚。
他反复说:“我自己对那个事没那么重要,更多的是我很幸运,有机会在那个时候加入了一个重要的项目。”
他认为,很多想法其实非常 trivial,谁都能想、谁都能干,只是运气好撞着这个机会而已。
4️⃣ 预训练和后训练都没到平台期
关于预训练是否“金矿快挖完了”这个问题,姚顺宇的看法经历过摇摆。
刚加入 Anthropic 做3.7实验时,他也曾觉得预训练的 party 快 over 了。但随着了解越来越深入,他发现还有很大的空间。
他的判断是:预训练和后训练都没有达到平台期。
到达平台期有两种可能,一种是技术本身到了极限,另一种是我们想干的事到了平台期。
现在的情况是后者,模型是一个非常聪明的小孩,你可以教它很多东西,但我们人类作为老师,还不知道下一个东西该教什么,或者该怎么用现有范式合理地教它。
事实也证明了这一点。
后来 Anthropic 和 Gemini 的预训练一直在不断进展,反而是 OpenAI 自己卡了很久,最近才有点进展。
5️⃣ 从 Anthropic 到 Google:不同的打法
去年9月,姚顺宇从 Anthropic 跳槽到 Google DeepMind。这个选择在很多人看来挺反常的,大多数人都是从大公司往小公司跳,他反而反着来。
他的解释很简单:想学不一样的东西。
Anthropic 作为 startup,重要的是 make bet,得赌一件事,所以 top down 的决策机制很有优势。
但 Google 作为大公司,是另外一套打法,在方方面面都有储备,任何一个事成了都能跟上。
在 Gemini,他主要做两个方向:ML coding 和 long horizon。
ML coding 是想实现 AI 自己训练自己的完整历程,long horizon 则是研究如何用有限的 context 做更长的工作。
这两件事有点相关、有点互补,都在模型使用工具和环境交互这个大范畴内。
姚顺宇说,如果你想要的是有研究自由、探索自由,想从更广泛的人学习,这个世界上可能找不到第二个比 Gemini 更强的地方。关键是要想明白自己想要什么。
AI 行业正在从个人英雄主义走向组织能力的竞争。技术路线逐渐清晰后,拼的是执行力、组织架构和团队协作。
但与此同时,这个领域依然充满机会,因为预训练和后训练都还没到平台期,模型的能力边界还在不断扩展。
