向度之桥
26-05-12 18:44 微博认证:科技博主

今天,看张小珺发了一期关于姚顺宇的深度访谈。

这个人真挺有意思的,会时不时冒出一些让人猝不及防的“小疯”言论。

比如他会说:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”

首先,姚顺宇不等于姚顺雨。

这位姚顺宇清华本科、斯坦福博士,曾经研究理论物理长达9年,后来毅然转行 AI,先后在 Anthropic 和 Google DeepMind 担任研究科学家,参与了 Claude 3.7、4.5和 Gemini 3等关键模型的开发。

硅谷 AI 圈有两位同名的 Yao Shunyu,都是清华同届毕业生,这让他们俩经常成为话题人物。

这期访谈信息量很大,我整理了一些我比较有兴趣的观点,和大家聊聊这位“半路出家”的 AI 研究员眼中的行业真相。

1️⃣ AI 个人英雄主义时代已经过去了

姚顺宇反复强调一个观点:现在做 AI,本质上是集体主义的故事,要对神话个体的一切叙事充满警惕。

他的原话是:“AI 个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢。”

在 Transformer 被发现之前,找到那个关键技术的人或小团队,可能算是英雄。

但进入大规模训练阶段后,更重要的是整个集体能不能一起工作,能不能为了一个目标共同投入时间和精力。

现在大家都是冲浪的人,本质上是那个浪,而不是你这个冲浪的人。

这个观点背后其实反映了 AI 行业的一个重要转变。当技术路线逐渐清晰,Scaling Law 成为共识后,拼的就不再是某个天才的灵光一现,而是组织的执行力、资源调配能力和团队协作效率。

这也解释了为什么 Anthropic 这样有强大执行力和创始团队凝聚力的公司,能够快速崛起。

2️⃣ Anthropic 的制胜法宝:top down 的组织架构

说到 Anthropic,姚顺宇给出了一个很有意思的观察。

这家公司最强的地方,是它能够实行自上而下的决策机制,而这在 AI 行业其实很难做到。

为什么难?

因为要实行 top down,你的技术决策人必须也是公司的决策人。

Anthropic 的技术领导人 Jared Kaplan 和 Sam McCandlish 都是公司联合创始人,他们在技术上能服众,在公司层面又有决策权,可以为公司负责。

更关键的是,Anthropic 的联合创始团队没有一个人离开过,他们是一群真正一起打过仗的人,从 Scaling Law 到 GPT-3的论文都是合著者。

相比之下,OpenAI 就很难做到这一点。

姚顺宇直言:“OpenAI 就干不了。”即使 Ilya 在的时候可能可以,但后来他失去了决策能力,最终离开了。

这个组织架构的差异,直接影响了公司的反应速度。

当 Claude 3在 X上被讨论“写代码比 GPT-4强”时,Anthropic 迅速捕捉到这个信号,全力押注 coding 方向。

这种执行力,来自于清晰的决策链条和团队之间的深度信任。

3️⃣ 后训练的分水岭:找到合适的环境

姚顺宇参与的 Claude 3.7,对 Anthropic 来说是一个分水岭式的模型。

在此之前,后训练都处于小规模、修修补补的状态。但在那个阶段,不管是 OpenAI、Anthropic 还是 DeepSeek,都意识到了后训练该怎么 scale up。

关键是,要找到合适的环境。这个环境的回馈信号要足够清晰,本身也要是一个很强的数据源,能让训练非常稳定。Coding 就是这样一个完美的抽象,回归信号清晰,数据充分。

很难在别的场景下,同时找到这两个特质。

但姚顺宇对自己的贡献异常谦虚。

他反复说:“我自己对那个事没那么重要,更多的是我很幸运,有机会在那个时候加入了一个重要的项目。”

他认为,很多想法其实非常 trivial,谁都能想、谁都能干,只是运气好撞着这个机会而已。

4️⃣ 预训练和后训练都没到平台期

关于预训练是否“金矿快挖完了”这个问题,姚顺宇的看法经历过摇摆。

刚加入 Anthropic 做3.7实验时,他也曾觉得预训练的 party 快 over 了。但随着了解越来越深入,他发现还有很大的空间。

他的判断是:预训练和后训练都没有达到平台期。

到达平台期有两种可能,一种是技术本身到了极限,另一种是我们想干的事到了平台期。

现在的情况是后者,模型是一个非常聪明的小孩,你可以教它很多东西,但我们人类作为老师,还不知道下一个东西该教什么,或者该怎么用现有范式合理地教它。

事实也证明了这一点。

后来 Anthropic 和 Gemini 的预训练一直在不断进展,反而是 OpenAI 自己卡了很久,最近才有点进展。

5️⃣ 从 Anthropic 到 Google:不同的打法

去年9月,姚顺宇从 Anthropic 跳槽到 Google DeepMind。这个选择在很多人看来挺反常的,大多数人都是从大公司往小公司跳,他反而反着来。

他的解释很简单:想学不一样的东西。

Anthropic 作为 startup,重要的是 make bet,得赌一件事,所以 top down 的决策机制很有优势。

但 Google 作为大公司,是另外一套打法,在方方面面都有储备,任何一个事成了都能跟上。

在 Gemini,他主要做两个方向:ML coding 和 long horizon。

ML coding 是想实现 AI 自己训练自己的完整历程,long horizon 则是研究如何用有限的 context 做更长的工作。

这两件事有点相关、有点互补,都在模型使用工具和环境交互这个大范畴内。

姚顺宇说,如果你想要的是有研究自由、探索自由,想从更广泛的人学习,这个世界上可能找不到第二个比 Gemini 更强的地方。关键是要想明白自己想要什么。

AI 行业正在从个人英雄主义走向组织能力的竞争。技术路线逐渐清晰后,拼的是执行力、组织架构和团队协作。

但与此同时,这个领域依然充满机会,因为预训练和后训练都还没到平台期,模型的能力边界还在不断扩展。

发布于 上海