AI产品阿颖
26-04-28 07:36 微博认证:科技博主

聊几句 DeepSeek V4 的体感。

昨天一天,终于把 DeepSeek V4 的论文给啃完了。东西真不少,一环扣一环,我又看了很多其他相关论文。说一点自己对 DeepSeek V4 和国产模型的体感。

实测一下就能感觉到,V4 的智力没有预想的好,甚至没有超过另外几款国产模型,距离头部模型至少还有七个月。

但 DeepSeek 这家公司,大家都喜欢,X 上的老外也喜欢。核心还是他们在静下来做一些重要的技术创新。所以即便能力没到硅谷一线模型的水准,仍然赢得了尊敬。

看到一条 X 帖子说得挺有意思:这一轮 AI 竞赛里,美国几家头部公司,OpenAI、xAI、Anthropic 互相瞧不上,创始人之间也没什么交流,也没开源。

中国这边却很不一样,几乎所有头部大模型公司都把开源当成重要的策略之一,大家之间的研究成果会互相共享。

拿这次的 V4 举例子。论文中,创新有三块:混合注意力机制、mHC、Muon。

仔细研究会发现,这三个方向不只是 DeepSeek 一家在做,国内很多 AI 公司都在往这上头硬啃。所以 V4 这次的创新更像是一种咬合式创新。

比如 mHC。字节之前提出过 Hyper-Connections 的思路,DeepSeek 后来又在字节 HC 的基础上加了流形约束,做出来 mHC。典型的渐进式创新,前一棒交到后一棒手上,再往前走一步。

Muon 这条路更明显。去年 2 月,Kimi 发了论文,第一次证明 Muon 能放大到 LLM 训练。后来 Kimi 的 K2,是第一个用 Muon 训练出来的前沿模型。这次 V4 直接沿用了这个思路。可以说,Muon 整条路就是 Kimi 开辟出来的,V4 也接棒了。

国内创新性比较强的这几家公司,技术思路是咬合在一起的。反观硅谷,技术方向上相对都是封闭的,除了人才流动之外,交流很少。

这有点像当年莱特兄弟的故事。飞机被发明出来之后,他们把专利锁死,整个美国航空业卡在原地好几年。

直到一战开打,美国政府发现自己居然造不出能打的飞机,才出面搞了个专利池,让大家共享核心专利。这之后,美国的飞机产业才真正跑起来。

专利池的本质,就是研究共享。

国产大模型今天的状态,多少有点专利池那个味道。一家想清楚一个方向,开源出来,下一家接着往前走一步,再下一家把它做成更大的实战系统,整体往前推进的速度就比较快。

即便目前国产模型仍然没有超越御三家,但我觉得这些事情是值得尊重和喝彩的。

最后推荐一下我们 5 月 23 日在深圳的 AI Maker Summit 大会,日程已经上线,5 月 1 日要涨价。欢迎感兴趣的同学来报名。

http://t.cn/AXAzWEbL

发布于 北京