吴怼怼啊
26-06-17 15:44 微博认证:微博新知博主 科技博主 头条文章作者

把国内大模型早期时间线捋了一下,争议其实出在“第一个大模型”这个口径。

如果放到全球,2019 年 GPT-2 已经把生成式语言模型的能力展示出来了,完整模型 15 亿参数;到 2020 年 5 月,GPT-3 又把 175B 参数、few-shot、in-context learning 这套叙事打穿。所以说“当时全球都不知道大模型”,更多是发布会式夸张,不是严格历史表述。

如果只看中国,最早一批路线大致是这样:

2020 年 11 月,智源支持清华团队发布清源 CPM,26 亿参数,可以算中国早期正式发布的中文大模型之一。

2021 年 3 月,智源牵头发布悟道 1.0,唐杰团队挂帅,这条线后来和 GLM、OpenBMB、智谱等都有关系。同月,阿里 M6 论文也出来了,走的是多模态大模型路线。

2021 年 4 月 26 日,华为 PanGu-α 论文发布,最高 200B 参数,是非常早的千亿级中文自回归语言模型。

2021 年 7 月,百度 ERNIE 3.0 发布,时间上确实晚于 PanGu-α;百度 260B 的 ERNIE 3.0 Titan 则是 2021 年底。

所以比较准确的说法是:

盘古不是“中国第一个大模型”这个大口径下的第一名。中国最早的系统性大模型研究,很大一部分确实要追溯到智源/清华这条线。

但盘古也不是后来者。它在 2021 年 4 月就做到了 200B 级中文自回归模型,放在当时国内产业界,确实起得很早。

也就是说,问题不在于“盘古早不早”,它确实早;问题在于不能把“很早的千亿级中文模型”直接改写成“中国第一个大模型”。

真正值得看的,反而是今天:当年的“早”,这次 openPangu 2.0 能不能变成现在的“强”。

发布于 上海