刘聪NLP
26-06-12 21:30 微博认证:AI博主

啥?盘古是国内第一个大模型?

晚上刷手机,信息流全是老余在华为发布会的视频,
说是国内第一个大模型,乃至于全世界都没有大模型概念的时候,盘古大模型就出了?

我去翻了一下,该说不说,还是挺严的,

PanGu-α 模型论文是2021年4月26号发的,
同期,百度的Ernie3.0是2021年7月5日发的,
盘古大哥确实胜了。

还有LLM的概念,
因为之前都叫做预训练模型,Pretrained Language Models,也就是PLM,

GPT3也确实没用叫自己大模型,
OpenAI败给了自己,非要沿用自己的模型名称体系,

但是PanGu-α 论文里,
摘要开篇提到,Large-scale Pretrained Language Models,
嗯,确实是大模型概念。

这波,确实遥遥领先了。

说月底会开源?到时候看看怎么回事儿~

参考论文见:
Language Models are Few-Shot Learners
PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation
ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation

发布于 江苏