参数是真猛,而且是完整国产化,这个是国内第一个实现的吧?
LongCat-2.0,它是一个总参数量达 1.6 万亿、每个 token 激活约 480 亿参数的 MoE 语言模型。LongCat-2.0 相比此前的 LongCat 系列引入了多项架构改进,实现了模型能力的显著跃升。
LongCat-2.0的完整训练流程与大规模部署均全部使用国产算力集群。预训练在5万余国产算力芯片上耗时月余完成,消费了超过 35 万亿 tokens,全程无回滚、无不可恢复的 loss 突刺。这一结果验证了我们有能力在国产算力平台上进行前沿级大规模模型训练。
注意,这个是预训练在5万余国产算力芯片上耗时月余完成,昇腾950?
这个有点牛逼了,我收回之前的话。
发布于 辽宁
