#开源首超GPT4o#

最强开源大模型Llama 3.1，漏成筛子了。

来自ICML现场的消息，模型将于7月23日（北京时间7月24日）正式发布，PyTorch创始人Soumith Chintala在演讲中确认。

与此同时，下载链接、跑分结果、模型卡、配置文件通通泄露，虽然未经官方证实，还是引起大量讨论。

Llama-3.1-405B超大杯版本，在来自微软Azure-ML GitHub账户的多项评测中超越GPT-4o，甚至70B版本也能和GPT-4o打个有来有回。

附加说明中强调，这还是base模型的评测结果，经过对齐训练的instruct模型分数还可能提高。

如果数据准确，那么最强开源大模型，就是最强大模型了。

根据泄露版模型卡，Llama 3.1亮点如下：

- instruct模型针对多语言对话进行了优化，明确宣传了“以多语言文本和代码作为输出模式”。
- 每个版本的上下文窗口都从8k增加到128K，足足扩大16倍。
- 训练在 H100-80GB上累计使用了3900万GPU时，8B 为150万，70B为700万，最大头405B占用3100万GPU时。
- 在来自公开数据的约15万亿tokens上训练。微调数据包括公开可用的指令数据集，以及超过2500万个合成数据示例。

Llama 3.1版本日前刚刚曝光，不仅超大杯版405B将发布，此前已经发布的Llama 3 8B和70B版本也会升级到3.1。

为了更直观展示升级幅度，Smol AI团队根据目前泄露版模型卡中的数据制作了对比表格。

- 对于8B中杯，3.1相对3.0有大幅提升，似乎在更难的任务上提升幅度更大。
- 对于70B大杯，3.1版本仅在数学和API调用上提升较大。
- 并不存在3.0-405B，而蒸馏得出的3.1-70B并不比超大杯405B落后太多。
- 对于405B超大杯，对比闭源旗舰模型还有差距，与微软Azure-ML版本的测试结果不同。

还有人对比了随Llama 3.1而来的新开源协议全文，从中也发现惊喜：取消了禁止使用 Llama 3 改进其他模型的规定。

不过也随之附加了一条规定：所有使用Llama输出结果训练、微调或以其他任何方式改进的模型，都应在模型名称的开头包含“Llama”http://t.cn/A68bIpIn