斌叔OKmath
26-06-04 08:27 微博认证:橙旭园CEO 教育博主

微软 MAI 技术报告是一座金矿,对于这个规模的模型来说,它是最透明的之一。

这个模型不使用任何合成数据或从先前模型的蒸馏。这意味着推理、代理行为、工具使用都是在后训练期间完全学习到的,没有冷启动。大胆的选择,这使得达到 SOTA 变得更难,需要更多迭代,但你能完全掌控你的模型系列,这证明他们认真对待成为前沿实验室。

技术报告对数字的描述极其详细和精确。举个例子,他们给出了模型所有迭代的精确 MFU,以及确切的变化等。他们还分享了完整的缩放阶梯配方,据我所知,这是我第一次在这个规模的技术报告中看到这个。

让我们在这个可能很长的线程中看看这一切 🧵

发布于 北京