Keller Jordan的一篇博文，介绍了自己写的一种名为Muon的优化器，它专门用于优化神经网络中的隐藏层参数。据说博主因为这篇博文入职了OpenAI
kellerjordan.github.io/posts/muon/
Muon在NanoGPT和CIFAR-10的速度记录中得到了应用，并显著提高了训练速度。文章详细讨论了Muon的设计原理、实现方法、实验结果以及与其他优化器的比较。
#AI创造营##微博兴趣创作计划#