【[66星]nanoMoE：基于nanoGPT的轻量级MoE模型训练框架，让训练中等规模的MoE模型变得简单又高效。亮点：1. 支持混合精度训练，提升训练速度；2. 配置灵活，可快速适配不同硬件环境；3. 仅需2台3090 GPU，5天即可完成预训练】
'nanoMoE: An extension of the nanoGPT repository for training small MOE models.'
GitHub: github.com/wolfecameron/nanoMoE
#MoE模型# #轻量级训练# #混合精度# #AI创造营#