MiniMind：大语言模型教学项目，完全从0开始，最快仅用3小时，训练出仅为26M大小的微型语
项目地址：github.com/jingyaogong/minimind

MiniMind改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。
这是一个既是开源项目，又是入门LLM教程，同时也是一个初具雏形的开源模型，希望能起到抛砖引玉的作用。
本项目的目标是把上手LLM的门槛无限降低， 直接从0开始训练一个极其轻量的语言模型。 http://t.cn/A6R3g7hF