教你如何10秒钟训练一个小模型!

教大家如何从0训练一个(电)小(子)模(鹦)型(鹉)! (不包熟啊.....逃...) 只需要10秒钟! 而且完全不用搭建环境! 全程在网页训练!

首先你需要有个Mac, 我试了下N卡应该也行, 但是貌似有点问题适配的不好(我的3080Ti它适配失败了WarpSize不支持), 所以建议还是使用 Apple Silicon (M1-M5) 的 Mac 训练.

然后使用llmistanbul直接把你的纯文本文档拖进去就行, 尽量不要包含奇怪的格式, 比如markdown或者json啥的, 不然输出会很奇怪. 我这里直接把哈利波特1-7拖了进去 (注意, 你私下炼作为研究没人管, 但不要把别人的著作炼完了发出去, 请尊重原作者).

然后按照我这个图1, 开始训练BPE(字节对编码), 处理完毕后你会得到一个xxx.bin的文件, 导入到第二步, 然后随便选参数就行了, 这里可以自由探索, 比如注意力头和层数都能自己随便设置着玩. 然后点击训练就行了.

我用 Mac Studio M2 Ultra 训练还是比较快的, 隐藏层维度(d_model) 128 能达到 25step/s. 最后给大家看训练出来的效果.

我训练了3个版本, 分别是24M 500步(只需要10秒), 36M 10000步(大概用了10分钟), 36M 50000步(用了30分钟左右).

可以看到500步那个基本就是在猴子打字, 10000步的有点样子了, 而50000步的基本能形成一些单句了, 很有意思.

这还只是36M大小的小模型, 大家要是有时间可以试试挂机几十小时训练一个500M的模型试试.

(不得不说Apple Silicon芯片真的省电, GPU训练只需要15W, 这要是N卡, 煎饼果子估计都摊好了哈哈哈哈)

最后, 这个好玩的网站在这里: llm.istanbul

#HOW I AI#