之前某 xxfloat 的精度问题导致了很多教训，训练这块真不是能灵机一动的，需要慢慢积累内功，代价太大了//@karminski-牙医:回复@stockGPT:推理其实相对简单, 甚至一些国产开发板上都能用自己搞的加速单元推理(llama.cpp魔改就行). 训练就特别难了. 而且训练还有稳定性问题, 推理炸了一个顶多n个用户骂娘. 训练如果不稳定可能整炉丹药就全是废丹了.....//@stockGPT:那 anthropic 的 Claude 为什么能跑在 TPU 上呢？谷歌给 A 家投资小几百亿了，条件就是要买谷歌云服务（TPU 算力）？训练大模型需要更高稳定算力，A 家可能只是推理在 TPU，训练还是在 N 家，那 M 家也可以训推分离哦！