回复@karminski-牙医:合理，scaling因素很大，并且之前ds都没超过T级别，这次也是对资源的很大挑战，要不然也不能晚了这么久//@karminski-牙医:我猜scaling是主要问题, 毕竟上线性注意力的超过1T的模型现在也没几个 （应该只有Ring-2.5-1T，Ling-2.6-1T 和 MiMo-V2.5-Pro ？）
发布于 江苏
刘聪NLP
回复@karminski-牙医:合理，scaling因素很大，并且之前ds都没超过T级别，这次也是对资源的很大挑战，要不然也不能晚了这么久//@karminski-牙医:我猜scaling是主要问题, 毕竟上线性注意力的超过1T的模型现在也没几个 （应该只有Ring-2.5-1T，Ling-2.6-1T 和 MiMo-V2.5-Pro ？）