关注到,小米推出了mimo极速版
啊不,是MiMo-V2.5-Pro-UltraSpeed
将 1T 参数模型的生成速度推向 1000 TPS
也就是一秒钟最多可以生成1000token
目前定价是MiMo-V2.5-Pro的三倍,输出速度则是10倍,这个速度可以说非常恐怖了
这个速度是怎么实现的呢?首先是进行了 FP4 量化,引入基于块级 masked 并行预测的高效推测解码 DFlash,大幅提升单次验证的 Token 接受长度。用一个8卡的gpu节点就实现了这样的1000tps的能力
感兴趣的可以看一下blog
http://t.cn/AXXuRRM4 http://t.cn/AXX13jVZ
发布于 内蒙古
