槐角不甘心
26-06-09 09:10 微博认证:汽车博主

关注到,小米推出了mimo极速版
啊不,是MiMo-V2.5-Pro-UltraSpeed
将 1T 参数模型的生成速度推向 1000 TPS

也就是一秒钟最多可以生成1000token

目前定价是MiMo-V2.5-Pro的三倍,输出速度则是10倍,这个速度可以说非常恐怖了

这个速度是怎么实现的呢?首先是进行了 FP4 量化,引入基于块级 masked 并行预测的高效推测解码 DFlash,大幅提升单次验证的 Token 接受长度。用一个8卡的gpu节点就实现了这样的1000tps的能力

感兴趣的可以看一下blog
http://t.cn/AXXuRRM4 http://t.cn/AXX13jVZ

发布于 内蒙古