小米 MiMo 团队联手机器学习编译优化系统组 TileRT，正式推出 MiMo-V2.5-Pro-UltraSpeed 推理模式。这是业界首次在标准 8 卡通用 GPU 节点上，让万亿参数（1T）混合专家（MoE）模型稳定跑出超 1000 tokens/s 的生成速度，峰值逼近 1200 tokens/s，全程不依赖 Cerebras 或 Groq 这类定制芯片。

底层靠三板斧打穿瓶颈：MoE 专家层做 FP4 无损量化压内存，DFlash 块级并行投机解码跳过逐 token 串行等待，TileRT 推理引擎用常驻内核加异构流水线消掉算子切换空泡
。结果是单节点高吞吐直接压低推理成本、削减排队延迟、降低私有化部署门槛，也为代码生成、Agent 推理等低延迟场景铺了路。目前 UltraSpeed 模式已同步开放 API 申请体验，小米这步把"快"从硬件特权变成了可普惠调用的基础能力。
#小米大模型刷新全球最快推理速度#