小米够狠啊, 刚刚发布了 dflash 版 MiMo!

小米刚刚在自己的 HuggingFace 页面放出了 MiMo-V2.5-DFlash! 甚至都还没来得及更新README.

我赶紧看了一下它放出的代码实现, 发现有东西嗷.

这个推测性解码用的草稿模型, 是个block-diffusion模型!

注意, 不是U-Net那种连续diffusion, 骨干还是Transformer, 但解码范式是block diffusion: 一次forward并行猜一整块token, 再丢给大模型一次性验证.

跟传统的EAGLE那种自回归一点点draft完全不是一路货. 参考小米之前的 BLog, 编程场景接受长度能到 6+ (block=8, 接受长度就差不多等于提速倍数， 6x!), 所以它的提速效果会非常明显!

另外注意它是 Qwen/Z-Lab那套DFlash, 不是 DeepSeek DSpark. DSpark是把推测模块耦合进大模型同一个checkpoint里; MiMo这个是草稿权重单独拆出来发的, 就几层, 本地就2.94G.

我看了下, 这个草稿模型还是没办法单独当小模型用的. 它自己没有embed / lm_head, 每一步还得从MiMo多层hidden里抽特征做KV injection. 所以独立权重 ≠ 独立模型, 本质就是个加速插件.

另外它的Layer 选择是有点猛的, target_layer_ids配置中是[0, 11, 23, 35, 47], 连第0层都抽了；原版 DFlash 论文通常从浅层偏后位置开始均匀采样. 感觉会更吃早期表征, 或者需要适配 MiMo 的浅层语义分布.

以及它的block_size是8, 偏保守了. 论文和Qwen的实现是 10–16；更小意味着并行度略低, 但这样接受率通常更好, 偏部署稳妥.

#HOW I AI#

链接在这里: huggingface.co/XiaomiMiMo/MiMo-V2.5-DFlash