【大模型推理加速方案进展】3个大模型推理加速前沿方案解读：推测采样范式下的Eagle3、DFlash及Dspark，回顾最近大模型的前沿进展，可以看到一个很明显的趋势，就是加速，其很相关的推测采样 (Speculative Sampling) 是加速主流方案：小草稿模型快速生成一串候选 token，大目标模型一次性并行校验，大幅减少大模型前向推理次数。但，这个趋势之中有个更明显的趋势，那就是结合扩散块草稿模型进行加速，比如DFlash、HunyuanOCR-1.5、MiMo-V2.5-DFlash等，推测性解码用的草稿模型，是个block-diffusion模型。因此，借这个这个机会，对草稿模型而言，可以总结为两类，一类是自回归草稿模型（Eagle3等）逐token生成草稿；一类是并行草稿模型（DFlash、Medusa等）单次前向传播生成整块草稿；然后，也有一些结合两者的半回归方案，比如Dspark。所以，这里可以作为一个索引，列举出来，做个索引记录。先说一个结论，这三个方案其实有共性，细分三点。一个是都依赖主模型提供的“隐藏状态”，两者都不是独立的额外小模型（不用重新加载一个7B或13B模型，这是传统的推测解码）。它们都是直接挂在目标大模型内部的“插件”，强行“偷看”大模型计算时的中间隐藏状态（Hidden States），属于“内嵌式插件”，这是一个趋势，因为省显存，还能做到特征分布统一，准确性更高。一个是都遵循“草稿-验证-接受”的工作流： 草稿头快速瞎猜一串Token；主模型一次性并行验证这一串；只保留验证正确的部分，扔掉第一个错误点及其后面的所有内容。一个是都是“轻量级”的配件，为了实现加速，它们的草稿头参数量都极很微小，仅占主模型参数的2%-5%，这些较小的计算量，在主模型庞大的计算面前几乎可以忽略不计，从而完成加速。这其实是当年大模型性能到一定阶段之后，工程落地的一个趋势，如何保证尽可能不损失性能的情况下提速？http://t.cn/AXKXXYvW，可以作为一个前沿趋势关注。