大语言模型推理时，传统自回归解码一个token一个token生成，速度总是让人望而却步。投机解码（Speculative Decoding）虽能加速，但draft模型质量和效率往往难以兼顾。

DFlash 通过创新的块扩散（Block Diffusion）机制，带来高效高质量的并行草稿生成，让LLM推理速度飞跃！

支持vLLM、SGLang、Transformers、MLX等多种推理框架，兼容Qwen3.5、Gemma-4、Llama等热门模型，已有3k+星标认可。

GitHub：github.com/z-lab/dflash

主要特色：

- 块扩散模型，实现高效并行草稿生成，大幅提升推理吞吐；
- 支持vLLM、SGLang等主流推理引擎，一键集成加速；
- 覆盖Qwen3.5全系列、Gemma-4、Llama-3.1等多模型生态；
- 支持Apple Silicon (MLX)，GPU/CPU全平台加速；
- 自动化基准测试，gsm8k、human-eval等数据集验证效果；
- 开源训练配方即将发布，可训练自定义DFlash draft模型。

支持Docker快速部署，通过uv pip或torchrun安装，支持多卡并行，适合AI开发者、研究者和服务部署。

#DFlash##投机解码##LLM推理##人工智能#