🤔 DeepSeek 新开源的 DeepSpec，README 里有一句话直接能劝退一半人：默认 Qwen3-4B 配置下，target cache 大概 38 TB。

做 speculative decoding 训练，draft model 要学的不是任意输出，是 target model 在每个 prompt 上的真实 token 分布。所以得先把 target 在全量训练集上推一遍，把每个位置的 logits 或答案存下来当监督信号。

这一步又吃存储又吃推理卡：一堆 GPU 拉满做大规模采样，几十 TB 中间结果落盘。draft 才 0.5B-1B 看着便宜，前面数据生成的成本能顶得上预训练一个小模型。

以前在大厂卷推理优化的时候踩过类似的坑：论文里 acceptance rate 一句话带过，落到工程上是 draft 数据生成、target 版本对齐、采样温度策略，每一项都能让 ROI 掉一档。算法只是冰山尖。

💡 所以这次开源真正值钱的不是三个 draft 模型的实现，是把整条数据 pipeline 写明白了。能不能自己跑起来另说，至少能让工程师少走半年弯路。 deepseek-ai·DeepSpec