#DeepSeek发布DSpark#DeepSeek 昨天开源了一个仓库叫 DeepSpec，里面带了一篇 DSpark 的论文
做的事很简单：让大模型推理更快。
现在大模型生成文字是一个字一个字往外蹦的，每次都要跑一遍全部参数。投机解码用一个更小的「草稿模型」提前猜好几个字，大模型再一次性验证，猜对了就省时间。
DSpark 的改进在两个地方：
一是让草稿模型猜得更准。并行猜虽然快，但后面的字没有前面字的信息，容易猜歪。DSpark 加了一个极轻量的序列头，让后面的字知道前面猜了什么，同时又不增加什么延迟。
二是验证得更聪明。猜了一串字，后面几个大概率会错，还拿去验证就是浪费。DSpark 训练了一个打分器，推理时根据分数动态裁剪掉不靠谱的部分