【#DeepSeek发布DSpark#】DeepSeek联合北京大学,直接卷起了算力效率。开源:全栈推测解码工具链 DeepSpec ,并打出内置的王牌加速算法 DSpark。
推测解码本是让小模型“打草稿”、大模型“总审”来给显卡提速,但过去高并发时盲目验证常导致算力雪崩 。DSpark 做了两大神级工程优化:
半自回归生成:加了轻量“纠偏小尾巴”,让小模型盲猜的准确率暴增,拒绝语意脱节。系统高峰期一旦发现后续字正确率低,立马“早停”截断,绝不让显卡为注定被拒绝的字干白工。
V4-Flash 引擎:吞吐量提升了 51%(在保证单用户 80 tok/s 的标准下)。而当要求拉满到 120 tok/s 时,吞吐量更是极其恐怖地飙升了 661%!
V4-Pro 引擎:在不同的响应标准下,系统吞吐量也分别暴增了 52% 和 406%。
线上实测:在不加显卡的前提下,打字吐字速度(生成速度)在相同吞吐水平下提升了 60% 到 85%,大模型顶级工程优化正在超越硬件限制。
#微博跨域计划#
发布于 湖南
