欧巴聊AI
26-06-29 21:46 微博认证:AI博主

DeepSeek 最新发的 DSpark,其实你早就用上了。

最近用 DeepSeek 的朋友,是不是感觉突然变快了?

你是对的,这不是你的错觉。

这背后是最近 DeepSeek 联合北大开源的一个新东西,叫 DSpark。

它成功替换了此前生产系统里的方案,你已经在不知不觉中,体验到了它的威力。

用大白话来说下,这东西到底干了啥。

先说一个最反直觉的点,大模型生成速度慢,瓶颈并非是算力不够,而是内存搬运慢。

你可以理解成模型的脑子转得飞快,但每说一个字就得回仓库翻一遍资料。

业界主流的提速做法是推测解码,找一个小模型当秘书,一口气多猜几个字,再交回给大模型老板去一次做验证,这就比自己慢慢构思快多了。

但过去的秘书普遍存在偏科现象,要么后劲足但起步慢,要么爆发力强,但越往后越离谱。

DSpark 全都要,完美融合了各家之长,独创了半自回归生成。

既能像 DFlash 一样,并行输出所有位置的基础预测,保证起步的爆发速度。

又接入了极度轻量的马尔可夫头,只看前一个字来做一次极低成本的概率修正,解决了后缀衰减问题。

这还没完。

在过去,不管秘书猜的对不对,即使明显错得离谱,也全部一股脑交给老板验证,既浪费算力又拖垮了整体的吞吐量。

DSpark 的另一个大创新,是引入了置信度调度验证。

不光能预测秘书猜的词在老板那里能过关的概率,为了防止 AI 盲目自信,还会在线对这些概率进行温度校准。

还会实时监控当前 GPU 的吞吐量曲线,当半夜服务器闲置,GPU 算力富余时,调度器会放开手脚,让系统大批量验证。

当早晚高峰服务器拥挤时,调度器会立刻收紧预算,只做少量高确定性的验证,不浪费一丝一毫的公共算力。

来看几个关键的数字。

跟 DeepSeek 原本就很能打的 MTP-1 基线比,DeepSeek-V4-Flash 和 V4-Pro 的推理生成速度,分别大幅提升了 60%~85% 和 57%~78%。

吞吐上更夸张,常规并发服务目标下,系统总吞吐提升 51%~52%,而在严苛的高并发服务目标下,名义吞吐优势能干到 406%~661%。

还没完。

D 老师把这套极致优化过的工程框架,全部开源了。

因为 DSpark 是通用的,理论上可以应用到任何一个模型。

论文里也拿 Qwen3 和 Gemma4 都做了验证,DSpark 的效果明显比之前的提速方案好。

怎么说呢,这波格局直接拉满。

DeepSeek 真不愧是源神。

#DeepSeek新发布的DSpark有多强##HOW I AI#

发布于 北京