川北小哥
26-06-27 15:34 微博认证:科技博主

#DeepSeek发布DSpark#DeepSeek正式推出全新解码优化技术DSpark,适配自家V4 Flash以及V4 Pro大模型。这项技术核心采用置信度调度推测解码,融合半自回归生成方式,简单来讲就是改变大模型传统逐字输出模式,预判后续文本内容,大幅提升模型推理速度。

实测数据显示,搭载DSpark优化后,模型整体吞吐量能够提升51%‑400%,提速效果跨度非常可观。值得一提的是,该算法兼容性很强,不局限于DeepSeek自家模型,在通义千问Qwen、Gemma等多款主流开源大模型上都可以直接适配迁移,通用性优势突出。

当下各大模型厂商都在比拼推理成本与响应速度。DSpark不用改动模型底层权重,依靠解码算法优化实现性能跃升,既能降低服务器算力消耗,又可以缩短问答回复延迟。后续大概率会快速普及到各类开源模型,对轻量化部署、本地部署以及AI应用降本增效,都会带来不小影响。

发布于 广东