#北大与DeepSeek合作#DSpark推理加速框架的核心突破
北京大学与DeepSeek联合开源的DSpark框架,通过半自回归生成+置信度调度机制重构了大模型推理流程,显著提升高并发场景效率:
技术原理创新:
- 采用“小模型预生成候选内容,主模型批量验证”的推测解码逻辑。轻量级模型(草稿模型)快速生成多个token序列,主模型仅对候选内容进行单次并行校验,避免传统自回归解码的逐token计算瓶颈。
- 引入动态置信度调度,通过预测token存活概率,智能剪除低置信度候选内容,减少无效计算。相比固定长度候选块的传统方案(如Eagle3、DFlash),显著提升验证效率。
性能实测效果:
- 在DeepSeek-V4-Flash/V4-Pro预览服务中,单用户生成速度提升60%-85%(对比基线MTP-1),严格限制响应延迟时系统吞吐量最高提升400%。
- 优化覆盖多场景:对话、代码生成、数学推理任务中,有效保留token数量显著优于同类方案。
开源与兼容性优势:
- 完整开源训练代码、模型权重及论文(GitHub项目DeepSpec),采用MIT协议允许商用二次开发。
- 框架兼容主流开源模型(如Qwen、Gemma),中小企业无需高端硬件即可实现高并发推理,降低算力门槛。
行业影响:从“拼参数”到“拼效率”的范式转变
DSpark的发布标志大模型竞争进入新阶段:
降本增效:传统提速依赖堆砌GPU硬件,而DSpark通过算法优化将推理效率提升转化为实际成本节约。例如,高并发场景下算力损耗降低,单位请求成本显著下降。
工程化落地加速:框架解决生产环境中响应延迟与算力浪费的痛点,推动AI应用规模化部署。京东等企业已基于类似优化思路开发低延迟推理引擎(如xLLM),验证技术路径可行性。
国产AI生态协同:此次合作延续DeepSeek与高校的产学研联动模式(如2026年2月联合清华发布DualPath架构),强化底层技术自主创新。
客观局限与理性看待
部署门槛:本地运行需8卡GPU及38TB存储资源,暂更适合企业或研究机构。
场景适应性:复杂推理任务中预生成内容接受率可能下滑,加速效果存在波动。
官方数据提升幅度差异(51%-400%)源于测试场景差异:60%-85%为单用户生成速度提升,400%为特定硬件下峰值吞吐量。
发布于 浙江
