#DeepSeek发布DSpark#DeepSeek联合北大推出推理加速框架DSpark,针对大模型高并发推理慢、算力成本高的痛点,创新半自回归生成搭配置信度调度推测解码,可智能筛除无效计算,适配DeepSeek-V4系列模型,也兼容Qwen、Gemma等主流开源模型。实测相比传统MTP基线,推理吞吐提升51%至400%,单用户生成速度提升60%-85%,输出质量不受损耗。目前相关代码、论文已开源,无需升级硬件即可部署,能大幅降低AI对话、知识库、智能代理等业务的算力开销,为行业提供低成本高并发优化方案。
发布于 四川
