科技阿浪
26-06-27 16:24 微博认证:数码博主

#DeepSeek发布DSpark#

DeepSeek联合北大正式开源DSpark推理加速框架,直击大模型高并发场景下延迟高、算力浪费的行业痛点 。这套全新推测解码方案,打破固定草稿长度的旧模式,依靠半自回归生成与置信度动态调度,砍掉大量无效计算,在保证输出质量不变的前提下,把单用户生成速度提升60%至85%,整体服务吞吐量最高翻四倍 。

目前该技术已经落地DeepSeek-V4系列模型,实测效果亮眼。更难得的是,DSpark拥有极强兼容性,不仅适配自家模型,还可在Qwen、Gemma等多款主流开源大模型上顺利部署,普惠整个AI行业。

当推理成本持续下降,AI服务就能摆脱硬件束缚,更低门槛落地各行各业。国产AI不再只比拼模型参数,开始深耕底层推理优化,用硬核工程技术构筑竞争力,持续领跑全球大模型基础设施赛道。 http://t.cn/AXSQ4HpT

发布于 山东