#DeepSeek发布DSpark#
DeepSeek联合北京大学正式开源DSpark推理加速框架,直击大模型高并发场景下算力空转、响应缓慢的行业痛点。这套方案融合半自回归生成、置信度调度与硬件资源调控,跳出传统逐词生成模式,先批量预生成候选文本,再智能核验内容,大幅削减无效计算开销。
在V4系列模型实测中,对比主流MTP基线,同等并发条件下单用户生成速度提升60%-85%,系统吞吐量最高可突破4倍涨幅,并发压力越大,提速优势越突出。框架通用性极强,不仅适配自家模型,还可无缝兼容通义千问、Gemma等主流开源大模型。
整套技术完整开源至GitHub,企业无需新增硬件投入,依托现有服务器就能承接更多访问请求,有效压低云端运营成本。这也意味着大模型行业竞争正式从比拼参数规模,转向比拼推理效率与落地性价比。 http://t.cn/AXSQqqMG
发布于 重庆
