玖焺
26-06-27 17:58 微博认证:投资内容创作者 财经观察官

近期DeepSeek携手北京大学推出DSpark推理加速框架,同步开放配套技术代码与训练框架,为大模型推理效率升级带来全新解法,也让行业看到从底层工程优化突破性能瓶颈的新思路。长期以来,大模型逐token自回归生成模式,一直制约着线上高并发场景的响应速度,而DSpark依托改良的推测解码思路,以轻量化模型预生成候选内容,主模型统一批量校验,从底层改变串行计算模式,在完全不损耗文本输出质量的前提下实现提速。 http://t.cn/AXSQ9SwQ

发布于 北京