指弹里里o_o
26-06-27 16:42 微博认证:音乐博主

#DeepSeek发布DSpark#
近日,DeepSeek携手北大推出并开源了DSpark大模型推理加速框架,专门解决大模型运行慢、算力成本高的行业难题。不同于行业普遍靠堆砌硬件提速的做法,这款框架主打软件算法优化,已经落地在自家新版大模型中,还能适配通义千问等多款主流开源模型,兼容性极强。

技术上它做了很大升级,通过半自回归生成提升文本准确率,再搭配硬件感知的动态调度机制,智能分配算力。实测大幅提高模型吞吐量和响应速度,高低并发场景都能稳定运行。

这次技术突破也改变了行业竞争风向。大模型不再一味比拼参数大小,高效降本、工程落地能力成了新赛道,靠软件优化提效也成为国产AI发展的核心趋势。 http://t.cn/AXSQqqMG

发布于 广东