科技锐评
26-06-27 15:10 微博认证:微博公益合伙人 科技博主 微博原创视频博主

#DeepSeek发布DSpark#DeepSeek 今天发了 DSpark,专门给 V4 Flash 和 V4 Pro 用的推理加速方案。

说直白点就是,大模型回答问题的时候,先让一个小模型快速"猜"出答案草稿,然后大模型再逐段审核——对的部分直接跳过,错的部分才重写。这个过程跑得够快的话,整体吞吐能提 51% 到 400%。

关键是这东西不只 DeepSeek 自己能用。官方说在 Qwen、Gemma 这些开源模型上也测过,效果能迁移。这意味着如果你在跑自己的模型部署,这套方法大概率也能用上。

推理成本一直是大模型落地的硬门槛。如果 DSpark 的数字在真实场景站得住,对高并发应用来说是个实打实的好消息。

发布于 河北