#DeepSeek发布DSpark#DeepSeek联合北京大学正式推出DSpark大模型推理加速框架,聚焦大模型高并发场景下推理延迟高、算力浪费的行业痛点。该框架采用半自回归生成与置信度动态调度机制,优化候选文本生成与算力分配,在保障输出质量不变的前提下,单用户生成速度可提升60%-85%,整体服务吞吐量最高提升四倍。目前DSpark已落地DeepSeek-V4系列模型,同时兼容通义千问、Gemma等主流开源大模型,相关代码与训练仓库同步开源,助力行业降低AI推理成本,推动大模型高效落地。
发布于 福建
