#DeepSeek发布DSpark#传统LLM自回归推理逐Token生成,每词都要完整前向传播,高并发场景下延迟高、GPU利用率低;主流推测解码方案固定草稿长度,算力浪费、提速上限低。DSpark通过三大原创技术解决该问题:1. 半自回归草稿生成
轻量草稿模型并行批量预生成多段候选Token,打破逐词推演限制,一次性产出长片段候选。
2. 置信度动态调度
实时评估草稿可信度:高置信片段直接放行,低置信片段截断重算,不浪费大模型算力。
3. 硬件感知前缀调度
实时读取GPU显存、负载状态,动态调整单次核验长度,最大化硬件并行效率。
DSpark大幅降低高并发对话、长文本生成、代码服务的GPU算力成本,解决大模型线上服务“延迟高、并发弱、成本贵”工程难题;国产自研推测解码方案开源,为国内大模型推理基础设施提供轻量化、高效率底层方案。
发布于 上海
