26-03-17 17:57

记者注意到,为让架构设计更贴近真实推理负载,以更高性价比支撑大模型落地,云天励飞已经公开提出GPNPU技术路线,并围绕大模型推理场景提出PD分离的系统架构思路,规划推出P芯片与D芯片,分别面向prefill与decode的不同需求展开优化;同时,公司也公开提到,通过3D堆叠存储与软硬协同设计,优化推理链路中的带宽与时延瓶颈。

其中,P芯片适用于AI推理的前段任务prefill(前段预填充),通常涉及大量并行计算,芯片需具备高并行算力、大内存容量和高吞吐;D芯片则负责推理任务的后段decode(解码),更看重低时延、低抖动和快速响应。

在业内人士看来,英伟达在GTC2026上推出的Rubin GPU+LPX(LPU)就是面向AI推理的prefill(高并行、高吞吐)和decode(极致低时延Token生成)两个阶段。与英伟达的“推理异构化”一样,云天励飞围绕GPNPU、PD分离、3D堆叠存储构建的推理芯片架构,具有“异曲同工”之妙。

云天励飞陈宁:英伟达LPX是AI推理时代加速到来的风向标http://t.cn/AXf2ZPkE (来自@东方财富网)

发布于 江西