DDN这回是真给AI推理降本增效了。新发布的分布式KV Cache与NVIDIA Dynamo正式GA，官方称KV cache加载速度最高提升55倍。翻译成人话：以前大模型推理时，几十GB的KV cache从存储拉进GPU要等好几秒，现在几百毫秒就能搞定，实时交互场景不再卡顿。同时登场的AI400X3M存储更是狠货：190GB/s读取带宽、800万随机读IOPS，比上代快35%，单机架能堆30PB容量。这意味着训练集群喂数据不再成为瓶颈，GPU利用率直线拉升。55倍缓存加速 + 35%更快的存储，对万卡级推理部署来说，每瓦性能比又跳了一截。
#DDN #NVIDIA #AI存储 #KVCache