英伟达确认AI正重塑存储堆栈,一切存储的重要性均有提升!【国联民生海外在CES!】
[太阳]英伟达确认AI正重塑存储堆栈:过去KV Cache的体积随着大模型发展(Agent、物理世界、推理的需求提升),历史对话的大小和规模线性膨胀,而放在HBM中的经济性和天花板相对较低。因此Vera Rubin的解决方案是将存储放入机架并用BF4管理,BF4作为DPU外还同时承担KV Cache管理器的角色,通过4个BF4管理和虚化150TB的内存池,每个GPU额外获得16TB的专用空间。
内存语义级的大规模分层存储浪潮:在此情境下DRAM 不再存储全量数据,而是作为 SSD 的高速缓存和元数据管理(Metadata),确保数据能快速从 SSD 搬运到 GPU,也就是我们正经历内存语义级的大规模分层存储的加速变革。对应eSSD的增量量级有多大?此前GB300 NVL72单机柜存储配置约为553/1106TB,若按照14万机柜算对应155EB的增量 eSSD需求。
[庆祝]观点:英伟达本次发布的全新方案是在架构层面复刻了Intel SCM的分层理念,BF4+DRAM+内存池化是英伟达通过软件定义的SCM,而现有的潜在方案都有各种成本、大规模训练稳定性的问题。从逻辑上看AI正加速一切存储的重要性。此前市场并未对AI需求下的DRAM和SSD增长逻辑并未形成一致的预期,但在本次发布会后我们认为AI正逐步重塑存储堆栈,而AI服务器市场在当前趋势下对此的需求确定性较高,因此SSD和DRAM或仍有一部分来自应用、推理、Agent化模型的需求超预期,我们持续推荐美光、闪迪。#财经#
发布于 广东
