每天学点经济学
26-06-26 21:00

【CXL芯片:一场关于内存的豪赌】写低延迟交易系统的人怎么看AI基建?他说当前推理的瓶颈不在算力,在内存——不是HBM的带宽,是KV cache的容量。序列越长,占用越大,单卡HBM迟早装不下。CXL想做的,是让多张GPU共享一个内存池,把冷数据甩过去。延迟200-500纳秒,替代不了HBM的热路径,但能接住溢出的部分。问题是:Meta谷歌微软还在测,万一他们自研互联绕开标准呢?万一MoE架构把KV cache压缩掉了呢?这哥们加了澜起,赌的是从服务器中心转向内存中心的那波架构迁移。你有过押注某个技术方向、结果赌对或赌错的经历吗?#半导体# #你押注过技术风口吗#

发布于 江苏