一直都在说AI需求推动内存硬盘涨价,今天苹果也顶不住涨价了,这听起来很奇怪,因为更加AI的GPU,反而没有和内存硬盘那样价格疯涨,这是为什么呢?
其实,在Agentic AI时代,做推理运算,RAM和SSD真的比GPU更重要。
无论你是用什么Harness工具,Claude Code也好,Open Code也罢,每一次你发送给模型的输入,其实都远不止你打字写进去的那些,一般来说,还包括系统提示、工具定义等等
这就意味着,每一次你给服务器的请求里,有大量内容是服务器之前就已经计算过的,由Harness工具帮你写好的内容,这部分内容不会再计算一遍,而是直接从KV Cache里读取,这也就是所谓的“命中缓存”
随着使用的深入,历史记录越来越长,缓存会越来越多,最后综合下来,很多AI Coding任务的缓存命中率能有95%以上,甚至达到99%也不奇怪
Harness工具带来的超高命中率,让缓存(KV Cache)成为了Agentic AI时代最核心的“算力”,而Agent用途的超长上下文,又注定了显存VRAM不可能挑起缓存命中的大梁
那既然VRAM存不下了,就存RAM里,RAM再存不下,那就放SSD里,能存的缓存越大越好,只要能命中缓存,就不用再计算这部分了
从硬盘里读,相比显存和内存,是慢的
但相比重新算一遍,那很多时候,还是能更快的
发布于 上海
