厦禾路股添乐
26-05-14 11:13 微博认证:财经博主

行情不好咱们就换个角度,聊聊AI行业里一个常被忽略的真相。之前看到群联董事长提到一个观点:AI计算最大的瓶颈其实根本不是算力,而是内存。很多人误以为AI发展全靠CPU和GPU算得快,但这其实是个误区。芯片算得快慢根本不是核心,真正卡住AI脖子的是内存容量。内存一旦不够,再强的算力也只能被迫罢工。

目前的AI推理其实有个致命死穴:它每算出一个新结果,都必须把之前的计算过程(也就是KV Cache)死死记住,否则下一步就没法接着算,只能全部推倒重来。这就好比做数学题,如果每算一步就把上一步的答案忘了,那就永远只能停在第一步,永远算不出最终结果。

为了让AI模型能持续跑下去,现在的笨办法就是疯狂堆砌昂贵的GPU卡来凑内存容量。这也是为什么搞AI成本高到离谱的根本原因。说白了,AI竞赛里最烧钱的根本不是算力有多强,而是为了不让AI失忆,不得不砸下的天价存储成本,也就是存储为什么会这么强~!

发布于 福建