“推理的本质是内存，GPU为主的计算模式已是过去式，从Blackwell架构开始，HBM成本已占机柜内部50%，未来则可能超过80%。推理场景下，算力往往闲置，瓶颈在于Memory Bandwidth。所以，投向HBM的每一分钱都直接转化为Token吞吐率和ROI的提升，而单纯增加GPU核心则是无效投资。” 黄老板评gpu的话可以直接搬过来用在内存上，The more you buy, the more you make。[doge]
发布于 上海
“推理的本质是内存，GPU为主的计算模式已是过去式，从Blackwell架构开始，HBM成本已占机柜内部50%，未来则可能超过80%。推理场景下，算力往往闲置，瓶颈在于Memory Bandwidth。所以，投向HBM的每一分钱都直接转化为Token吞吐率和ROI的提升，而单纯增加GPU核心则是无效投资。” 黄老板评gpu的话可以直接搬过来用在内存上，The more you buy, the more you make。[doge]