谷歌最新推出一项名为 TurboQuant的技术，它专门针对大型语言模型（LLM）推理过程中的 KV缓存（Key-Value Cache） 进行压缩的突破性算法。这项技术旨在解决随着上下文长度增加，KV缓存占用显存急剧膨胀的瓶颈问题：
极致压缩：能将 KV 缓存压缩至 3比特 (3-bit)，内存占用减少 6倍 以上。
推理加速：在英伟达 H100 GPU 上，注意力计算速度提升高达 8倍。

消息公布后，美股存储芯片板块（如闪迪、美光、西部数据）遭遇抛售。市场担心：如果软件压缩效率提升 6 倍，那么对硬件存储（HBM、DRAM）的需求就会大幅减少。