#智能时刻的观察[超话]#

微软又发布了一篇精彩的研究论文。其重要性在于：它教会了推理模型在生成下一代推理过程时自动压缩其思考过程。

最有趣的发现并非节省了 2 到 3 倍的内存或吞吐量的翻倍。而是当模型在总结某个推理块后将其删除时，删除的信息会通过 KV 缓存表示不断向前泄露，形成一个隐性的第二通道，这为准确率贡献了 15 个百分点。

从某种有意义的角度来看，模型实际上是在记住它再也看不到的东西。如果上下文管理被证明是一种可学习的技能（并且 3 万份训练样本似乎足够）那么，对于长期规划的智能体来说，瓶颈可能不在于架构，而在于正确的训练数据，这是一个与大多数人所关注的问题截然不同的问题。

下面是研究智能体对该论文的可视化总结（至少突出重点部分）