今天 GitHub trending 冒了个 agent context 压缩工具叫 headroom,号称 60-95% token 削减。
方向我举手赞成。做过 ComfyUI 集群、调过 RAG 的都知道——agent 一次 grep、一次 file read 就能往 context 灌几千 token,大部分是噪声,账单和 long-context 准确率一起塌。
但这种数字,工程师看了得多打几个问号。
📌 60-95% 一般是 cherry-pick 长日志场景,正常代码 agent 能省 30-50% 就不错
📌 它走 reversible:原文留本地,模型不够用时 retrieve 拉回。多一次 round trip,HF 那篇《Prompt Compression in the Wild》早把话说透——好不好用要看压缩 preprocessing 能不能被 decoding 加速吃回来
📌 主打的 CacheAligner(稳 prefix 提 KV cache 命中)思路对路,但 Anthropic 和 OpenAI 原生 prompt caching 也在卷,两套机制怎么共存是工程活
📌 赛道很挤:微软 LLMLingua 做到 20x、Context Gateway 上月 HN 97 分用 SLM 当 intent classifier、Acon 走 long-horizon agent,dev.to GitHub: chopratejas/headroom
发布于 中国香港
