火韦先生
26-05-19 21:32

做 agent 的人应该都踩过这个坑:tool 一多,模型就开始瞎选。

最近这篇论文把这事量化了——跨 15 个前沿 LLM、1141 个真实 skill、3M+ 次路由决策,得出一条挺扎心的规律:

📉 单步路由准确率随 skill 库大小《对数衰减》,R²>0.97,所有模型无一幸免。

错误是有结构的,从近义 skill 互抢,到跨类别漂移,最后被论文叫做"黑洞 skill"的那种过于宽泛的工具吞掉——你加越多专用工具,那个"万金油"反而吃掉越多流量。这个我做 ComfyUI 集群调度那会儿见过太多次了,节点池一扩,调度器就开始往最"安全"的那条路上塌。

💡 论文里给的优化也很朴素:按这套规律调 skill 粒度和暴露策略,路由准确率 71.3% → 91.7%,hijack 从 22.4% 砍到 4.1%。下游执行也跟着涨。

我的 take:

🤔 别再幻想"塞更多 tool 让 agent 更强"了。skill 库是有容量上限的,单层 flat routing 撑死几十个,再往上必须分层 retrieve-rerank(阿里 SkillRouter 那条路)。

⚠️ 写 skill description 的时候,最该删的是那个看起来"什么都能干"的通用工具——它就是黑洞。

工具不是越多越好,是越《互斥清晰》越好。 arXiv: 2605.16508

发布于 中国香港