[LG]《Scaling Self-Play with Self-Guidance》L Bailey, K Wen, K Dong, T Hashimoto… [Stanford University] (2026)

在自动定理证明领域，如何让模型持续突破自身能力上限是一个悬而未决的难题。过去的自对弈方法受困于"猜想者"的奖励黑客问题——它会逐渐生成结构复杂却毫无教学价值的病态问题，本质原因是系统缺乏对合成数据质量的独立判断机制。

本文的核心洞见是：把"谁来评判合成问题的价值"这一问题重新看作模型自身可以胜任的角色。由此，引入第三个角色"向导"这一关键操作使问题得以解开——向导对合成问题的相关性与优雅性打分，将猜想者的训练信号从单纯的求解率中解耦出来，阻断了退化路径。

这项工作真正留下的遗产是：证明了语言模型可以作为自己学习过程的质量裁判，使自对弈在计算量充足时保持持续增益而非陷入平台期。它为后来者打开的新门是：如何将这一框架从形式数学延伸至编程、具身控制等难以形式化验证的领域。但尚未跨过的门槛是：向导本身是冻结的，无法随训练演进更新对"有用踏脚石"的判断标准，这在面对最顶级难题时可能成为新的瓶颈。

arxiv.org/abs/2604.20209

#机器学习# #人工智能# #论文# #AI创造营#