CMU 和 UMass 的大佬们为了搞清楚 Pre-training、Mid-training 和 RL 到底谁在起作用，搭了一个一套完全受控的实验框架来分析其各自的作用，并得出了四个结论。
论文： arxiv.org/abs/2512.07783
“近期的强化学习（RL）技术使语言模型在推理方面取得了显著提升，但后训练（Post-training）是否真能扩展模型的推理能力，使其超越预训练阶段所获取的范畴，目前尚不明确。这一问题的核心挑战在于现代训练流程缺乏可控性：大规模预训练语料库往往是不透明的，中期训练（Mid-training）常被忽视（缺乏充分研究），而强化学习目标又以复杂的方式与未知的先验知识发生交互。

为消除这一模糊性，我们开发了一套完全受控的实验框架，旨在独立分离出预训练、中期训练以及基于 RL 的后训练各自的因果贡献。我们的方法采用了包含明确原子操作的合成推理任务、可解析的逐步推理轨迹（Trace），并对训练数据分布进行了系统性的调控。我们从两个维度对模型进行评估：一是针对更复杂组合的外推式泛化（Extrapolative Generalization），二是跨越不同表层语境的上下文泛化（Contextual Generalization）。

利用这一框架，我们调和了关于强化学习有效性的不同观点。研究结果表明：
1️⃣只有当预训练留有足够的提升空间，且 RL 数据精准定位模型的“能力边界”，即那些具有挑战性但并非遥不可及的边界任务）时，RL 才能带来真正的能力提升（基于 pass @ 128 指标）。
2️⃣上下文泛化需要“极少但充分”的预训练数据接触，在此基础之上，RL 才能实现可靠的迁移。
3️⃣在同等计算预算下，相较于仅使用 RL，引入中期训练能显著提升性能，这证明了其在训练流程中具有核心地位但尚未被充分探索。
4️⃣过程级奖励（Process-level rewards）能够减少“奖励欺骗”（Reward Hacking）现象，并提高推理过程的可靠性（Fidelity）。

综上所述，这些结果阐明了预训练、中期训练和强化学习之间的相互作用，为理解和改进推理语言模型的训练策略奠定了基础。”
#科技先锋官#