#模型时代# OpenAI Noam Brown：模型能力=钱的函数，传统Benchmark评估方式在失效

众所周知，现在OpenAI有两个Noam，今天发的是强化学习Noam Brwon。

来自2026年6月26日发布的No Priors播客。Brown是OpenAI o系列推理模型的联合创建者，此前在CMU博士期间创建了Libratus和Pluribus两个超人类扑克AI，在Meta FAIR期间参与开发了首个在外交棋游戏中达到人类水平的AI系统CICERO，被MIT Tech Review评为35岁以下创新者。

对谈的起点是Brown在2026年6月初发表的文章“Implications of Large-Scale Test-Time Compute”，核心论点是AI行业的评估体系、安全框架都还没有适应一个新现实：模型能力已经是推理预算的函数。这不是说“花钱越多模型越聪明”，而是说你测出来的模型能力取决于你愿意花多少钱去测，给1万美元预算测出的能力和给10美元测出的完全不同。整个行业在用一个固定且偏低的预算去测，然后把那个数字当成能力的全部。安全评估也是同一个问题。

一个事件背景是Erdős单位距离猜想。这是离散几何的一个核心问题，1946年提出后80年没有人解决，大多数数学家认为它是对的。2026年5月20日OpenAI宣布内部模型证伪了这个猜想。随后外部研究者发现，公开发布的GPT-5.5通过scaffold引导也能走到相同结论。

估算成本在1000到10万美元之间。换句话说，在OpenAI公布结果之前，任何人理论上都可以用公开模型完成这个数学突破，只是没人尝试过用这么多推理预算解决问题。

英国AI安全研究所AISI在网络安全评估中把单道题的推理预算拉到1亿token，是标准上限的40倍，发现模型性能在该阈值处仍在上升，没有平台期迹象。这意味着以固定预算评估模型安全性会系统性低估其危险能力。

Brown用自己的扑克求解器作为私人eval，观察到GPT-5.5几乎可以zero-shot完成他博士论文中river solver部分的工作，他预计6到12个月内模型可能zero-shot完成整个博士论文级别的求解器。

所以，所有前沿实验室都陷入了一个“坏均衡”：每个研究者私下都同意benchmark应该画出推理预算的X轴，但所有人都继续发网格图，因为“大家都期待我们发网格图”。

一、基准测试的“网格”为什么误导了所有人

1、GPT-5.5发布时的认知偏差

2026年4月GPT-5.5发布后，最初几个小时的行业反应是怀疑。原因在于所有实验室发布新模型时的标准操作：一张基准测试网格图，横轴列出各种benchmark，纵轴是各模型的得分。5.5和5.4之间的分数差距只有几个百分点，看起来不像是大升级。

但用户实际使用后发现差距明显。问题出在网格图本身：5.5的推理效率显著高于5.4，完成同一个任务消耗的思考token更少。如果你在相同的推理时间下比较两者，5.5的优势就清晰地跳出来了。

Brown的解释是：5.4在默认最高设置下要想更久才返回结果，而5.5在更短的思考时间内就能达到同等甚至更好的表现。一旦控制了思考时间这个变量，5.5相对5.4是一次实质性跳跃，这也符合用户的日常体感。

2、正确的评估方式：画出X轴

Brown的核心主张是评估AI模型应该画一条曲线，X轴是推理预算（可以用token数、美元成本或时间），Y轴是性能。只有在同一条X轴上比较不同模型，才能看清谁在什么预算区间领先。

行业通行做法是给每个模型在每个benchmark上标一个数字。这个数字没有控制推理预算，等于把效率截然不同的模型放在一起比较。

Brown说这是一个“坏均衡”：所有人都知道网格图有问题，但所有人都在发，因为所有人都期待别人发。他写“Implications of Large-Scale Test-Time Compute”这篇文章的动机就是打破这个循环。“I would talk to researchers… everybody would say， ‘Yeah， that makes sense， we should do that。’ But their response is， ‘People expect us to publish the grid。’”每个研究者私下认同应该画X轴，但回到发布流程里，又回到了网格图。

3、Benchmark maxing的隐性风险

通过scaffold多个模型可以大幅刷分。例如把一道题跑5次取最优，或让judge评判最佳答案，纸面分数会显著高于单模型。但如果控制推理预算，这些方案未必更优。

同样的逻辑适用于routing层，也就是在用户请求和多个模型之间做分发调度的中间层。Brown看到过一些评测显示routing层通过模型共识能提升性能，但关键问题是：同样的推理预算直接给单个模型让它多想一会儿，能不能达到相同效果？即使routing确实有优势，还要问：优势有多大？是否脆弱？在真实使用场景中是否仍然成立？

4、一个几乎空白的研究方向

Brown提到一个他认为值得学术界投入的课题：能否只用10美元或100美元的推理预算，准确预测模型在1万美元预算下的表现？推理预算和性能之间的关系并非断崖式跳跃，而是一条可观察的斜率，这意味着某种外推方法是可能的。目前这个领域的研究几乎没有。

二、安全评估的时间裂缝

1、准备框架诞生于推理预算不重要的年代

所有主要实验室都有负责任扩展政策或准备框架，核心逻辑是在模型发布前测试是否具备危险能力。如果模型能力低，正常发布；如果能力高，需要加防护。

这些框架大多在2022年前后制定。那时GPT-3无法有效利用推理预算，给它10美元和给它1000万美元的预算，产出差异微乎其微。所以框架只问“模型有什么能力”，不问“在什么预算下测的”。

今天的情况完全不同。Brown的判断是：模型能力已经变成投入资金的函数。1万美元预算下的能力远超10美元，1000万美元又远超1万美元。按什么预算来评估？现有政策没有回答这个问题。Brown不想对“是否应该照常发布”下结论，但他认为行业在假装这个问题不存在。

2、模型发布周期和智能体运行时间的脱节

模型发布周期已压缩到两三个月甚至更短。但模型的智能体能力正向更长时间跨度延伸。GPT-3时代，你很难scaffold出一个能持续运行一周的有用系统。今天的GPT-5.5可以被scaffold成执行持续数周甚至数月的实验序列。

Codex CLI的/goal功能是一个例证。2026年4月底发布的0.128。0版本引入了/goal命令，允许用户设定一个持久目标，Codex会自主循环执行直到目标完成或token预算耗尽。5月21日该功能正式发布。/goal上线后，有用户发现某些任务需要一周才能跑完，发布一周后人们才意识到这个功能的实际影响。Brown认为这种“延迟认知”会越来越常见。

核心矛盾在于：如果你想评估一个模型运行一个月能做什么，唯一可靠的办法就是让它跑一个月。想知道6个月的表现就得跑6个月。但新模型两三个月就发布了。“没有人知道这些模型的能力上限，因为没有人让它们跑足够久。”

3、AISI的数据

英国的AI安全研究所在2025年2月更名为AI Security Institute，此后通称AISI。AISI的标准网络安全评估给每道题设250万token的推理预算上限。但在深度测试中，AISI把预算拉到了1亿token，是标准上限的40倍，相当于模型在一道安全题上持续思考和行动数小时甚至更久。2026年5月发布的报告显示，模型在1亿token时性能仍在上升，没有明显平台期。AISI的评估表明，自主AI网络攻击能力的倍增周期约4.7个月，且这一数字在2.5M token上限下已偏保守。

Brown引用这个数据的逻辑是：如果有用能力在大预算下持续提升，危险能力也一样。安全评估不考虑推理预算这个变量，等于系统性地低估风险。

三、已发布模型里藏着多少“隐性能力”

1、Erdős单位距离猜想的证伪

2026年5月20日，OpenAI宣布一个内部通用推理模型证伪了Paul Erdős在1946年提出的平面单位距离猜想。这是离散几何的一个核心问题：在平面上放n个点，最多能有多少对点之间的距离恰好为1？80年来数学家普遍认为方格网格构型已接近最优。AI找到了一族无穷构型，将单位距离对数的上界打破了一个多项式因子。

Princeton数学教授Will Sawin随后将指数差量化为δ≥0.014。Fields奖得主Timothy Gowers表示他会毫不犹豫地推荐此结果发表在《Annals of Mathematics》上。这个结果经过9位数学家验证。

Brown说关键信息是：这个结果的推理预算并不高。OpenAI训练了一个新模型，出于好奇跑了一些数学问题，在低预算下就拿到了证伪方案。他们并没有专门为此堆推理资源。

2、GPT-5.5也能到达终点，但需要引导

结果公布后，外部研究者发现GPT-5.5通过多步引导也能复现证伪路径。方法并非直接提问，而是先让5.5列出可能的攻击路径，从中选出有前景的方向，让它深入探索，反复几轮后收敛到正确的证伪方案。

Brown据此推测，一个通用scaffold自动执行“列出策略→逐个深入”的循环应该也能到达终点，成本大概在1000到10万美元之间。这意味着在OpenAI公布结果之前，任何人理论上都可以用公开模型完成这个突破。没有人去做，是因为没有人尝试过投入这么多推理预算。

但Brown也指出另一面：模型迭代速度极快，每隔两三个月同一个任务的成本就可能下降10到100倍。“要不要现在就用5.5花10万美元做这件事”是一个现实的性价比问题。

OpenAI内部也做了同样的权衡。Brown说公司里有大量数学家和物理学家，内部模型的能力让所有人都想直接拿去攻克公开问题。但OpenAI层面在刻意压制这种冲动，认为研究资源应该用来做出更强的模型，然后尽快安全地发布出去，让全世界的科学家自己用这些模型去解决问题。

3、扑克求解器：一代模型一个台阶

Brown用自己的博士研究作为私人eval。他在CMU的博士论文做的就是扑克AI，创建了Libratus和Pluribus。每次新模型发布，他都让它帮自己写扑克求解器，看能力变化。他选择扑克的原因是：这个领域开源代码少，论文虽多但需要独立推理和大量迭代来把理论落地为代码，过程中有许多容易出错的细节。

GPT-5.2阶段，模型可以在他的引导下完成扑克终局阶段的river solver，速度大约是他独立工作的5倍。在算法优化上，模型甚至把代码提速10到100倍，超过了他自己的优化水平。但5.2有一个明显问题：经常给出错误但自信的答案并坚持己见。

在测试过的某个早期模型中，Brown遇到过一个极端例子：他问“底池100美元我弃牌亏多少”，模型说92美元，还辩称92接近100所以没问题。

到GPT-5.5，情况发生了明显变化。模型几乎可以zero-shot完成river solver，他目前正在让它做完整的扑克求解器，基本只需要轻微引导。他的预判是6到12个月内，模型可能zero-shot完成他整个博士论文的工作量。

四、递归自我改进的现实与瓶颈

1、加速是不均匀的，而且有些任务根本不受益于推理预算

Brown先界定了一个前提：推理预算不是对所有任务都有效。他用两个极端来标定范围。一端是事实检索类问题，比如“亚伯拉罕·林肯的生日是哪天”。一个人如果不知道答案，想一周也想不出来，模型也一样，多给推理时间并不能让它“回忆起”训练数据里没有的日期。另一端是数独：随机填数、检查是否满足约束、不满足就换一组，给够时间一定能解。所有benchmark都落在这两个极端之间。

在此基础上，Brown的判断是模型确实在加速实验室内部的研究，但加速的分布不均匀。如果某个环节快了100倍，整个流程的瓶颈就会转移到没有加速的环节上。随着时间推移瓶颈会逐渐收窄，但目前的情况更接近于“转变研究者的工作方式”，模型并没有替代研究者。

2、“研究品味”是当前最大的能力缺口

Brown用扑克的例子说明这一点。模型在优化他已有的算法时能把代码提速10到100倍，但当他要求模型综合所有已发表的工作、提出一个更好的新算法时，模型做不到。即使给足时间和推理预算，模型也无法在开放性的研究探索中产出新颖的方案。

不过每一代模型在这个方向上都有改善，Brown不排除在某个节点上会出现拐点。他的类比是coding和数学领域，也曾经看起来遥不可及，后来在某一个模型版本上突然变得可用。

3、“一夜起飞”假说不成立：时间本身就是瓶颈

Brown明确反对隔夜智能爆炸的假设。这个假设的场景是：模型发现让自己更聪明的突破，突破带来更多突破，瞬间变成超级智能。

他的反驳逻辑是：模型最强大的能力需要大规模推理时间来释放。如果释放能力本身就需要跑很长时间，那时间就成了硬性瓶颈，快速起飞的前提不成立。

“所有前沿实验室目前最大的瓶颈就是时间。这也是为什么所有研究者都在高强度工作。”他的意思是所有人都看到了能力储备有多大，但被“多快能做完”限制住了。进步确实非常快，但它受物理时间约束，更可能是持续加速而非瞬间跳变。

4、多智能体协作：早期信号

Brown用一个类比来说明方向：过去5万年人类个体没有变得更聪明，但文明能力提升了无数个量级。原因是数十亿人持续积累知识、共享知识，在彼此的基础上构建。

AI模型目前没有这个能力。它们在一个短暂的上下文窗口里诞生，然后消失。没有持久的知识积累和跨实例的协作。Brown认为多智能体大规模协调正在出现早期信号，但距离真正的“AI文明”还有距离。

5、前沿竞争的格局

Brown的观察是竞争极其激烈，但不是奔向某个“谁先到达就一骑绝尘”的硬起飞终点。现实更接近于：研究者持续磨练算法判断力和资源配置决策，模型加速了这个过程但没有取消人的角色。

他对一件事表示安慰：所有前沿实验室的研究者都清楚利害关系，都在认真对待风险。竞争确实存在，但他认为大家也在尝试共同找到通向积极结果的路径。