关注大模型评测的朋友应该知道 SWE-bench 这个榜单 。
和别的测验要求 AI 回答问题不同,SWE-bench 考的是真实环境里的干活能力。
测试方式很直接,直接从 GitHub 上拉取真实的开源项目,里面包含尚未解决的真实的工程 Bug ,模型需要自己阅读几万行代码,自己定位问题,写出修复方案,最后跑通所有的测试用例。
这是一个极难靠刷题来提高分数的基准测试。
而就在这个接近真实软件开发的 SWE-bench Pro 加强版测试中,智谱刚刚发布的 GLM-5.1 拿下了全球最佳成绩!
它在榜单上甚至超过了 Claude Opus 4.6、GPT-5.4 以及 Gemini 3.1 Pro,排在后面的还有 K2.5、Minimax 2.7 等模型。
如果拉通涵盖命令行操作的 Terminal-Bench 2.0 和从零建代码仓库的 NL2Repo 来看,它的综合平均分还拿下了全球第三、国产第一、开源第一。
仔细看排在它后面的名字:Claude Opus 4.6、GPT-5.4。
或许有人对 Claude Opus 4.6 没什么概念?
这么说吧,在开发者圈子里,它基本就是目前的闭源天花板,遇到极其复杂的业务逻辑或者祖传屎山代码,别的开源模型绕晕了,大家最后大概率都会花几十美金去开 Opus 的 API 求救。
过去这两三年,我们聊国产开源大模型,潜台词通常是追赶或者平替,距离海外巨头的上限,大家心里默认是有段差距的 。
但这次情况变了。
GLM-5.1 在 Design Arena 这种公认硬核的榜单上,直接跟 Opus 4.6 站到了同一梯队!
这是中国开源 AI 第一次在最核心的工程能力上,和全球顶尖的闭源巨头平起平坐 ,真有点提气~
此外,抛开跑分数字,从实际的大模型开发效能评估来看,这次更新真正切中的,其实是过去模型非常明显的劣势:执行长程任务的持久度。
以往使用 AI 辅助编程,任务步骤一旦增多,模型很容易遗漏前面设定的前提条件,或者在错误的代码逻辑里反复循环,必须由人工随时纠正。
智谱这次主攻的正是长程任务,GLM-5.1 具备了单次持续自主工作 8 小时的能力。
在他们展示的极端测试里,GLM-5.1 就连续自主工作了 8 小时,任务是从零构建一个 Linux 桌面操作系统,期间它自己规划架构,遇到编译报错自己查日志找原因,碰壁了就换个写法继续跑,这 8 小时里它执行了 1200 多步,最后交出来一套包含窗口管理器、文件系统和网络驱动的系统。
这 4.8MB 的配套产出,基本上是一个 4 人团队熬一周的活儿。
在优化向量数据库的那个测试里也一样。
655 轮迭代,它自己跑基准测试找瓶颈,发现全库扫描走不通了,就主动切到 IVF 分桶召回,硬生生把查询吞吐量推到了初始版本的 6.9 倍。
大模型的交付单位正在发生质变。以前它交付一行代码,现在它开始交付一整个工程项目。
那些需要跨文件、多步骤、反复试错的长链路任务,现在或许真的可以直接丢给一个开源工具去跑了。
过去我们要处理高难度的长程代码任务,往往需要权衡不菲的闭源 API 成本,顶级的能力通常被标上了顶级的价格。
但现在,一个拥有对齐海外闭源顶配实力的模型,以开源的形态放在了那里。
它未必能立刻解决你所有的业务难题。但对于很多还在为研发效率纠结,或者在老旧代码库里苦苦挣扎的团队来说,现在确实有了一个高性价比的新选项。
花点时间搭个环境跑一跑,也许会有意想不到的收获。
发布于 上海
