这两天拿了咱们 OpenResty Inc 公司内部最难的一些算法设计和实现问题来自动化测试各个大模型，连 GPT-5.6 Sol 模型都承认 Claude Opus 4.8 的解法比它自己生成的明显更优。当然，为公平起见，在自动评估结果时，作为副裁判的 Agent 其实并不知道哪个方案是哪一家 AI 厂商的模型生成的，算是盲盒测试。

事实上，Claude Opus 4.8 的裁决评判结果和 GPT-5.6 Sol 是基本一样的，对各种解决方案的评分都是

Claude Opus 4.8 > GPT-5.6 Sol / GPT-5.4 Mini > Gemini Flash 3.5 > Claude Haiku 4.5

所以是两家模型都公认的评判结果了。

有趣的是，GPT-5.6 Sol High 和 GPT-5.4 Mini Low 的解法评分居然差不多……OpenAI 看来在较难问题的从零编码领域，基本上还是原地踏步啊……好失望。

等明天我的 Claude Fable 5 的 token credit 重置之后，我再测一下 Fable 看看。

在这个评测集中，我也让各个参赛模型在生成结果后可以自己按需要验证和校对生成的实现代码和测试集。所以也不用一次性生成对。还是给它们很从容的自检机会的。它们也是直接跑的 Claude Code、Codex 和 Antigravity 的 CLI 工具，都是各家自己的 Harness，所以还是挺公平的。作为裁判的 Agent 也会仔细检查参赛选手的完整操作日志，以确保没有任何作弊行为。

因为是我司内部商业软件的全新问题，所以模型之前在训练阶段肯定是没见过的，网上也搜不到。还是比较客观的。因为这里的各个问题都足够难，所以可以看出不同模型之间的智能差距。常规的简单问题，大家都接近满分，就看不出差别了。

下面计划再搞一个自动修复大项目里的复杂 bug 的真实测试集，也从我们公司内部的真实用例出发。