OpenAI 全新的 GPT-6.2 系列大模型的最新评测来了!写新代码有涨有跌,修困难 bug 的结果这次有点出乎意料……
这次用我司内部私有的 OpenResty Coding Evals(针对真实业务难题设计算法、写新代码)和 Bug-Hunting Evals(在复杂私有代码库中定位、修复困难 bug,同时避免回归),对比新版 GPT-6.2 Sol、Astra 和上一代 GPT-6.1 Sol、GPT-6 Astra。xhigh、max、ultra 三档都测了。以下数字以这次 12 个配置的四张图为准,耗时均为任务平均用时。
1)GPT-6.2 Sol:xhigh 写代码小幅涨分,max、ultra 则跌了。
同为 xhigh,Coding 评分从 86.1% 到 86.4%,只增加 0.3 个百分点,平均用时却从 14.2 增至 15.8 分钟。max 从 86.8% 降到 82.6%,用时从 16.4 增至 20.6 分钟,约多花 26% 的时间。ultra 从 83.8% 降到 80.7%,用时从 11.1 降到 10.3 分钟,略快了,但分数也低了。
2)GPT-6.2 Astra:max 写新代码的进步比较明显,代价也不小。
Coding 的 max 评分从 81.9% 提高到 86.6%,增加 4.7 个百分点;平均用时从 12.2 增至 23.1 分钟,约为原来的 1.9 倍。ultra 从 83.9% 到 84.6%,小幅进步;xhigh 则从 83.9% 降到 83.2%,平均用时从 8.9 增至 12.9 分钟。
3)修困难 bug:六个新版配置,6.2 相比各自旧版全部掉分。
降幅在 1.3—8.1 个百分点之间。Sol max 从 88.3% 降到 81.9%,平均用时从 22.0 增至 23.6 分钟;Astra max 从 87.4% 降到 79.3%,是本组最低分。Astra xhigh 也从 86.8% 降到 81.0%,平均用时从 9.8 增至 19.0 分钟,接近原来的两倍。
至少在我们这轮任务里,6.2 还谈不上全面胜出。新版 Sol 的 xhigh 两项评分都高于自家 max、ultra;旧版 GPT-6.1 Sol max 反而同时拿了本组 Coding 86.8%、Bug-Hunting 88.3% 的最高分。新版本、更高推理档位,还是得靠自己的真实任务来验收呀 [笑cry]
#ChatGPT##大模型评测##AI编程#
