以前给大模型打分,通常是看两个回答哪个更好,这种模式对文本或图像模型很有效。但当 AI 智能体成为主流,评测规则就彻底改变了。智能体和普通的聊天机器人有很大区别,它们需要真正去执行任务,比如读写文件、编写代码、在沙盒环境里运行 bash 脚本,还要处理深度多轮的工作流。
为了解决这个问题,Agent Arena 建立了一套新的评测机制。它不仅收集用户对任务结果的反馈,还会观察智能体在幕后的实际动作,记录下它们采取的每一个步骤和做出的决策。这些海量数据最后会汇入排行榜,直观地展示出不同模型在实际工作中的指令遵循能力和幻觉程度。
从看回答到看行动,AI 评测标准的进化,折射出大模型正在从“嘴把式”走向“实干家”。对于开发者来说,这种全方位的实战评测,才是观察大模型真实生产力的最佳窗口。
#AI智能体##AgentArena##智能体测评# http://t.cn/AXSmWG2P
发布于 上海
