25-09-25 09:20 微博认证:HuggingFace官方微博

🧪 新基准来了!Gaia2 与 ARE 把 AI 智能体评测搬进“真实世界”🚀
从只读检索到读写交互,加入工具失效、时延与噪声,全面考察规划、执行、适应与容错。

亮点速读:
现实任务集:执行、检索、歧义、适应、时间/时序、协作、抗噪等 7 大能力,覆盖 1000 个全新人工场景。
真实环境建模:消息、日历、联系人、购物、文件系统等应用与预置数据,支持触发事件与 API 随机失败。
全链路可观测:自动记录结构化 trace(工具调用、响应、思考、时延等)并可导出 JSON,便于复现与诊断。
不止看分:同步衡量模型调用次数与输出 Token 成本,构建效果–成本帕累托前沿,鼓励“又准又快”。
基线趋势:截至 2025 年 9 月,GPT-5(高推理)综合最高,开源最佳为 Kimi K2;“时间”维度最具挑战。

如何上手:用 ARE 跑 Gaia2,按配置评测分项、汇总成绩、产出可视化轨迹;也可接入你自己的工具与场景,形成“评测–洞察–改进”闭环。

🤗 现在就加入我们的中文社区:Chinese LLMs on Hugging Face,一起构建与分享更可靠的 AI 智能体评测!
#Hugging Face##AI智能体##评测基准#

发布于 美国