一段代码、一张图、一段文案,全世界最强的 AI 早就做得比你快比你稳。可换成一个完整的真活儿从头交到尾,它现在还交不出来。你担心的恰恰是它要把你整个替掉。
有套刚出来的考卷,专门考这件事。250多位各行各业的一线专家凑在一起,给 AI 出了一套题,名字起得挺狠,叫 Agents' Last Exam,直译过来就是「智能体的最后一场考试」。我看的是他们公开的那篇论文(arXiv 上编号2606.05405),里面把规模和结果都摆得很清楚。
它有多大呢。按 O*NET(美国那套联邦职业分类体系)的框架,铺开了13个行业大类、55个子领域、1000多个真实工作任务。重点不在数量,在题型。它不是让 AI 答单选、做填空,是给你一个真项目,限你像个专业人一样,从头做到能交付出去。
为什么非要这么考。因为以前那些考 AI 的榜单,大多被刷到饱和了——题目短、步骤单一、还能背,分数蹭蹭往上涨,看着唬人,跟真干活根本不是一码事。这套题反着来,专挑那些又长又杂、必须一步步攒到底的真活儿。
最扎眼的一个数字:最难的那一档题,目前主流的 AI 配置,平均完整通过率只有2.6%。
2.6%。不是做得不够好,是基本交不出一件完整的活。
我知道很多人这两年都憋着一股焦虑,怕哪天一觉醒来,自己这行就被 AI 端了。这套考卷有意思的地方就在这儿:它没有顺着这股焦虑说「快了快了」,反而把 AI 真实的水位线给画了出来。看清这条线在哪,比瞎慌有用得多。
先说说这套题里的活长什么样,你就明白难在哪了。
有一道题是制造业的:用 Moldex3D 这个软件跑注塑模流仿真,要你打开项目、套上工艺参数、把充填保压冷却翘曲一整套分析跑完,最后把关键指标导成一份 JSON 文件。有一道是音乐的:用 Dorico 把一段音频转写成管弦乐谱,交付得是齐整的三件套,乐谱、MIDI、还有一张总览图,一样不能少。还有用 DaVinci 抠绿幕导出合成视频的,用 Blender 给角色绑骨骼、照着参考动作复刻一遍的,以及在 MicroDicom 里挨个看9例胸片、判断哪份阅片标注更靠谱、填一张决策表的。
你品一下这些活的共同点。每一件,往往是专家本人也得花上几天甚至几周才做得完的活;中间要在图形界面和命令行之间反复横跳;最后还得交出一个能被机器核验对错的成品,不是写段话糊弄过去就行。这才是真实世界里一份工作的样子——它从来不是一道题,是一长串环环相扣、错一环就交不了差的步骤。
结果呢,最强的 AI 在这些活上,多数得0分,或者半截分。能把软件打开、把架子搭起来,可一到提取指标、对齐参数、把东西交齐交对这一步,就垮了。开了个好头,收不了尾,这是它最典型的样子。哪怕是目前榜上最猛的那套配置(Codex 配 GPT-5.5),把所有难度的题平均下来,也只通过了大概四分之一;到了最难那一档,更是断崖式往下掉。
很多人对 AI 的恐慌,其实建立在一个误判上:以为 AI 强,就是「整个把活儿干完」那种强。但这套考卷量出来的不是这个。AI 真正强的,是片段。帮你写一段代码、查一条资料、抠一帧画面、润一段文字,这些它早就爆表了,比大多数人快,也比大多数人稳。它弱的,是把这一堆片段从头串到尾、把每个环节都对上、最后交出一件完整又正确的成品。一个会算每一道分步小题、却交不出整张卷子的考生,大概就是它现在的样子。
写代码的那一段,它写得是很漂亮;可把整个项目从需求跑到上线、中间所有坑都踩平、最后稳稳交付,它现在还接不住。这不是我猜的,论文作者自己在动机里就点明了:AI 在各种榜单上分都很高,可这些高分一直没变成真正有经济意义的产出。考试满分和真能干活,是两回事。
现在的 AI,更像一个手特别快、单项能力极强、但完全不操心「整件事成没成」的实习生。你让它做一截,做得漂亮;你让它对这个项目负责、做到能交付、出了岔子还兜得住,它就露馅了。它没有那根「这事最后归我」的弦。
那这跟你有什么关系。
关系大了。AI 接不住的那一层,把片段串起来、对最终交付负责、出问题能验收能兜底,恰恰是最值钱、也最不容易被替掉的那一层。你换个角度想:它越是把一截一截的活干得又快又好,「谁来对整件事负责」这个位置反而越稀缺。一堆又快又强的零件摆在那儿,缺的就是那个能把它们装成一台能跑的机器、还敢签字交货的人。
慌「我会不会被替」,其实不如盯紧这个位置。那一截活 AI 大概率比你快,认了,省下来的力气有更值钱的地方花。真正稀缺的是另外几样:知道一个活该拆成哪几步、哪一步是命门、AI 交上来的东西哪儿对哪儿不对、怎么把它那些半成品收拾成一件真能交出去的成品。判断力和兜底能力,这才是 ALE 团队参照 O*NET 这套职业分类、自己造出来的那1000多个任务真正在考的东西,也是 AI 短期内最够不着的地方。
我也得老实说一句,这套题我没法逐一去核每一个任务,看的是论文里公开的那些样例和它给出的总分(最难那档2.6%这个数,是白纸黑字写在摘要里的)。但就算往宽里看,方向都很清楚:AI 在「整活」这件事上,离能独立交付还差着一大截,而且论文里专门说了这一档「远未饱和」,意思是它一时半会儿还到不了顶。这不是说它永远做不到,是说现在远没到你该为它丢饭碗的程度。
这两年关于 AI 要取代谁的话,听得人心里发毛。但你真把它的能力边界看清楚,会发现它替掉的多半是「一截一截孤立的活」,替不掉的是那个把活儿串起来、为结果负责的人。
#马力的AI知识分享#
发布于 北京
