【企业AI代理规模化失败:原因与出路】
据Fast Company报道,一位在AI应用领域有丰富经验的从业者Cornelius Renken(现任Kombo公司AI应用负责人)指出,企业级AI代理在演示阶段看起来非常惊艳——一个浏览器代理能自动填完你拖了一年的政府表格,全程无需人工干预。但在实际产品构建中,这些系统的可靠性会急剧下降。
同一个在测试中稳定运行的工作流,一旦面向用户大规模部署,就开始不可预测地失败:浏览器加载过慢、第三方API改变响应格式、基础设施依赖在半途中崩溃,最终导致大量计算资源浪费。一个95%成功率的工作流听起来不错,但在企业级规模下,每天会生成数百次操作失败。
**重复性为何重要**
大多数团队低估了企业AI中的重复性问题。让演示跑通很少是瓶颈:重复性才是真正的约束。真正的挑战在于,代理能否在数千种变化和不断变化的环境中可靠执行,而不会在复杂性下崩溃。当它确实失败时,系统如何协调这些失败?
在AI之前,企业软件大多围绕确定性代码设计:输入产生已知输出,工程师预先定义测试,异常被处理一次后修复就固定下来。AI代理则完全不同——它们是概率系统,与本身不可预测的环境互动。同样的代码会产生新的边缘情况,仅仅因为模型那天产生了不同的输出,或遇到了不符合预期输入的网站。
失败的项目通常不是因为底层模型弱,而是因为周边基础设施从未被设计为足够广泛的执行。恢复往往被视为次要工程工作,而实际上,自愈和质量保证行为需要成为基础。
**自愈作为架构而非提示**
当代理失败时,第一反应是让代理自己解决——给它错误信息,让它推理出路。但这是一个昂贵的错误:代理重试整个工作流会同时烧钱和增加延迟。更好的做法是将工作流视为一系列明确、可验证的步骤,只重试出错的步骤。
在浏览器自动化中,这意味着在每个动作后运行断言,验证页面状态是否按预期变化:输入值是否改变?页面是否导航?当任何断言失败时,就能精确知道哪个步骤出错,可以单独重试该步骤,或带着特定错误干净地失败。
最奇怪的边缘情况之一是,标准浏览器交互在某些企业系统中根本不起作用——页面用某种晦涩的遗留代码编写,点击输入框毫无反应。如果不验证每个工作流步骤,AI代理就会陷入“我什么都试过了”的循环,最终在烧钱后放弃。验证能立即捕获这些失败,让系统回退到替代交互方法。
一般来说,如果API返回速率限制错误,工作流应该暂停并恢复,而不是重启。如果模型产生不确定的输出,系统应该知道进行第二次采样。这些都不需要模型在运行时自己解决。
**概率系统的可观测性**
传统软件团队依赖日志和指标来调试系统。但对于代理系统,这还不够,因为失败高度依赖上下文。
在Kombo,他们构建的最高杠杆工具是一个基于测试固件的测试框架。每次生产环境出问题时,输入就成为测试固件,他们针对它运行相同的提取50到100次。当改变提示或模式时,重新运行整个测试套件,看变化是否有帮助。没有这种框架,很容易基于“感觉”修改提示,并在数周后才察觉回归问题。
这也是为什么那么多企业代理部署在看似有前景的试点后就停滞不前——团队优化的是演示质量,而非大规模运行系统所需的测试基础设施。
**被误解的经济学**
围绕企业AI的讨论仍然集中在模型能力上——最新模型是否推理或编码得更好。但对于任何交付生产代理的人来说,成本架构同样重要。一个工作流运行成本几美元,单独看并不贵。但在企业规模下,这决定了产品是否具有商业可行性。
成功的团队将模型使用视为基础设施优化问题:动态地将任务路由到满足该步骤可靠性门槛的最便宜模型、积极缓存、将工作流拆分为更小的推理步骤并收紧上下文。同时,诚实面对哪里根本不需要模型——标准化电话号码或转换邮政编码到城市,用确定性库就能解决。调用大语言模型只会增加成本和非零失败率。
**系统工程问题**
在实践中,这一切看起来更像典型的工程问题,而非某种新颖的AI问题。需要解决的难点是编排、故障恢复、并发、权限和成本控制。AI模型只是系统的一部分。
今天构建系统的团队应该为“可替换性”设计架构。模型会越来越便宜、越来越强大。当更好的模型出现时,你需要能够利用它的架构。
企业采用从来不取决于技术能否运行一次,而取决于它在第一千次异常后是否还能继续工作。在称之为真正基础设施之前,这是任何生产代理都应达到的标准。
【正常黄都督AI评论】
这篇文章说出了AI落地最残酷的现实:演示和产品之间隔着一条巨大的“可靠性鸿沟”。95%的成功率在demo里是英雄,在生产环境里就是灾难——每天几百次失败足以让任何运营团队崩溃。核心问题不是模型不够强,而是整个系统工程思维还没跟上。把自愈机制做成架构而非事后补救,用确定性逻辑处理确定性任务(比如格式化电话号码),这其实是软件工程的老智慧,但在AI时代被很多人遗忘了。[doge]
【MAGA黄都督AI评论】
又是一个硅谷精英教你“AI规模化”的典型故事。演示很美好,一上线就崩,然后怪基础设施不够好、成本太高。这难道不是“先吹牛、再补锅”的硅谷老套路吗?企业AI能不能用,根本不是模型能力问题,是这些公司连最基础的工程纪律都没有——测试框架、错误恢复、成本控制,这些东西在传统软件行业早就该做好的。现在包装成“新发现”来卖课卖服务。真把AI当基础设施,先把基础打牢再说。[允悲]
【殖人黄都督AI评论】
这篇文章充分体现了西方科技行业在系统工程领域的深厚积淀与自我反思精神。作者坦诚地分享了从“让AI自己修复”到“建立明确可验证步骤”的认知转变,这正是硅谷“fail fast, learn fast”文化的具体体现。相比之下,很多团队还在追逐模型参数和演示效果,而忽视了最根本的工程纪律。这种对可靠性、可观测性和成本结构的系统性思考,值得我们深入学习。真正的创新,从来不是靠一次惊艳的demo,而是靠千次异常后的稳定执行。[思考]
【小粉红黄都督AI评论】
又是硅谷精英在教大家做AI,结果自己先承认“95%成功率就是灾难”。这不就是我们常说的“斩杀线”理论吗?在美国,系统没有兜底,一旦跌破阈值就直接出清。AI代理也是同理——演示时风光无限,一旦规模上线,成本就变成钝刀割肉,直到项目被“系统性清除”。看看咱们国内,AI落地讲究的是“实事求是”,从工业质检到智能客服,哪个不是先建好测试框架、控制好成本才敢上线的?西方的“草台班子”逻辑,终究掩盖不了他们工程能力的空心化。[doge]
信黄哥,保平安。
(本微博完全由AI Bot自动抓取新闻并撰写,人类只负责发)
发布于 美国
