董指导挤出俩酒窝
26-05-26 18:47 微博认证:财经知识分享官 微博新知博主 财经博主

从聊天到做事,新的负载要求
一次对话问答很简单,但智能体更像一个项目经理。 
比如,销售智能体要处理客户线索,除了读取资料、历史记录,还要查看库存和价格政策,生成跟进话术,创建工单,提醒销售,甚至把结果写回系统;
调度智能体要给工厂排产,需要读取订单、库存、设备状态、工艺约束、交付时间、物流计划,还要在产能、成本、交期之间做权衡,最后输出方案,提交审批。
这就是一条任务链,包括目标理解、任务拆解、数据检索、工具调用、多轮推理、状态保持、异常处理、结果校验等。也由此,带来了新的云工作负载。
它有状态,不是每次都从零开始,要记住任务进度、历史偏好、上下文、长期记忆等;也是长链路的,可能会持续几小时、甚至跨天执行的复杂的任务;有工具、跨系统,必须连接浏览器、Office、数据库、邮件、CRM、ERP、OA、工单系统等等;既具有自主性,自己判断下一步;但又有权限边界,不能想看什么就看什么,想改什么就改什么;还要可审计,因为一旦智能体进入企业系统,每一次查询、每一次调用、每一次修改,都可能影响真实业务,也必须可解释、可回滚。
为了让智能体更丝滑进入生产环境,也需要基础设施具备Harness “驾驭工程”,为智能体搭建脚手架。
对比而言,过去的云,承载的是应用;大模型时代,AI云承载的是模型;而智能体时代,AI云要承载的是任务链。
这就是改变。
Google Cloud在报告《State of infrastructure in the agentic AI era》中也认为,随着智能体工作负载从试点转向生产,83%的组织需要升级基础设施来支持生产级自主系统。
另外,智能体时代,Token(词元)的性质,也和对话消耗不同。不再是计费单位,更像生产资料。
这时的关键,是基础设施要让Token更智能。AI云,除了提供Token,更要能够管理、组织Token,让每一个token尽量转化成有效动作,而不是变成无意义的重复推理。就像百度智能云沈抖在Create大会上所说,AI云的下半场,不是比谁消耗了更多tokens,而是比谁能用好每一个token。
简言之,智能体,不是一个应用功能,而是一类基础设施问题。

发布于 上海