AIGC·非著名程序员
26-04-11 07:57 微博认证:微博新知博主 科技博主 头条文章作者 微博原创视频博主

Claude 新推出了一个 API 工具叫 Advisor Tool,挺有意思的。

做开发的人一直有个纠结的问题:用 Opus 跑全流程,效果好,但成本太高;用 Sonnet 跑全流程,便宜是便宜了,关键环节容易出问题。两头都不完美。

Advisor Tool 的思路很巧妙,让 Sonnet 在遇到难题的时候去请教 Opus。Opus 不直接调用工具,也不直接面向用户输出内容,它只负责在背后给 Sonnet 提供指导,比如给一个计划,做一次纠正,或者发出一个需要停下来的信号。Sonnet 拿到指导之后继续往下执行。

这个设计最大的好处在于简单。不需要你自己做任务分解,不需要搞 worker pool,也不需要写复杂的编排逻辑。前沿的推理能力只在关键时刻介入,其余时间全部按 Sonnet 的价格跑。最终的效果就是,花接近 Sonnet 的钱,拿到接近 Opus 的智能水平,API 成本大幅下降。

这个工具的价值其实本身就在反映 harness 的重要性。我们可以看出来,这两年大模型的升级迭代明显慢了,确实遇到了瓶颈期。但换个角度想,大模型的基础能力其实已经够用了。真正的问题从来都不是模型不够聪明,而是我们没有把它放到一个合适的系统里去发挥。

Advisor Tool 就是一个很好的例子。同样的模型,同样的参数量,只是换了一种调度方式,效果和成本就同时改善了。这说明什么?说明接下来两年,真正的红利在工程化,在 harness 的设计上。谁能给大模型搭建出更聪明的运行环境,谁就能用同样的模型做出别人做不到的事情。

这个趋势其实已经很明显了。你看现在做得好的 AI 产品,拉开差距的地方往往不在模型本身,而在模型外面那一层东西:上下文怎么管理,工具怎么编排,什么时候该让模型思考,什么时候该让它执行,什么时候该引入更强的推理能力。这些决策逻辑才是核心竞争力。

以前大家拼的是谁的模型大、谁的参数多、谁的 benchmark 分数高。接下来拼的是谁更懂得用好现有的模型。模型能力的天花板短期内不会有质的飞跃,但系统设计的天花板远远没有被触及。把一个 Sonnet 级别的模型放进一个精心设计的系统里,它能发挥出来的价值可能比一个裸跑的 Opus 还要大。

所以对开发者来说,现在最值得投入精力的方向,是去理解模型的能力边界,然后围绕这个边界去设计系统。不是等更强的模型出来再动手,而是用好手里已有的牌。牌面够了,关键看你怎么出。

#科技先锋官##How I AI#

发布于 山东