冷炜
26-05-18 19:30 微博认证:财经博主

Demis 还分享了一个让我特别出乎意料的判断,他说未来 6 到 12 个月,真正的价值不在更大的模型,在更小的模型。

这一部分内容我反复听了好几次,确实突破我的已有认知。

不知道大家的想法,反正我自己,这一年来并没有怎么关注小模型的进展。毕竟行业的焦点就是把模型做大嘛。

那小模型的价值到底在哪?

最直接的是成本。同样一个任务,小模型的推理价格可能只是前沿模型的十分之一甚至更少。

但 Demis 说,比成本更重要的其实是速度。

这里有一个前提得先说清楚。Demis 不是在说速度可以替代智能。

他的原话是,当小模型的能力已经达到前沿模型的 90% 到 95%,也就是已经相当不错的时候,剩下那 5% 到 10% 的能力差距,比不上速度带来的好处。

比如现在工程师用 AI 写代码,已经形成了一种新的工作节奏。一个想法冒出来,几秒之内就能看到结果,不行就改,再不行再改。

这个一改再改的循环跑得越快,做出来的东西就越好。如果每次调用都要等十秒,整个工作流就被打断了。

更关键的是,快到一定程度,工程师在这种节奏里能进入心流。一个想法、一次尝试、一个反馈、再来一个想法,思维不被打断。

这件事写过代码的人都懂,进入心流和频繁掉出心流,产出的差距是数量级的。

Agent 也是同样的逻辑。一个 Agent 跑完一个任务可能要调几十次模型,每次慢一秒,整个任务就慢一分钟。慢到一定程度,Agent 就从一个能用的东西变成鸡肋。

小模型不是大模型的廉价替代品。有些事只有小模型能做。

比如手机、眼镜、家用机器人,需要的就是一个能在本地跑起来的模型。本地跑除了反应快,还有一个特别重要的好处,隐私。

家里机器人看到的视频、听到的对话,全部在设备本地处理,根本不上云。这件事对很多用户来说不是加分项,是底线。

成本、速度、边缘部署,这是小模型的价值。

现在我理解戴博士说的了 确实超前

发布于 澳大利亚