加拉兹_Galazs
26-06-09 15:46 微博认证:数码博主

大模型固有的认知是“参数越大越慢”,这次#小米大模型刷新全球最快推理速度#,就证明了这个逻辑不是自洽的
万亿参数模型跑出1000 tokens/s,而且不是缩水版小模型,也不是靠专用芯片刷出来的数据,这个含金量确实不一样。
我觉得这件事最大的价值不只是快,而是证明了大模型领域真正的竞争已经从“堆参数”进入“拼工程”。模型强不难,模型快也不难,难的是既强、又快、还能保持通用能力。
过去AI最影响体验的不是能力不够,而是等待时间太长。现在如果Agent能做到接近实时响应,那改变的就不只是速度,而是整个交互方式。
去年大家还在问xiaomi有没有AI,今年已经开始刷新世界纪录。至少在推理工程这条赛道,已经进入全球第一梯队,就已经是在win的路上了

发布于 海南