前OpenAI研究员Diogo Almeida发布了一款新型模型:Jev,一种“放弃生成文字只输出类型化概率决策”的模型
称速度快40–200倍,输入成本便宜5–238倍,输出接近免费
就是说把大模型从会聊天会写长文的生成器,改成软件可以直接调用的概率决策函数
用并行概率决策替代逐token字符串生成,主打结构化、可校准、低延迟、低成本
创始人Diogo Almeida称曾在OpenAI参与指令跟随/对话方法相关研究,他的问题是:模型聊天能力早已超过人,但真正可嵌入代码的自动化仍缺关键一环
Jev背后是一套全新栈:新架构、并行采样器以及新训练方法RLCD
像前沿智能函数调用,输入非结构化状态/程序状态,输出预先定义好的类型化概率决策。放弃自由字符串生成,换来无类型错误、schema内不生成非法/幻觉式输出,并自带置信度
它抢的应该是海量的微决策场景,每一次请求背后几十上百个小判断的基础设施层
可塞进业务系统里做判断器,作为分类、路由、打分、抽取,实时应用里的快速判断,工作流里的“智能if”等
如果真能把每次判断压到毫秒级、接近零输出成本、附带置信度,那这个还是有价值的
http://t.cn/AXOfrAVb
#Jev##新型模型# http://t.cn/AXOIEw79
发布于 中国香港
