General Agent的上半场重点是如何结合海量的tools 实现全场景的功能覆盖,同时各家目前都在做自己的Agent流量入口,General Agent下半场是什么? 个性化记忆。怎么做? 显式明文?隐式参数?目前是没有共识的
DeepSeek给出了他们的思考,DeepSeek Engram, 采用知识(Engram Table)和推理分离的技术架构可以很好的解决以前要增加模型的知识量,必须把模型做大(重新训练),成本极高的训练范式,转为只需要小参数模型LLM带着无限扩容的知识库进行模型的训练和调优。
DeepSeek Engram是一种原生向量记忆(AI-Memory Native)的解决方案,在交互的过程中就可以实现个性化记忆的更新。通过对用户的Query的将新输入的隐藏状态(Hidden State)通过一个简单的变换函数,直接转换成一个 Engram 向量,“覆盖”或“添加”到表中的空闲位置就可以实现零训练的个性化记忆插入,举个例子:
过程:
你告诉LLM:“我喜欢吃西瓜”
LLM产生一个坐标,Query向量查询,指向量表Engram Table里原本存“水果”这个通用概念的抽屉。
LLM只针对这一个抽屉进行微小的数学计算,把“喜欢吃西瓜”这个信息塞进去。
下一轮对话中 Engram表已经更新好了,因此已经有相关的隐式常识了,完全不需要离线构建和离线检索。
这个最终的效果就是聊的越多,Engram表中表征了越多了个性化信息,用户就越来越离不开这个产品了,26年新的大模型技术范式(23年RLHF, 24年MoE, 25年R1)出现了
发布于 加拿大
