大模型无限上下文实现了?
大家都知道大模型是有上下文限制的,而上下文越长,到最后效果就越差。但——"如果我把上下文分成两个模型调用,然后在第三个调用中合并它们,是不是就能避免这种退化问题?"
来看今天的论文精读——Recursive Language Models 递归语言模型 - 让模型决定如何处理海量上下文
这个框架就如同上面说的,方法非常简单,让语言模型递归地调用自己来处理几乎无限长度的上下文。 在测试中,GPT-5-mini 的变种模型表现超越了GPT-5本身, 在最困难的长上下文基准测试中,正确率比 GPT-5 高2x, 同时成本更低,且即使处理10M+ tokens 也不会性能退化。
那么,代价是什么?代价就是,这玩意每个递归是阻塞的,所以肯定比单独运行一个大模型慢很多,并且递归后时间和token消耗都不太可控。
这篇论文的核心是——目前的Agent是让人类决定如何分解问题,而 RLM则是让大语言模型决定如何分解问题
往期论文精读地址:github.com/karminski/teach-fish-to-swim
#ai创造营# #ai生活指南#
发布于 日本
