初步科研想法 (五) | HDP-Attention：模仿人类分层记忆以实现高效长上下文大语言模型

为了解决大型语言模型在处理超长上下文窗口时面临的计算效率低下和“迷失在中间（Lost in the Middle）”的现象，本提案引入了受人类分层记忆启发的 HDP-Attention（分层狄利克雷过程注意力机制）。目前的模型通常将记忆视为一个扁平的缓冲区，对每一个历史 token 进行同等关注，从而导致了二次方增长的计算成本。相比之下，人类保留了用于即时对话的详细工作记忆，但将过去的事件压缩为语义摘要，只有在被触发时才会回忆起具体细节。通过应用贝叶斯非参数技术——具体来说是分层狄利克雷过程（HDP）——该方法旨在模仿这种效率，将上下文动态地组织成结构化的树状结构，而不是线性的序列。
该技术机制利用“中餐馆过程（Chinese Restaurant Process）”自动将 token 聚类为主题，且无需预设主题数量限制。对于最近或当前活跃的主题，模型在单个 token 层面计算注意力，以确保高保真度。然而，随着主题变得不活跃，它们会被压缩成单个“主题向量（Topic Vectors）”（父节点），从而大幅减少内存占用。如果一个新的查询与某个被压缩的主题向量相匹配，系统会“展开”该节点以恢复对其中特定 token 的访问权限，这种方式通过保留过去低分辨率的摘要同时维持对当前高分辨率的访问，有效地实现了无限上下文长度。 #大模型 #机器学习##人工智能#