港科大团队发文梳理参数内记忆版图：嵌入、注意力、前馈三层皆可承载
要点
大模型的"记忆"该放进上下文，还是写进参数？香港科技大学与香港浸会大学的研究团队于10月6日在arXiv发布综述论文《Towards In-Parameter Memory Augmentation for Large Language Models》，对这条技术路线做了系统清…
大模型的”记忆”该放进上下文，还是写进参数？香港科技大学与香港浸会大学的研究团队于10月6日在arXiv发布综述论文《Towards In-Parameter Memory Augmentation for Large Language Models》，对这条技术路线做了系统清点。论文由港科大博士生Haoyu Huang等九人合作完成，通讯作者为香港浸会大学的Jiaxin Bai。团队把这类方法统一定名为”参数内记忆”（In-Parameter Memory）：将可复用的领域事实、用户偏好与交互经验压缩成适配器、软提示、编码键值库等参数化对象，在推理时组合进前向计算，作为上下文学习与检索增强生成的互补路线。论文指出，后两者虽然可解释、易修改，但计算成本随上下文长度增长，长上下文还会挤占有限的上下文窗口。
综述用两条相互正交的轴组织整个领域：一条是参数放在哪——嵌入层、注意力层、前馈网络层，或跨层混合；另一条是记忆何时获取——部署前离线完成，还是服务过程中在线生成。作者设计了获取与组合两个操作符，把几十种方法收进八个格子，并立下三条准入标准：以连续参数形式存在、由独立操作符主动生成、部署时作为独立对象接入前向计算。按此标准，未经修改的KV缓存被排除在外——它只是模型预填充文本时顺带产生的副产品，并非独立生成的记忆对象；但若由专门编码器生成键值库，则重新纳入讨论。
不同位置各有脾气。嵌入层组合成本最低，主干模型完全不用动，但影响是间接的，要靠上层逐层消化；注意力层支持内容寻址，可做联想检索与循环更新，代价是与注意力头结构和计算预算深度绑定，测试时训练路线的Titans、ATLAS是这一格的代表；前馈网络层能精准覆写具体行为，读取却是逐位置独立、没有内容选择能力，连续写入容易互相干扰、引发知识冲突与遗忘；混合模式表达力最强，行为却最难归因到单一组件。
论文同样坦率地列出未解难题：连续编辑与循环更新会不断覆盖早先存入的关联，长序列下的冲突检测和固定容量分配尚无彻底方案；一次来自不可信上下文的写入，事后可能被当作可信知识检索出来，而现有系统普遍不记录来源，基于来源的写入门控仍是研究问题；对需要精确引用、来源追溯、定向删除的任务，上下文学习和检索增强生成依然是更合适的选择。团队在GitHub维护了持续更新的方法清单，按四层乘在线离线索引，收录了从2021年Prompt-Tuning、Prefix-Tuning到近期KBLaM、AtlasKV等工作。
把记忆放进参数，本质是在效率与可控之间重新分配筹码。这份版图把”记忆该放在哪”从一句口号，变成了可以逐格比较利弊的工程问题。
