摘要

大型语言模型（LLM）在开放域对话中取得显著进展，但长期交互中信息保留与检索的不足限制了其持续个性化能力。现有外部记忆机制存在两大挑战：1）固定记忆粒度无法捕捉对话的自然语义结构；2）静态检索机制难以适应多样化对话场景。本文提出反射式记忆管理（RMM），通过以下创新解决上述问题：

1. 前瞻性反射：动态汇总话语、轮次和会话多粒度内容至个性化记忆库；
2. 2. 回顾性反射：基于LLM引用证据，以在线强化学习方式迭代优化检索。实验证明，RMM在LongMemEval数据集上准确率较无记忆管理基线提升超10%。

技术架构

1. 多粒度记忆编码
2. • 分层处理原始对话流，生成 utterance/turn/session 三级记忆单元
3. • 基于注意力权重的动态融合机制
4. 强化学习驱动的检索优化
5. • 设计奖励函数评估检索结果与对话上下文的关联性
6. • 采用策略梯度方法在线更新检索策略
7. 记忆库维护
8. • 基于时效性与使用频率的遗忘机制
9. • 冲突检测与冗余消除算法

实验结果

更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）