AI Model Memory
导言
大语言模型、多模态模型是如何设计来实现高效Mem机制。
理解模型: 长上下文¶
251229 QwenLong-L1.5 通义文档智能团队¶
QwenLong-L1.5 是通义文档智能团队发布的长文本推理模型，基于 Qwen3-30B-A3B 打造，通过三大技术创新（“数据合成 + RL 优化 + 记忆管理” ）解决长文本推理的核心难题：
🔍 一、核心创新
-
多跳推理数据合成流水线 通过知识图谱引导、跨文档表格引擎和多智能体自我进化（MASE）三大“出题引擎”，生成需跨文档关联、全局推理的复杂任务，提升模型深度理解能力。
-
稳定高效的强化学习优化
- 任务均衡采样：强制混合多领域任务数据，避免批次内分布偏移。
-
自适应熵控制（AEPO）：动态屏蔽高熵状态下的错误惩罚，保护探索行为，解决长文本信用分配难题。
-
记忆管理框架
模拟“智能笔记本”实现无限扩展的外置记忆，通过多阶段融合RL 训练 (multi-stage fusion RL training)，将结构化记忆与窗口内推理能力统一，突破256K上下文限制。
📊 二、性能突破
- 权威榜单表现：在 MRCR、CorpusQA 等多跳推理任务中分别提升31.72分和9.69分，整体平均分暴涨9.9分，媲美 GPT-5、Gemini 2.5 Pro 等顶级模型。
- 通用能力增强：数学推理（AIME25）、智能体记忆（BFCL）等任务表现同步提升，打破“专才牺牲通才”的局限。
- 超长文本处理：支持1M~4M Token任务，性能远超同类智能体方法。
生成模型¶
攻克长视频生成记忆难题：港大与快手可灵MemFlow设计动态自适应长期记忆，告别快速遗忘与剧情错乱