让Agent首次拥有“视听双流记忆”：openJiuwen Agent-Memory看懂长视频，关键事件一个不落
内容提要
openJiuwen AgentMemory 0.2.0 推出多模态记忆能力 OmniMem-Lens，解决长视频按固定时间切分导致的记忆碎片化问题。该能力通过视觉与语音双流识别真实事件边界，并建立三层记忆结构，实现离线整理与在线检索。评测显示，召回精度最高提升 45.7%，问答时延最高降低 97%，使智能体能够按事件记忆长视频并快速准确作答。
延伸解读
固定切分为何导致记忆碎片化
文章指出，按固定时间窗口切分长视频会带来两个问题：一是连贯事件被切断，证据碎片化，智能体只能拿到部分信息，容易产生幻觉；二是关键细节被无关画面稀释，检索时被噪音淹没。根源在于智能体按秒记忆，而人类按事件理解。这解释了为何长视频问答中，即使模型能力不弱，回答仍可能不准。
视听双流如何互补定位事件边界
OmniMem-Lens同时利用视觉和语音两条轨迹判断事件边界：画面切换时视觉流标记变化，画面静止但话题转换时ASR语音流识别转向。文章举例，产品评审会画面40分钟不变，但讲者换了三个议题，仅靠视觉会误判为同一段，而语音流能正确切分。双流交叉可避免单一模态失灵，提升切分准确性。
三层记忆与离线建库的实用价值
系统建立L0原始视频帧、L1大纲、L2细节索引三层结构，检索时先匹配文本化的L1/L2，仅需视觉验证时才调取L0。这种设计让记忆整理在离线完成，在线问答直接查记忆，从而降低时延。文章提到L1/L2已文本化与向量化，可接入主流向量数据库，对已有RAG/Agent技术栈的开发者几乎零改造。
评测提升的适用场景与局限
在Video-MME-L和LVbench上，召回精度分别提升8%和6.4%，而在事件密集的EgoLife-QA上提升45.7%；LVbench时延从34.5秒降至1.72秒。这些数据表明，事件边界越密集、固定切分越失效的场景，收益越明显。但文章未提及对短事件或极低画质视频的表现，读者需结合自身视频特征判断适用性。
Q&A
openJiuwen AgentMemory 0.2.0 新推出的 OmniMem-Lens 是什么？
OmniMem-Lens 是 openJiuwen AgentMemory 0.2.0 版本正式上线的多模态记忆能力，作为针对视频多模态记忆处理的核心技术，它通过视觉和听觉两条轨迹理解视频中的事件，并以此组织记忆内容，让 Agent 的视频记忆第一次真正做到按事件存、按事件取。
为什么长视频按固定时间窗口切分会造成记忆问题？
固定时间窗口切分（如每分钟切一段）会带来两个致命伤：一是记忆被切碎，连贯事件被窗口边界切断，导致证据碎片化，智能体只能拿到断章取义的证据，容易胡编乱造；二是记忆被稀释，关键动作与大量无关背景被强行打包，检索时关键信息被噪音淹没，召回精度断崖式下跌。
OmniMem-Lens 如何实现按真实事件切分长视频？
OmniMem-Lens 同时利用视觉和听觉两条流：视觉流看画面，画面切换时判断变化并标记；听觉流通过 ASR 语音转录，在画面没动但说话人换话题时分辨出来。双证据交叉对焦，将长视频切分在真实事件边界上，避免断章取义。
OmniMem-Lens 的三层记忆结构具体是怎样的？
OmniMem-Lens 在后台建立三层记忆单元：L1 层提供大纲，L2 层提供索引，L0 层保留原始视频细节。检索时按需取用，互不干扰。L1 与 L2 记忆单元完全文本化与向量化，可无缝接入主流向量数据库，对已有 RAG/Agent 技术栈几乎零改造即可使用。
OmniMem-Lens 在评测中的效果如何？
在三个主流长视频问答评测集上，OmniMem-Lens 配合 Qwen3-VL-8B 模型相比直接使用 VLM 模型，召回精度最高提升 45.7%（EgoLife-QA），在线问答时延最高降低 97%（LVbench 上从 34.5 秒降至 1.72 秒，快了 20 倍）。
OmniMem-Lens 如何做到在线问答时快速响应？
OmniMem-Lens 将繁重的记忆整理工作提前在离线完成，在线检索时用户 Query 先与 L1/L2 记忆单元做语义匹配，快速定位到精炼的多模态记忆；只有当明确需要视觉细节验证时，才按需调取 L0 层的精确视频帧。这种轻量级文本索引加延迟调取原始视频的架构，大幅提升了检索效率。
