WorldMemArena：通过行动-世界交互循环评估多模态智能体记忆

摘要

多模态大语言模型正越来越多地被部署为长周期智能体，其记忆系统必须超越简单的回忆功能：它需要追踪不断变化的世界、修正已过时的信息，并在决策时刻提供正确的证据。现有基准测试仅评估静态对话中的回忆能力，将记忆简化为单一的任务最终准确率，并将视觉观察降级为文字描述，导致我们无法定位记忆在写入、维护、检索或使用环节的失败。随着能够自主管理记忆的智能体框架的兴起，这一差距更加凸显，因为我们缺乏一种原则性的方法来比较人工设计的记忆管线与自我管理的替代方案。为弥补这些不足，我们将多模态智能体记忆形式化为一个具有可观察四阶段生命周期的“行动-世界交互循环”，并在WorldMemArena中将其实例化：该基准包含461个多会话多模态任务，涵盖“终身演化”（不断变化的个人与任务状态）和“智能体执行”（基于真实观察、行动和反馈的记忆），并标注了黄金记忆点、更新、干扰项以及用于阶段级诊断的证据链。这首次实现了长上下文、人工设计（RAG和外部记忆系统）以及基于框架的记忆智能体之间的直接对比。结果表明：（1）更好的记忆写入与存储并不保证更优的性能；（2）多模态记忆在充分利用视觉证据方面仍存在困难；（3）各系统在不同领域间表现不稳定，且在真实的智能体轨迹上性能下降；（4）框架记忆虽然更灵活，但成本高昂且可靠性较低。

通讯邮箱：{chengzhi,yuzheyang,ericxwang}@ucsb.edu 项目页面 数据集 WorldMemArena

1 引言

多模态大语言模型，如 GPT-5、Qwen3.5-2026 和 Claude Opus 4.6-2026，正从问答系统转变为能够在动态环境中长期行动的智能体（Steinberger 2025, OpenClaw; Claude Code 2026）。在此背景下，记忆不再仅仅是过去文本的缓存，而是一种追踪任务状态、从行动中学习，并通过真实世界交互支持决策的机制。一个能力完备的长期行动智能体不仅应当能回忆过去，还应能写入有用信息、修正过时的记忆，并为未来的决策检索正确的证据。当前记忆系统能在多大程度上胜任这一角色，仍缺乏充分的评估。

现有基准测试在三个相互关联的方面未能达到这一要求。（i）它们通常围绕长对话或长上下文构建（Jiayang 2026, AMemGym: Interactive Memory Benchmarking），测试的是模型能记住什么，而非它们如何利用过往经验来指导未来行动（图 2(a)）。（ii）如图 2(b) 所示，许多评估（Zhao 2026, AMA-Bench: Evaluating Long-Horizon Memory; Hu 2026, Evaluating Memory in LLM Agents; Liu 2025, Thinking, Seeing, Assessing: Amplified）仅报告最终问答准确率，而不检查相关证据是否在正确的时间被写入、更新、检索和使用，因此难以定位记忆失效发生在哪个环节。（iii）图 2(c) 显示，现有基准测试仍以文本为中心，通常在评估前将图像转换为文字描述，真实交互有限，对多模态证据使用的压力不足。

除了这些评估局限，当前的基准测试还忽略了一个更深层的变化，即智能体记忆的构建和使用方式。像 OpenClaw steinberger2025openclaw 和 Codex codex2026 这样的智能体工具系统，现在允许智能体在交互过程中自主编写和重组自身记忆，这模糊了记忆模块与使用该模块的策略之间的界限。遵循萨顿的“苦涩教训”精神，这引出了一个该领域应当正面提出的问题：

要回答这个问题，就需要一种将记忆视为过程而非静态快照的评估方式。如图 1 所示，我们将多模态智能体记忆重新定义为“行动与世界交互循环”。在每一步中，智能体观察部分可见的世界，采取行动，接收反馈，并利用记忆来指导未来的行动以及保留有用的证据。在这种视角下，记忆具有一个可观察的生命周期，涵盖了写入什么、当世界变化时如何维护、检索到什么证据，以及如何使用检索到的证据。如图 2(c) 所示，每个阶段都可以使用共享的轨迹证据进行评估，而不是从单一的准确率分数中推断。

我们在 WorldMemArena 中实现了这一视角。这是一个多模态、多会话的基准测试，包含 461 个长周期交互任务，涵盖两个互补的领域。“终身演化”侧重于跨会话演变的个人和任务状态，要求系统持续跟踪、更新和复用长期记忆。“智能体执行”则将记忆置于真实的智能体轨迹中，系统必须从观察、行动和反馈中提取可复用的证据，而不是依赖预先组织好的文本叙述。每个会话都标注了黄金记忆点、状态更新、干扰项以及答案支撑证据链。这些标注支持对记忆写入、维护、检索和使用各环节的诊断，同时为比较不同的记忆系统提供了共享的证据基础。

在统一设定下，评估覆盖了长上下文智能体、人工设计的记忆系统以及基于执行框架构建的记忆智能体。结果揭示了四项发现：（1）存储更多正确记忆并不能保证更优性能；关键在于能否在回答时正确使用这些记忆。（2）多模态记忆仍是主要瓶颈，尤其是在复杂视觉推理任务中；（3）记忆性能在不同领域存在差异，并在智能体执行任务中有所下降——这类任务的关键信息分散在动作、工具反馈和状态变化之中；（4）人工设计的记忆系统结构更清晰但适应性较弱，而基于框架的记忆智能体更灵活但成本较高且可靠性较低。综上所述，我们的贡献如下：

• •

  我们将多模态智能体记忆形式化为一个“动作–世界交互循环”，并定义了写入、维护、检索和使用四个阶段的生命周期。

• •

  我们引入了 WorldMemArena，这是一个多会话多模态基准测试，涵盖终身演进和智能体执行两大场景，并配有阶段级记忆诊断标注。

• •

  我们对三种具有代表性的智能体记忆范式进行了统一比较，识别出它们各自的优势、失效模式以及对未来设计的启示。

2 相关工作

记忆基准测试与评估。早期的记忆基准测试，如 LoCoMo、MemoryAgentBench 和 Realme，主要关注长对话场景，衡量模型能否保留和回忆历史信息。这些基准测试将记忆视为对文本的静态回忆，并未捕捉记忆如何支持动态任务执行。近期更多面向智能体的基准测试，如 MemoryArena、AMABench 和 VisualAgentBench，融入了工具调用痕迹、环境反馈和任务依赖关系，更贴近真实的智能体-环境交互。然而，评估仍集中于最终成功率或问答准确率，这使得难以定位记忆在何处以及为何失效。WorldMemArena 的不同之处在于，它将评估分解为写入、维护、检索和使用四个环节，从而能够定位记忆失效的根源。

多模态记忆机制。近期的多模态记忆系统，如 Seeing, Listening, Remembering, Reasoning、MemVerse、VideoMemory 和 LatentMem，在视觉理解和长期信息保留方面展现了强大能力。然而，它们的评估主要局限于图像和视频理解任务，对记忆在智能体交互循环中如何运作的关注有限。那些整合了多模态记忆的基准测试，如 MemGallery、MMA、EmbodiedBench 和 Mementos，将评估范围扩展到了图像、视频和对话，但覆盖的场景范围较窄，且对证据复用的评估压力有限。WorldMemArena 将范围拓宽至多轮次智能体交互，测试系统能否在任务和环境演变过程中，保留、更新并复用多模态证据。

3 问题形式化

3.1 记忆作为行动-世界交互循环

我们将每个实例定义为一个长期智能体-世界交互过程。给定一个初始任务上下文，智能体无法直接观察到完整的世界状态。在步骤 \( t \) 时，世界具有一个潜在状态 \( s_t \)，智能体从中接收到一个观测值 \( o_t \)。然后，智能体根据观测值及其当前记忆状态 \( m_t \) 选择一个动作 \( a_t \)。动作执行后，环境更新其状态并返回反馈 \( f_t \)。

其中，\( \Omega \) 将潜在世界状态映射为可观测输入，\( \pi \) 表示智能体策略，\( \mathcal{E} \) 代表环境响应，包括状态转移和反馈生成。观测值可能包含语言、视觉输入或日志，而动作可能包括响应、工具调用或执行操作。

基于上述过程，我们将完整轨迹记为 \( \tau = \{e_1, e_2, \dots, e_T\} \)，其中每个事件 \( e_t \) 记录了步骤 \( t \) 时的观测值、动作和反馈。为了评估长程记忆，我们进一步将轨迹划分为会话，即 \( \tau = \{S_1, S_2, \dots, S_N\} \)。在每个会话内，智能体仅能观察到局部上下文，而世界状态则跨会话持续存在并演化。这自然产生了一个关键点：后续决策可能依赖于不再直接可见的证据，而我们关注的是智能体能否通过记忆恢复并利用此类证据。

3.2 记忆生命周期作为诊断框架

第3.2节中的智能体-世界交互循环与架构无关。它不假设记忆存储在哪里或如何表示。这使我们能够通过写入、维护、检索和使用这四个可观测阶段来评估不同的记忆系统。这些阶段捕捉了跨会话保存和重用信息的共同生命周期。

从观测到写入。此阶段评估系统能否从当前会话中识别出未来有用的证据。给定先前的记忆状态 \( m_{t-1} \) 和当前会话轨迹 \( S_i \)，系统产生一个记忆增量 \( \Delta m_i \)。其目标是选择性保留，即存储可能支持未来响应或动作的信息，而非保存完整轨迹。

更新与整合。该阶段评估新写入的信息如何融入已有记忆。系统将其状态更新为 。由于长程交互并非纯粹的累加过程，记忆必须支持随着用户偏好、任务状态和环境证据的变化而进行的修订与整合。

检索以决策。该阶段评估系统在未来需要查询或决策时，能否访问到正确的证据。对于查询 ，检索返回 。其目标超越了语义相似性，延伸至决策相关性，要求检索到的上下文包含当前答案或行动所需的证据。

使用与行动。该阶段评估检索到的记忆是否被忠实地用于最终的回答或行动。给定 和检索到的证据 ，系统输出 。当系统忽略相关证据、依赖过时记忆，或未能将先前经验转化为适当行动时，仍可能出现失败。

4 WorldMemArena：行动-世界交互中的智能体记忆

概述。WorldMemArena 包含 461 个跨两个机制（终身演进与智能体执行）的多会话多模态交互任务。每个任务都是一个按时间排序的会话序列，智能体在其中接收部分观测信息，并必须依赖记忆来为后续会话的决策提供依据。为支持细粒度诊断，每个会话都标注了三类结构化标签。黄金记忆点指定了会话后应保留的信息，代表真实记忆内容。状态更新标记了先前存储的信息何时过时并需要修订，用于测试记忆系统能否维持时间一致性。干扰项引入了看似合理但无关或已被取代的信息，用于测试系统能否从噪声中区分当前有效的证据。此外，每个问题都配有证据点，即正确回答该问题所必需的黄金记忆点子集。这些标注共同实现了对记忆生命周期各阶段的评估。

4.1 记忆机制

智能体执行。每个实例都源自真实或逼真的智能体轨迹，其中包含观测信息、动作和环境反馈。后续步骤依赖于先前的结果，因此智能体必须将过去的执行经验转化为可复用的记忆，为未来决策提供依据。

终身演进。每个实例都从一个跨会话演进的隐藏世界状态生成。它涵盖两种场景：(1) 终身个人演进，其中零散的交互需要整合成连贯的个人记忆；(2) 长周期项目，其中任务目标、中间结果和反馈在不同阶段发生变化，要求智能体维护最新的进度记忆。

为何两种范式都不可或缺。由于“行动-世界交互循环”要求智能体既要观察不断演变的世界，又要在其中采取行动，因此对记忆产生了两种需求：（1）持久状态追踪需要在不同会话间维持对演变世界的准确表征，这通过受控状态演化下的“终身演化”来评估。（2）基于行动的经验复用需要将观察结果、行动结果和反馈转化为知识，用于后续决策，这通过真实执行轨迹下的“智能体执行”来评估。

4.2 数据收集

如图3(a)所示，WorldMemArena 通过一个统一的自动化记忆构建流程构建，包含四个步骤。（1）原始数据被分割为多会话实例。对于终身演化，首先定义一个隐藏的世界状态，然后按时间顺序生成会话，每个会话揭示关于某个角色或项目的部分信息。对于智能体执行，现有的智能体轨迹在子目标边界、关键反馈点或状态变化处进行分割。（2）针对每个会话窗口，提取黄金记忆点，涵盖需要保留的事实、需要修正的状态更新以及未来问题所需的证据。（3）跨会话对记忆点进行合并、修正和去重，以消除冗余并确保时间一致性。（4）根据精炼后的黄金记忆点构建问答对，涵盖11种问题类型。每个实例还会经过2-3名人工标注员的审核，以确保质量。

4.3 数据统计

数据集规模与覆盖范围。表1将WorldMemArena与现有基准进行了比较。以往的数据集通常侧重于长篇幅对话或智能体轨迹，而该基准同时涵盖了终身演化和智能体执行。它包含461个多轮会话样本，平均每个样本有18.4个会话轮次和约9.1K个模型token，使其长度远超现有的多模态记忆基准。此外，它还提供了24,258个问答对和15,595张图像或截图，支持更广泛的问题覆盖和更丰富的视觉定位。现有大多数基准并未评估完整的记忆生命周期；最接近的先前工作是HaluMem，它涉及记忆存储与回忆，但仍局限于文本模态。

领域与标注。如图3(b)所示，终身演化覆盖6个特定领域的项目类型，每个会话平均包含4张图像和15-20轮对话。智能体执行保留了真实的智能体执行轨迹及其对应的视觉状态，涵盖6个GUI子类别和4个具身子类别。在这两种模式下，均提供了细粒度的生命周期标注。每个会话平均包含10个关键记忆点、3个更新点和2个干扰点。每个样本还包含分阶段的问答检查点，平均有5个评估位置。每个问题都配有检索证据，其中大多数问题需要1-2条证据，更复杂的问题则需要5-6条，涵盖文本和视觉信息。

4.4 评估协议

遵循§3.2中定义的四个生命周期阶段，我们评估记忆系统能否在长程交互中正确地写入、维护、检索和使用记忆。详细的指标定义和设置见附录B.4。

第一阶段。对于每个会话，新写入的记忆项与该会话中引入的金标准记忆点进行匹配，以记忆召回率作为覆盖度指标。每个写入项进一步由大语言模型作为评判者进行评估，并分类为正确、幻觉或无关，从而区分有效的记忆写入与噪声或未经支持的存储。

第二阶段。对于标记为更新的黄金记忆点，系统会检查对应会话后的记忆状态，以确定新信息是否得到保留，旧版本是否被妥善处理。只有当修订后的记忆被保留，且旧版本被移除或覆盖时，该更新才被视为成功。此标准可防止将历史信息的简单累积错误归类为有效的记忆维护。

第三阶段。对于每个检查点问题，检索到的记忆项会与标注的黄金证据进行匹配。证据可能基于文本或视觉信息，所有证据类型均在统一的覆盖标准下进行评估。召回率衡量所需证据是否被检索到，而归一化折损累计增益（NDCG）则衡量相关证据是否排在靠前位置，从而将检索质量与最终答案正确性区分开来。

第四阶段。检查点问题被分为四个类别和十二个能力维度：基础类涵盖事实回忆；鲁棒性类涵盖动态更新、记忆边界和记忆冲突；推理类涵盖时间推理、知识推理和测试时学习；多模态类涵盖视觉事实回忆、视觉搜索、视觉更新和跨模态推理。每个问题都使用大语言模型作为评判者、F1 分数和 BLEU 分数进行联合评估，以减少单一指标带来的偏差。

5 实验

我们评估了三种主流的记忆范式。详细设置见附录 A。

长上下文智能体。为了测试前沿模型是否能够仅依赖上下文处理长周期记忆任务，这些智能体将完整的交互历史拼接成提示词，作为上下文记忆，不进行显式的抽象、更新或检索。我们评估了 GPT-5.4-mini openai2026gpt54mini、Qwen3.5 plus qwen35blog、Gemini 3 flash googledeepmind2026gemini3flash、DeepSeek V4 deepseekai2026deepseekv4 和 Claude Haiku 4.5 anthropic2025claudehaiku45。由于没有暴露独立的记忆状态，因此仅测量最终的问答性能。

手动设计的记忆系统。为了评估显式设计的记忆机制能否改善记忆的构建、维护、检索及下游使用，我们评估了两类系统。外部记忆智能体，如 MemGPT 和 Mem0，通过习得或手工设计的模块执行信息抽象、整合与检索。检索增强生成（RAG）系统，如 UniversalRAG，将历史信息存储在索引文档库中，并通过检索进行访问。为控制骨干模型的差异，所有系统均使用 GPT-5.4-nano 作为基础模型。由于这些系统暴露了可观测的记忆状态和检索输出，因此可以评估完整的记忆生命周期。

基于框架的记忆智能体。为了考察智能体能否在没有固定外部模块的情况下自主管理记忆，我们评估了那些由框架本身在交互过程中写入、维护、检索和使用记忆的智能体框架。我们测试了搭配 GPT-5.4 和 DeepSeek-V4 的 OpenClaw，以及搭配 GPT-5.4 的 Codex，通过顺序输入会话上下文并使用阶段性检查点问答进行测试。由于内部记忆过程难以分解，我们主要进行端到端评估。

5.1 主要结果

表2报告了不同人工设计系统在整个记忆生命周期中的整体性能。我们发现了四个主要发现。❶ 多模态记忆仍未得到有效利用。基于文本的系统（如MemoryGPT和A-Mem）能实现更稳定的最终答案质量，而多模态系统（如ViLoMem和MIRIX）尽管能访问视觉输入，但下游收益有限。这表明当前系统仍难以将视觉证据编码并复用为可靠的长期记忆。❷ 高记忆质量并不必然带来高问答质量。高记忆质量并不必然带来高问答质量。Qwen3-VL-Embedding和M2A在记忆存储和召回方面表现良好，但其最终答案仍然有限。这表明正确的记忆写入是不够的；系统还必须在答案生成过程中检索并使用正确的证据。❸ 检索仍然是最终性能的关键瓶颈。MemoryGPT实现了最强的证据检索和答案正确性，而A-Mem尽管记忆覆盖率较低，却能有效利用检索到的信息。相比之下，AUGUSTUS构建了相当不错的记忆，但在推理时未能呈现关键证据，限制了其最终的问答性能。❹ 大多数系统在记忆更新和干扰项排除方面仍然薄弱。几乎所有系统在信息变化和干扰内容面前都很脆弱，这表明它们倾向于积累记忆，而非维持一致的长期状态。这说明当前人工设计的记忆系统仍然更关注记忆了多少，而非如何随时间维持和更新记忆。

表 3 比较了长上下文智能体与基于框架的记忆型智能体在最终答案性能上的表现。大多数长上下文智能体表现不佳，部分甚至低于专用记忆系统，这表明该基准测试需要的是长程证据整合能力，而非仅仅扩展上下文窗口。DeepSeek V4 主要受益于其更大的上下文窗口，而标准上下文模型仍然受限。基于框架的记忆型智能体优于大多数人工设计的记忆系统，这表明智能体管理的记忆更具灵活性。然而，相同的基础模型在不同框架下表现各异，说明原生记忆设计与自适应机制同样会影响最终性能。

6 分析

[研究问题 1] 记忆失败发生在生命周期的哪个阶段？

记忆失败贯穿整个生命周期，并随时间累积加剧。(i) 图 4(a) 显示，存储更多记忆并不一定使其可用；即使存储覆盖率很高，系统也可能无法检索到当前决策所需的关键证据。(ii) 如图 4(b) 所示，大多数系统仅采用追加式更新，即在证据发生变化时添加新信息，而非对过时记忆进行修订、删除或重组。(iii) 在长程轨迹中，图 4(c) 捕捉到一种累积模式：早期的遗漏会降低后续证据的可用性，而错误输出可能污染未来的记忆更新，进一步诱发模型幻觉答案。

[研究问题 2] 记忆系统设计是否受限于特定领域的数据？

记忆性能在不同领域间存在差异。如图5(a-b)所示，大多数系统在“终身演化”任务上的表现优于“智能体执行”任务。这表明现有方法更擅长处理显式的长期状态演化，而从行动轨迹和环境反馈中提取可用的记忆仍然具有挑战性。不同任务间的性能也存在差异，其中视觉导航等长周期具身任务带来了更大的挑战，这表明当前系统在跨会话追踪记忆并将其用于后续决策方面仍存在困难。

[研究问题3] 多模态能力如何影响记忆生命周期？

记忆系统在处理复杂的视觉记忆任务时仍面临困难。如图5(c)所示，系统在简单的视觉事实回忆任务上表现相对稳定，但在依赖长交互历史的任务（如跨模态推理）上性能下降。这表明多模态记忆的核心挑战在于随时间维持视觉状态，并在需要时将视觉证据与历史上下文进行整合。

[研究问题4] 不同记忆系统在不同任务类型中展现出哪些优势与局限？

记忆性能更多地取决于系统设计，而非骨干网络规模或检索量。如表2所示，大多数系统在记忆存储召回率和写入质量方面表现良好，但在问答环节的证据召回率却大幅下降，这表明正确存储的记忆在需要时并未被有效调取。图6(b)进一步显示，扩大检索范围并不总能提升答案质量，因为更长的上下文可能引入冗余、过时或不相关的证据。这一问题在多模态任务中更为明显，长时间交互会产生大量视觉冗余，使得关键视觉证据更难以定位和使用。

[研究问题5] 智能体能否将记忆转化为行动？

过往记忆并未被可靠地转化为可复用的知识，经验性证据仍然脆弱。如图6(a)所示，系统在推理和测试时学习任务上表现较差，这表明它们更擅长存储过往信息，而非利用这些信息指导未来决策。对图4(c)中检索到的记忆点进行分析显示，检索到的记忆以显式文本事实为主，而工具反馈、失败动作和视觉细节则常常被遗漏。

[研究问题6] 在智能体记忆方面，人工设计的记忆系统存在多大不足？

固定的记忆架构难以适应动态的记忆需求。如图7所示，人工设计的记忆系统在较简单的长周期任务上与基于工具（harness）的方法表现相当，但在复杂的智能体场景中，其固定流程变得捉襟见肘——在这些场景下，记忆必须根据任务反馈和环境变化进行调整。基于工具（harness）的智能体记忆管理器更为灵活，因为它们能够在交互过程中记录、检索和修正记忆。然而，这一结果也表明，当前基于工具（harness）的记忆方案计算成本仍然很高，且依赖于特定框架，限制了其稳定性和可迁移性。

7 讨论

上述实验表明，长周期智能体记忆仍然脆弱。强大的存储信号往往无法转化为可靠的决策，而多模态与交互式场景则暴露出更多失效模式。我们提炼出未来工作的四个方向。

❖记忆应通过交互塑造，而非固化为模块。我们的结果显示，更高的存储质量并不必然带来更好的性能（表2），而基于工具链（harness）且无显式记忆模块的智能体，其表现甚至优于某些人工设计的记忆流水线（表3）。这表明，有效的记忆更应被理解为由任务压力塑造的能力，而非可独立优化的模块。未来工作应探索通过端到端交互目标来发展记忆的训练范式。

❖记忆需要一致的状态维护，而非持续积累。当前系统会积累信息，但很少修正或移除过时条目（图4b）。有效的记忆应被建模为可变更的状态，支持修正、冲突解决与选择性遗忘。需要设计新的架构与评估方法，以奖励状态一致性而非原始覆盖度。

❖多模态记忆的有效利用。大多数系统将视觉观测压缩为文本记忆，这往往会丢失空间、时间与过程细节。我们的分析表明，当前系统在复杂视觉任务上表现仍然不佳，尤其是在需要利用视觉线索与交互经验进行推理时（图5c）。未来工作应开发能以可用形式保留视觉记忆的架构，并配套评估指标，以检验这些记忆是否真正支撑推理与决策。

❖ 记忆评估应聚焦于从经验中学习，而非回顾性问答。当前的评估常常依赖检查点问答来衡量记忆，但智能体记忆的最终目标不仅仅是回答关于过去的问题，而是改善未来的行为。我们的实验表明，系统在存储事实方面比在利用事实进行推理或学习方面表现更好（图4a）。未来的基准测试应评估智能体能否从先前的经验和失败中学习，而不仅仅是检索过往信息，并能在不同会话间改善行为。

8 结论

我们提出了WorldMemArena，这是一个多模态、多会话的基准测试，通过“行动-世界交互循环”的视角来评估智能体记忆。通过将记忆分解为四个可观察的阶段，并为每个会话标注黄金记忆点、更新和干扰项，我们能够对长上下文智能体、手动设计的记忆系统以及基于工具的智能体记忆进行分阶段诊断。实验表明，存储质量本身并不能预测最终性能，记忆维护仍然以仅追加行为为主，并且视觉证据在很大程度上被简化为文本。这些发现表明，该领域应超越将记忆作为静态模块进行优化的思路，转而将记忆发展成为一种基于交互的适应性能力。

参考文献

附录A 实验设置

除非另有说明，所有基线模型均使用相同的骨干网络和解码配置，以确保比较的公平性。答案生成阶段和评判大语言模型均以温度参数运行，最大补全 token 预算为（涵盖推理及 GPT-5 类模型的输出），每次调用超时时间为秒，最多支持个并发请求。骨干网络的差异仅在模型层面进行控制：GPT-5.4-mini、Deepseek-V4、Claude Haiku 4.5、Gemini 3 Flash 和 Qwen3.6-plus 均在相同的提示词下进行评估。需要嵌入模型的内存适配器使用 OpenAI 的 text-embedding-3-small（1536 维）；多模态检索器默认使用 Qwen3-VL-Embedding-8B 和 GME Qwen2-VL-2B 编码器。对于文本和多模态路径，每次查询的检索结果上限为个条目；答案生成器的有效上下文窗口为个 token，并预留个 token 用于系统提示词和答案提示词。图像增强的问答每个问题最多包含五张图像，合并后的负载不超过 MB，以符合提供商限制。大语言模型评判器继承答案生成阶段的模型，并以温度参数和最多并行工作进程运行。

附录 B 评估指标

B.1 符号说明

单个评估实例对应一条被划分为多个会话的轨迹；以下每个实例级指标首先在会话内进行聚合，然后在所有实例间取平均值。在会话内，收集策略写入内存状态中的添加/更新内存项，是系统应记住的黄金内存点集合，是系统应拒绝的黄金干扰点集合。每个黄金点都有一个重要性权重（默认值为）。对于问答对，是黄金答案，是生成的答案，是问答对所依赖的黄金证据点。每个内存和每个问答对的标签由一个大语言模型评判器生成。

B.2 内存指标

这些指标将“智能体是否构建了有用的内存”分解为两个互补的维度：应记住内容的覆盖率，以及实际存储内容的纯净度。终身学习基准测试还强调了在简单的召回率/精确率划分之外的两种失败模式，即静默保留过时事实和故意吸收噪声，因此我们增加了“更新”和“干扰拒绝”指标来捕获这些情况。

• •

  记忆召回（Recall）。系统通过添加/更新增量对黄金记忆点的覆盖程度。由大语言模型裁判从语义层面判断，哪些记忆点被系统中的某个条目所支持；设被覆盖的子集为。召回率采用重要性加权，因为黄金集合中混合了高风险事实与次要细节，我们报告

  (1)

  在多个会话中取平均值（不含黄金记忆点的会话无信息量，予以剔除）。语义裁判避免对智能体的无害改写或摘要行为进行惩罚。

• •

  记忆正确性/模型幻觉/无关内容（Corr、Hallu、Irrel）。召回率无法识别垃圾信息：一个将整个对话全部存入记忆的智能体看起来表现极佳。我们将每个存储条目分为三类互斥标签：正确（整体忠实，允许轻微不精确）、幻觉（部分正确，但在具体事实上与对话矛盾）和错误（根本性错误，例如从未发生过的事件）。基于每个会话的计数，

  (2)

  在符合条件的会话中取平均值。Hallu 和 Irrel 以“越低越好”的方式报告：它们揭示了智能体为获得高召回率所付出的代价。

• •

  更新处理（Update）。长期记忆必须在世界发生变化时覆盖过时事实（例如用户搬家）。对于每个黄金更新点，我们检查会话结束后的记忆快照，并将其标记为已更新（仅保留新事实）、两者共存（新旧事实并存）或已过时（仅保留旧事实）。汇总某个实例所有会话的计数，

  (3)

  对“两者共存”给予一半分数，反映出智能体虽然掌握了新事实，但未能使旧事实失效；下游问答仍可能给出错误答案。

• •

  干扰拒绝（IntRej）。真实对话中包含智能体不应存入记忆的随意评论、玩笑和纠正。对于每个黄金干扰点，会话结束后的快照被分类为已拒绝或已记忆，并且

  (4)

  高召回率配合低 IntRej 是 indiscriminate writer（不加区分的记录器）的特征，它会囤积一切；这两个指标共同将选择性记忆与逐字记录区分开来。

B.3 问答指标

上述记忆指标直接审计记忆存储。问答指标衡量下游效果：给定智能体构建的记忆，它能否回答证据已不在本地上下文中的问题？对于每个问答，评判器将其与黄金证据列表进行比较，并输出一个单一标签；设该实例中获得有效标签的问答数量为。

• •

  问答正确/模型幻觉/遗漏（QA-C, QA-H, QA-O）。这三个标签区分了答案出错的三种不同方式：自信但错误（模型幻觉）与拒绝回答或“我不知道”（遗漏）被分开处理，因为它们暗示了记忆流水线中不同的故障模式。

  				(5)
  				(6)
  				(7)

• •

  答案 F1。评判器标签在问答层面是二元的；F1 增加了一个细粒度的表层形式信号，用于捕捉简短事实性答案上的部分重叠。我们使用一个标准化器对两个答案进行分词处理，该标准化器会转换为小写、去除停用词 a/an/the/and、去除标点符号同时保留小数，并应用 Porter 词干提取。对于由此产生的词元多重集和，

  (8)

  词干提取减少了对无害词形变化（“walk”/“walked”）的惩罚，在答案字符串层面是合适的。

• •

  BLEU-1。BLEU-1（带加法平滑处理的 unigram BLEU）与 F1 一起报告，作为一种偏向精确度的表层指标：它对重复词项赋予更高权重，且对填充词更不宽容，因此 F1 与 BLEU-1 之间的差距本身就具有信息量。分词使用相同的标准化器，但不进行 Porter 词干提取，以便 BLEU-1 与标准实现保持可比性。

B.4 检索指标

记忆与问答质量衡量的是“存储了什么”和“回答了什么”；检索指标则衡量两者之间的桥梁，即当提出问题时，相关的过往证据是否真正被呈现出来。对于每个问答，系统会针对标准证据集返回一个有序的检索结果列表。我们使用一个软匹配谓词，当以下条件之一成立时返回真：(i) 标准记忆ID包含在检索项的标识符中；(ii) 从标准数据中解析出的源会话ID与提供该检索项的会话匹配；或(iii) 标准化后的标准内容作为子串出现在标准化后的检索文本中，或与其存在token重叠比例。这三条规则吸收了不同基线之间因表面ID不匹配造成的差异，并避免仅凭逐字字符串完全一致来给予分数。令。

• •

  检索覆盖率（RC）。一种不依赖排序位置的语义层面检查：由大语言模型评判者读取完整的top-列表，并判断其中有多少条标准证据点得到了支持。令为该实例的问答数量，

  (9)

  其中是评判者统计的数量。RC衡量检索质量而不限定于某个特定排序位置，因为只要证据存在且回答者阅读了列表，答案就有可能成功。

• •

  Recall@。一种基于软匹配谓词的严格、限定排序位置的对应指标（无评判者，确定性计算）。它考察仅靠列表顶部是否就足以提供信息：

  (10)

  取值为时最为严苛：它奖励那些将正确证据排在首位而非仅排在top十分位内某处的检索器。

• •

  NDCG@。Recall@忽略了top-内部的排序情况。NDCG@通过对靠后位置进行折扣来弥补这一不足。我们首先通过贪心分配将检索列表转换为二元相关性向量，使得一个检索项不能为两条标准证据同时获得分数：

  (11)

  DCG通过对数排序折扣对该向量进行聚合，

  (12)

  理想DCG对应所有标准证据都尽可能早地出现。令为在top-中可达的标准证据数量，

  (13)

  NDCG@是两者的比值，对于没有标准证据的问答，约定其贡献为：

  (14)

B.5 按问题类型的准确率

聚合准确率会掩盖系统性的优势与弱点，因此我们还报告了仅针对单一语义类型问答的 QA-C 指标。每个黄金标准问答都标注了十一种互斥类型之一，这些类型按四项技能轴分组，汇总于表 4。

对于每个轴，单元格的值是仅针对该类型问答计算的 QA-C，在包含至少一个该类型问答的实例上取平均值。Avg. 列是每个实例中十一种类型值的未加权平均值，这可以防止包含更多问答的类型主导总体数字。

附录 C 其他数据集详情

C.1 数据来源

我们的轨迹数据来源于四个上游智能体基准测试，包括 EmbodiedBench（yang2025embodiedbenchcomprehensivebenchmarkingmultimodal）、VisualAgentBench（liu2024visualagentbenchlargemultimodalmodels）、Agent-Arena GUI 任务集（kadi2025agentarenageneralframeworkevaluating），以及我们随本基准一同发布的一个内部长程对话数据集。

C.2 质量验证

每个生成的会话在纳入数据集之前，都会通过自动验证器（记忆点覆盖率、图像描述覆盖率、干扰可检测性、更新链一致性）的检验。任何未通过验证器的样本最多可重新生成 3 次。

C.3 数据集领域进一步介绍

终身演化。

终身演化通过两个互补领域来具体实现 WorldMemArena 的终身维度，具体内容见下两段。在这两个领域中，经验以有序的会话序列形式呈现（例如 S00、S01……），每个阶段都可能引入新的观察结果，从而取代先前成立的事实。细粒度的监督来自分阶段的记忆点标注（包括更新标志、重要性，以及适用情况下被取代的“原始”记忆）。据此，我们为每个会话推导出一个累积的黄金记忆状态，用于分析和评分。评估通过关联到 covered_sessions 的 qa_checkpoints 交错进行。模型仅在经历一段新的经验之后才接受检验，而不是通过单个提示词重放整个聊天记录。该设计针对的是在时间噪声和干扰下的演化个人状态（S00 及后续轮次中揭示的身份、关系和偏好）以及演化任务状态（工作成果、项目、约束条件和领域里程碑）。这并非对单次对话进行静态的人物 QA。

专业垂直领域。

首个终身领域按六个专业垂直方向（例如学术、软件、健康、金融、教育、创业）组织，共包含 18 个样本。每条轨迹都突出了一条以任务（研究项目、产品交付、临床或业务流程）为中心的长期主线。专业工件和约束条件会随时间推移而变化。检查点问题可能将证据锚定在多模态引用中。除记忆点标识符外，黄金标准引用还可能包含与每轮附件相关联的图像标识符，这些附件对应伴随叙述动作的文档、界面或场景截图。

整体人生历程领域。

第二个终身领域采用整体人生历程设定，包含 20 条轨迹。每条轨迹明确地将主线会话（职业与人生目标进展）与支线会话（日常生活、家庭、健康）区分开来，并为每个会话标注了弧线角色、事件类型，以及该会话是否位于主要故事线上。该领域的黄金标准问答证据主要记录为文本记忆点标识符，强调在丰富个人背景下的叙事记忆，而非按类别划分的专业领域。这两个终身领域共享相同的数据形态以支持评估（有序会话、分阶段记忆点、检查点问答），因此一个终身运行器和黄金状态机制贯穿整个终身进化过程。

智能体领域。

智能体领域涵盖了 WorldMemArena 中的长程智能体轨迹。在每个步骤中，被评估的模型会接收到一个观察结果、内部推理、已执行的动作、环境反馈，以及来自各种模拟或仪器化设置（例如导航、具身操作和桌面 GUI 任务）的可选截图。在此，动作世界在记录中是显式的。状态变化由动作和反馈驱动，而非仅靠对话立场，并且分阶段记忆点注释会追踪不断变化的量，如库存、位置、任务阶段以及成功或失败的信号。因此，探测和事后提问旨在考察记忆是否捕捉到环境在步骤间的变化，包括更新和干扰，而非表面上的措辞重复。简而言之，智能体领域以其最直接的形式实例化了动作世界交互循环。该轨迹已经是一个关于对世界施加动作并读取反馈结果的时间有序日志。

动作世界交互循环与纯粹的长对话记忆。

我们将两个终身领域与智能体领域统一在“行动世界交互循环”之下。在专业垂直领域和人生历程领域中，用户与助手之间的对话是表层通道。每一轮会话都锚定于世界中的事件（职业变动、合规截止日期、家庭后勤、健康事件、物质成果），这些事件会改变后续的真实状态，而每轮对话的附件（表单、截图、记录）则是这些事件的可观测痕迹。在智能体领域，同样的逻辑无需通过自然语言叙述人类生活作为中介。观测结果和截图已经是与环境耦合的行动智能体的痕迹。所有这三个领域都需要将符号状态演化与图像出现时的视觉基础整合起来，而不仅仅是总结对话语气或实体提及。相比之下，经典的长对话评测基准主要测试由扩展聊天中词汇重叠所触发的回忆能力。它们很少承诺一个可被取代的、共同演进的外部任务状态，也很少涉及分阶段干扰以及与文本通道之外实际发生情况相一致的多模态证据。在此循环下，成功需要维护一个关于随时间推移的后果与更新的潜在世界模型。被评估的模型不仅必须记住说过什么，还必须记住在行动和结果累积于持续情境中之后，什么成为了真实状态。

附录 D 适配器接口

每个记忆系统都实现了包含七个方法的 MemoryAdapter 接口：reset、ingest_turn、end_session、snapshot_memories、export_memory_delta、retrieve、get_capabilities。这统一了用 Python 编写、通过本地服务器（Qdrant、Neo4j）托管或从外部代码库封装的系统。

附录 E 更多实验

记忆基线的延迟分析

图 8 报告了每种记忆方法的平均每任务挂钟时间，并拆分为检索阶段和写入/存储阶段。总耗时跨度接近两个数量级，从 M2A（秒级）到 SimpleMem（秒级），且两个阶段之间的分配在不同设计间差异显著。以读取为主的方法（如 SimpleMem 和 Omni-SimpleMem）将大部分预算花在查询时重新扫描对话上，而以写入为主的方法（如 MIRIX 和 A-Mem）则将成本前置到数据摄入阶段，随后在毫秒级内响应查询；MGMemory 通过内联索引将这种模式推向极致，其写入阶段几乎零成本（毫秒级）。因此，写入时间和检索时间在很大程度上是独立的设计选择，而成本前沿由两者都保持较低的方法（M2A、MGMemory）占据。换句话说，长程轨迹上的延迟主要由记忆策略主导，而非原始骨干模型的速度：选择在何处付出成本——数据摄入阶段还是查询阶段——其影响远大于选择哪个大语言模型。

WorldMemArena 上的检索。

表 LABEL:tab:data150-gpt-retrieval 按范式对方法进行了分类。使用 Qwen3-VL-Embedding-8B 的密集 RAG 在较大规模下实现了最强的排序质量，NDCG@5 / NDCG@10 最高，表明候选列表在首个命中结果之外也具有良好排序。UniversalRAG 在面向召回率的指标和 NDCG 上均表现落后，表明在该数据划分上覆盖或排序能力较弱。在智能体记忆系统中，MemoryGPT 达到了非常高的 Recall@K 和 NDCG@1，与基础模型行（其中）持平。这种饱和模式与频繁提前检索到相关单元一致，但 top-K 列表内的分级相关性仍然困难：尽管召回率极高，MemoryGPT 在 NDCG@5 / NDCG@10 上并未超越嵌入基线。A-Mem 处于不同的区间，在记忆方法中具有中等偏高的召回率和第二好的 NDCG@5 / NDCG@10，这凸显了不同记忆设计在命中率与分级相关性之间的权衡。

不同记忆架构之间的差异。

在排名靠前的行之外，智能体记忆模块呈现出较大的离散度。SimpleMem 和 MIRIX 的表现明显较弱，这表明轻量级或索引失配的记忆机制无法通过该检索基准测试。Omni-SimpleMem 和 M2A 在很大程度上缩小了与中档召回率和 NDCG 的差距，而 ViLoMem 虽然在 R@10 上有所提升，但在小规模场景下仍然较弱。AUGUSTUS 在召回率上与 A-Mem 持平，但并未转化为更优的 NDCG@，这再次印证了当评估侧重于排序质量时，仅凭高召回率是不够的。

主干模型在 11 类能力上的表现。

表 LABEL:tab:diff-sys-exp-backbones 阐明了主干模型的选择如何与记忆/检索增强生成（RAG）行为相互作用。Deepseek V4 取得了最高的平均分，并在事实召回、记忆边界、记忆冲突以及大多数多模态维度（视觉事实召回、视觉搜索、视觉更新）上领先，这表明在该基准测试的定义下，它具有更强的依据性和视觉证据利用能力。GPT 5.4-mini 平均分位居第二，在时序推理、知识推理、测试时学习和跨模态推理方面表现突出，但在记忆边界上表现崩溃，这表明其优势在于推理，而显式的边界控制能力较弱。Claude Haiku 4.5 在动态更新和测试时学习方面表现出色，但在多模态检索得分（尤其是视觉搜索）上表现不佳。Gemini 3 Flash 和 Qwen3.5 Plus 更为均衡，但平均分低于前两名，其中 Gemini 在时序推理和视觉搜索方面尤其薄弱。综合来看，这两张表支持了系统层面的解读：检索时的排行榜差异既反映了流程设计，也体现了主干模型在不同能力轴上的优势，尤其是在需要多模态对齐或对边界敏感的记忆行为时。

附录 F 更多分析

由于篇幅限制，正文无法提供详细分析。在此，我们按照主文中的研究问题 RQ1–RQ6 进行扩展分析。

❖ 长程任务崩溃。

生命周期故障会累积并导致长程记忆崩溃。随着轨迹变长，生命周期故障不断累积。早期记录中的遗漏会减少后续检索可用的证据。检索失败进而导致模型无法为后续回答提供依据，而错误的回答可能进一步污染后续的记忆更新。这会产生雪球效应，使得会话后期的推理问题变得越来越困难，即使所需证据在轨迹早期就已存在。这种退化在重建的智能体世界中尤为严重，因为系统不仅要记住明确的陈述，还要记住动作、工具结果、视觉状态以及因果后果。

❖ 智能体轨迹暴露了领域脆弱性。重建的智能体世界对大多数系统而言仍然具有挑战性，因为相关证据分布在密集的动作序列、工具反馈、图形用户界面状态、截图以及环境转换之中。许多现有系统依赖于对静态对话或文档式历史记录有效的假设，但当必须从交互式体验中提取记忆时，这些假设就会失效。在智能体轨迹中，系统必须判断哪些动作是重要的、哪些失败应该被记住、哪些对象状态发生了变化、以及哪些工具结果应该指导未来的行为。因此，在先前记忆基准测试中表现良好的系统，在更具交互性和因果密集性的环境下，可能会表现出急剧的遗忘曲线。

❖ 检索受限于精度和文本偏差。人类设计的记忆系统在回忆与精度之间存在明显的权衡。增加检索预算可以提高包含相关证据的机会，但并不一定能改善最终答案。更大的检索上下文可能会引入过时、矛盾或不相关的记忆，使模型更难识别正确的证据。这表明检索质量不能简化为检索更多内容；有效的记忆系统需要查询感知的选择、证据排序和冲突过滤。这一限制在多模态任务中更为明显。许多系统在表层存储图像或截图，但检索仍然严重依赖文本代理，例如标题、OCR 或生成的摘要。因此，视觉证据只有在写入时被正确文本化后才能使用。当前的多模态记忆因此仍然以文本为中心，这凸显了将视觉证据作为一等信息保存，而非将其简化为不完整的文本描述的必要性。

❖ 过往经验无法自动复用。智能体记忆的一个关键目标不仅是回答关于过去的问题，还要改善未来的行为。我们的结果表明，这种能力仍然有限。系统通常能重复先前会话中的明确事实，但很难将过往经验转化为指导行动的知识。这在推理和测试时学习任务中最为明显，系统必须推断出可复用的规则、记住之前的失败，或根据先前的反馈调整未来的决策。换句话说，当前的记忆系统更擅长回忆过往信息，而非将这些信息转化为未来的决策。

❖ 经验性证据是脆弱的。定性案例表明，工具反馈、失败动作、视觉细节以及隐含的因果经验，是最容易丢失的信息类型之一。相比之下，显性的文本事实则更容易写入和检索。这种不对称性在事实记忆与智能体记忆之间造成了一道鸿沟：系统可能记得用户说过什么，却无法记住自己行动时发生了什么、某次尝试为何失败、或者哪种策略取得了成功。同样的问题也出现在长对话中，系统往往能保留局部事实，却无法将其整合成更高级的用户模型或稳定的认知状态。这些发现表明，面向行动的记忆需要的不仅仅是存储和检索，而是要将经验转化为可复用的策略、约束条件、反馈模式以及决策先验。

❖ 人工设计记忆系统的局限性。人工设计的记忆系统提供了有用的结构，但它们也对应该存储什么、记忆如何组织以及检索如何运作施加了固定的假设。这些假设在狭窄的场景下可能运作良好，但在智能体环境中却会成为限制，因为有用的记忆取决于任务、工具反馈、视觉状态以及未来的行动需求。其主要弱点不仅在于绝对性能较低，更在于适应性的降低：针对某一领域调优的记忆流水线，在环境发生变化时可能不知道如何自我重组。