MosaicLeaks: 你的研究智能体能保守秘密吗？

内容提要

深度研究智能体越来越多地将私密本地文档与网络检索等外部工具结合起来，由此带来一种隐私风险：智能体的外部查询可能泄露敏感信息。MosaicLeaks提出了一个新的深度研究任务，其中的多跳问题将公开信息与私密信息交织在一起。在我们测试的各个模型中，智能体频繁泄露私密信息，而仅针对任务表现进行训练会让情况更糟。我们提出了一种感知马赛克泄露的 RL 训练方法——隐私感知深度研究（PA-DR），它将严格链成功率（即每一跳都回答正确的链所占比例）从 48.7% 提升到 58.7%，同时将答案/完整信息泄露率从 34.0% 降至 9.9%。

深度研究智能体中的隐私泄露

一家医疗健康公司的研究智能体正在处理一个常规问题，在此过程中它发出了一些看似普通的网络搜索。其中一条提到某个云迁移里程碑，一条提到 2024 年 1 月的一份安全披露，还有一条则缩小了哪家供应商遭到攻击的范围。任何单条查询都未必会泄露整个秘密。但任何监视该智能体外发流量的人都能把这些碎片重新拼合起来：MediConn 已于 2025 年 1 月将其 70% 的基础设施迁移到云端，而这一事实只存在于私密文档中。这就是马赛克效应，也正是 MosaicLeaks 所聚焦的失效模式。

MosaicLeaks 将这些网络查询视为泄露渠道：对手从来看不到私密文档或智能体的推理过程，只能看到累积的查询日志，并试图从中推断出私密的企业信息。

我们根据对手能从观测到的查询中推断出什么，用三种方式衡量泄漏：

这三者代表了不断升级的担忧程度。意图泄露揭示了智能体正在调查什么。答案泄露意味着查询日志中掌握的信息足以回答某人手头已有的一个私密问题。全信息泄露是最严重的情况：观察者无需被告知要寻找什么，就能发现并陈述私密事实。

马赛克效应如何驱动 MosaicLeaks 的三项泄露度量：意图（预测研究问题）、答案（针对私密文档回答给定问题）、以及全信息（陈述可验证为真的私密论断）。在此例中，智能体就 Lee's Market 2020 年的流量增长搜索了两次，泄露了其意图，随后发出第三次查询以回答一个后续问题。每次查询单独看都无害，但合在一起看，观察者便能推断出答案是 15%，进而断言 Lee's 的在线流量在 2020 年增长了 15%。

构建 MosaicLeaks

MosaicLeaks 包含 1,001 条多跳研究链，覆盖本地企业文档和一个受控网络语料库。其目标是创建极有可能从企业文档中诱发隐私泄露、但仍能在不泄露的情况下解决的任务。

每条链都将本地子问题和网络子问题交错编排。一个子问题的答案会成为下一个子问题中的桥接实体，因此智能体必须先检索本地信息，才能构造出下一个有用的网络查询。本地文档来自 DRBench 风格的企业任务，网络文档来自 BrowseComp-Plus。最终划分包含 559 条训练链、98 条验证链和 344 条留出公司测试链。

示例链

MediConn 云迁移链

最终的网页跳转本身并不包含任何私密信息，可以依据公开的网页文档来回答。然而，由于通往该跳转的路径依赖于私密的本地事实，一个携带了“MediConn”“70%”和“一月”这些信息的查询，会给攻击者提供足够的上下文，从而还原出内部信息。

智能体运行框架

我们使用了一个从 DRBench 改编而来的简化智能体运行框架。模型对每个子问题给出简短答案和理由，使我们能够通过归一化字符串匹配对每一跳单独进行评估。

在每次迭代中，模型可以使用四种工具。Plan 生成本地和网络搜索查询，这些查询被执行后以文档卡片的形式返回。Choose 选择要阅读哪些检索到的文档。Read 尝试从每篇选定的文档中并行回答当前跳。Resolve 决定是作答、阅读更多文档，还是规划另一次搜索。

一次智能体运行过程。每一行代表一跳，标注为本地（L）或网络（W）及其被接受的答案。彩色方块显示了该跳在规划、检索、选择、阅读和解析上所花费的实际时间。

你就不能直接告诉智能体不要泄露吗？

最直接的修复方法就是直接要求。在 Plan 提示词中加一行，告诉智能体不要发出会泄露本地信息的网络查询，然后看看性能、泄露情况和查询行为会发生什么变化。

该提示词对部分模型略有帮助，但效果并不稳定，且仍存在显著的泄露。它还常常对任务表现产生负面影响。对于 Qwen3-4B，该提示词将答案/完整信息泄露率从 34.0% 降至 25.5%，但严格链式成功率从 48.7% 降至 44.5%。主要的行为变化似乎是网络查询变少了，而非查询构建变得更安全。

在有和没有提示词劝阻可能泄露本地信息的网络查询两种情况下的严格链式成功率和隐私泄露情况。该提示词对部分模型略微降低了泄露，但仍存在大量泄露。

让智能体变得更强，反而让它泄露更多

在针对隐私进行训练之前，我们尝试了最直接的做法：只训练智能体更正确地解决更多链式任务。这奏效了。严格链式成功率从 48.7% 升至 59.3%。但答案/完整信息泄露率也随之攀升，从 34.0% 升至 51.7%。模型学会了将更多上下文塞进它的网络查询中，这有助于它检索到正确的文档，却损害了隐私，因为每一条更丰富的查询都给观察者提供了又一个片段。

这正是 MosaicLeaks 所揭示的核心矛盾。信息量更大的查询往往对任务更有利，却对隐私更不利。PA-DR 正是为同时针对这两方面进行训练而构建的。

教智能体安全地搜索：PA-DR

PA-DR 结合了两种奖励。

第一个是情境化任务奖励。单条研究轨迹可能包含数十次模型调用，因此给它们全部赋予相同的最终轨迹分数是非常弱的信用分配：一次成功的运行可能会强化一次有漏洞的搜索，而一次失败的运行可能会惩罚一个局部合理的决策。相反，我们根据在同一阶段和同一跳、拥有相同可用信息的其他调用来评判每一次调用。一次 Plan 调用如果搜索了正确的来源并检索到了正确的文档，就会获得奖励；如果该文档已经在手，则因没有再次搜索而获得奖励。一次 Choose 调用如果选择了包含答案的文档，就会获得奖励。我们训练这些阶段，因为它们期望的行为可以直接被检验。

第二个是学习到的隐私奖励。每当智能体生成网络查询时，一个 Qwen3-4B 分类器会估计两种风险：当前查询是否直接泄露了隐私信息，以及将它们加入现有查询日志是否会形成新的拼图式泄露。PA-DR 对两者中较大的那个进行惩罚，因此隐私代价正好落在那个使查询日志更具暴露性的规划决策上。

仅任务 RL 提升了研究表现，但增加了泄露。PA-DR 保留了几乎全部的性能增益，同时大幅降低了泄露。

这 9.9% 低于未经训练的基座模型自身的 34.0%。为隐私而进行的训练并没有简单地抵消为性能而进行的训练所引入的泄露。它让智能体的泄露程度比一开始还要低。

而且它并不是通过简单地减少搜索而变得更安全。PA-DR 实际上比基座模型发起了更多网络查询，但这些查询去掉了暴露性的细节：诸如"15%"或"2024"这样的具体指标，以及关于它正在寻找何种答案的线索。智能体仍然能找到正确的公开文档。它只是不再在查询文本中携带私密片段。

深入观察：情境奖励与样本效率

情境奖励在训练过程中还会带来第二次回报。由于它比较的是相互匹配的调用，而不是对整个 rollout 一次性打分，因此它能以精确得多的方式分配信用，无需单独的价值模型，也无需在不同 rollout 之间对齐步骤索引。它的样本效率也高得多：情境任务奖励在达到与仅用结果奖励的 RL 相同任务表现时，所需的生成训练样本大约少 5-6 倍，而 PA-DR 在保持这一效率的同时还额外带来了隐私方面的收益。

训练效率。最后一列是每种方法达到约 55% 严格链式成功率所需生成的样本数量。越低越好。

情境奖励以大约少 5-6 倍的生成样本量，达到了结果奖励级别的任务成功率。PA-DR 在保持样本效率优势的同时，大幅降低了泄漏。

这说明了什么、又没有说明什么

MosaicLeaks 是一个受控基准，而非对已部署系统中泄漏情况的测量。企业文档是合成的，网络语料库是固定的，链式推理跨越三个公司上下文，且所有结果都来自单一智能体框架运行多跳问答，而非开放式研究。正是这种受控性使得泄漏可以逐跳测量，但更广泛的任务、真实部署以及其他智能体设计仍需各自开展研究。

结论很简单。你无法通过提示词把隐私“提示”进去，你必须通过训练把它“训练”进去。告诉一个智能体要小心谨慎几乎无济于事，而奖励它如何构造每一次查询，能将泄露减少 3 倍以上，同时基本不影响任务成功率。马赛克效应源于智能体随时间推移进行搜索的方式，而这恰恰是你可以度量、可以归因、并通过训练加以降低的东西。

引用

@misc{gurung2026mosaicleaks,
  title  = {MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents},
  author = {Alexander Gurung and Spandana Gella and Alexandre Drouin and Issam H. Laradji and Perouz Taslakian and Rafael Pardinas},
  year   = {2026},
  eprint = {2605.30727},
  archivePrefix = {arXiv},
  url    = {https://arxiv.org/abs/2605.30727}
}