恢复策略引发的错误：鲁棒GUI智能体的基准测试与轨迹合成
Recovering Policy-Induced Errors: Benchmarking and Trajectory Synthesis for Robust GUI Agents
针对GUI智能体缺乏从自身错误中恢复能力的问题，本研究提出了GUI-RobustEval基准测试和RoTS轨迹合成框架。GUI-RobustEval包含1216个可执行测试用例，系统评估智能体在多种错误模式下的恢复能力。RoTS框架通过基于树的流程合成了80万条高质量数据。在此基础上训练的RoTS-7B和RoTS-32B模型，在GUI-RobustEval及传统基准上均获得显著提升。其中RoTS-32B在OSWorld上取得了47.4%的成功率和33.8%的All-Pass@4分数，表明长时程错误恢复能力的增强对鲁棒性和整体性能均有贡献。
GUI Agent 能不能从自己犯的错里爬起来，才是落地的关键，阿里这篇论文给出了一个不错的基准和训练方案，做 Agent 的可以看看。
尽管图形用户界面智能体发展迅速，但它们往往缺乏从自身错误中恢复的稳健性，这阻碍了实际部署。为了在评估和数据两个层面弥补这一差距，我们引入了 GUI-RobustEval 并提出了稳健性驱动的轨迹合成方法（Robustness-driven Trajectory Synthesis）。GUI-RobustEval 包含 1,216 个可执行的测试用例，能够系统性地衡量在广泛且真实的错误模式下的错误恢复能力。在数据层面，RoTS 是一个可扩展的合成框架，它通过基于树的流水线主动发现多样化的错误模式并合成相应的恢复步骤，从而创建了 80 万条高质量数据。我们的两个模型，RoTS-7B 和 RoTS-32B，在我们的数据集上进行微调后，在 GUI-RobustEval 和传统 GUI 基准测试中都展现出了显著的性能提升。值得注意的是，RoTS-32B 在 OSWorld 上取得了最先进的性能，成功率达到 47.4%，All-Pass@4 得分为 33.8%，这表明改进的长程错误恢复能力有助于提升稳健性和整体性能。我们的代码可在 https://github.com/AlibabaResearch/RoTS 获取。
来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org