WBench：面向交互式世界模型评估的多轮基准
WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation
WBench 是一个用于系统评估交互式世界模型的多轮基准。它提出了一个五维评估框架，涵盖视频质量、场景设定遵循度、交互指令遵循度、一致性与物理符合性。该基准包含 289 个测试案例与 1,058 轮交互，覆盖了多样化的场景、风格、主体及第一/第三人称视角。评估使用 22 个结合专业视觉模型与大型多模态模型的自动子指标，所有指标均经过人工校验。对 20 个 SOTA 模型的评测发现，目前尚无模型在所有维度上表现均优。
视频世界模型的评估终于有了统一尺度，WBench 从画面质量到物理一致性覆盖五个维度，289 个测试用例把 20 个模型拉平一看，没有谁全面领先，做这方向的值得拿来跑一遍。
交互式世界模型正在快速发展，然而现有基准仅覆盖了部分必要能力，缺乏统一的系统评估标准。为填补这一空白，我们提出了 WBench，这是一个面向交互式世界模型评估的综合性多轮基准，涵盖五个维度：视频质量、设定遵循度、交互遵循度、一致性和物理合规性。WBench 包含 289 个测试用例和 1,058 轮交互，每个用例指定一个世界设定和一段多轮交互序列，覆盖多样化的场景、风格、主体，以及第一人称和第三人称视角，同时包含四种交互类型：导航、主体动作、事件编辑和视角切换。在导航方面，WBench 统一了文本、六自由度位姿和离散动作控制，使得具备不同原生输入接口的模型均可被评估。评估采用 22 项自动子指标，结合了专业视觉模型与大型多模态模型，所有指标均经过人工判断验证。在对 20 个最先进模型的评估中，我们发现没有任何一个模型在所有维度上表现强劲。我们提供了详细的诊断性洞察，揭示了每个模型的特征性优势、劣势以及尚存的挑战。代码和数据可在 https://github.com/meituan-longcat/WBench 获取。
来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org