Qwen-RobotWorld：具身智能体的无界世界

论文具身智能要求智能体在物理环境中感知、推理并行动。世界模型提供了一条可扩展的前进路径——但当前方法面临一个根本性的矛盾。通用视频生成模型学习到了丰富的视觉先验，却缺乏对具身物理进行建模的能力。领域专用的具身模型针对单个场景量身定制，无法跨具身形态泛化。

Qwen-RobotWorld 通过将自然语言视为通用动作接口，弥合了这一鸿沟。一条像"拿起红色杯子并把它放到架子上"这样的单一指令，隐式地编码了完整的动作序列、目标状态和物理约束——无需机器人专用的控制接口。这使得操作、自动驾驶和室内导航能够被联合训练，每个领域的物理知识都能强化其他领域。

语言统一了动作空间：世界知识与具身知识在单一模型内相互强化，从而实现跨场景、跨任务的物理泛化。

核心亮点#

4 项基准测试均达顶尖水平

统一 20+ 种机器人具身形态

860 万跨场景训练数据对

1300+ 项操作技能

语言驱动的统一动作接口——自然语言将 20+ 种机器人本体和 500+ 个动作类别标准化为统一接口，实现跨场景联合训练双流扩散世界模型——MMDiT 以 Qwen2.5-VL 作为动作编码器，将深度语言理解与内化的物理世界知识相结合跨场景物理泛化——操作、驾驶、导航以及人到机器人的迁移在 8.6M 视频-文本对下联合训练多视角几何一致生成——同步 2–4 路摄像头流，保持 3D 一致的对象身份与运动轨迹

模型架构#

双流扩散世界模型#

Qwen-RobotWorld 采用双流多模态扩散 Transformer（MMDiT）：

理解流处理来自冻结的 Qwen2.5-VL 编码器的语义特征，表示语言动作 $a{t}$a t。生成流处理来自视频兼容 VAE 的视觉潜变量，表示视觉状态 $s{t}$s t。

两条流在每一层通过联合注意力交互，从而在整个去噪过程中实现双向跨模态融合。

使用 MLLM 作为动作编码器——而非 T5 或 CLIP 这类轻量级编码器——带来了两个关键优势：(1) 深度语言理解能力可将复杂、组合式的指令准确解析为精确的条件信号；(2) 内化的世界知识（例如机械臂是刚体、具有固定关节约束）会隐式约束物理上合理的状态转移，从而防止物体跨帧变形等常见失败模式。

Scene2Robot：从人到机器人的迁移#

Scene2Robot 实现了跨具身形态的视频编辑：通过多段条件机制，将人类演示重定向到 14 种机器人形态，其中联合注意力使生成过程能够同时关注场景外观和机器人运动轨迹。这一能力既可在训练期间充当数据扩展引擎，也能在推理时实现从人到机器人的迁移。

多视角几何一致生成#

单摄像头观测不可避免地会遮挡关键的接触和空间细节。Qwen-RobotWorld 生成 2–4 路同步摄像头视频流——主视角、腕部安装视角和第三人称视角——并在所有视角之间保持几何一致的物体身份和运动。在训练期间，来自多个摄像头的同步帧会在空间上拼接为单一输入；模型同时生成所有视角，非对称 3D RoPE 提供空间编码，注意力层自然建立跨视角对应关系——无需任何架构修改。这种跨视角一致性进一步充当几何正则化器，教会模型物体形状、深度和空间布局。

数据：具身世界知识#

EWK 数据集#

具身世界知识（EWK）数据集沿四个互补维度组织，每个维度针对物理变化的一个不同来源：

多具身形态——人手、7 种机械臂配置、自我中心车辆、移动智能体，涵盖 20+ 种不同的机器人型号多任务——原子操作技能、长时程组合、运动、动态/可变形交互，涵盖 500+ 个动作类别多场景——真实世界优先，仿真增强：厨房、车间、户外环境，以及用于下游 VLA 评估的照片级真实感仿真多视角——主视角、腕部视角和同步多视角流（约 600 万具身样本中约 160 万包含 2–4 视角拼接）

查看详细数据集清单

数据集	具身形态	视角	贡献
操作（约 590 万样本）
EgoHOD、EPIC-Kitchens、Egocentric-10k	人手	自我中心视角	灵巧性与协调性先验
Bridge V2、RH20T、Droid	单臂夹爪	第三人称 + 腕部	交互基元
Robomind、RoboCoin	单臂/双臂、人形机器人	第一人称 + 第三人称	跨具身泛化
Agibot-World、Galaxea	单臂（夹爪 + 灵巧手）	同步的第一人称 + 腕部 + 第三人称	时序与多视角一致性
Qwen-Aloha（内部）	双臂夹爪	头部 + 双腕部	多视角抓取先验
ActionNet、OpenLoong	灵巧手	腕部 + 第三人称	细粒度灵巧操作
自动驾驶（约 200K 样本）
Waymo、NVIDIA PhysicalAI-AD、Bench2Drive、Sekai	自车视角	环视视角	大规模自车运动与多智能体动态
室内导航（6K+ 回合）
VLNVerse	移动智能体	第一人称视角	房间级空间推理
人类到机器人迁移
Scene2Robot（合成）	14 种机器人形态	多视角	跨具身视频编辑

动作-语言映射#

构建通用世界模型的核心挑战在于表征的异构性：操作使用关节角度，驾驶使用转向指令，导航使用航向向量——每一种都需要单独的模型。我们的动作-语言映射框架通过将所有动作信号投影到一个共享的自然语言空间来解决这一问题，从而使来自 Franka 夹爪、自动驾驶汽车和导航智能体的视频都成为同一个语言条件视频生成任务的实例。

一个分层的五层标注流水线确保了标注的质量与精度：

任务目标高层意图——状态之间应该发生什么变化

动作细节带有明确视角声明的时空轨迹

物理反馈对环境可观察到的后果

综合标注用于精确预测的完整描述

简洁标注用于简短任务级命令的核心要素

在训练过程中，综合描述和简洁描述以相等的概率被采样，因此模型既能处理详细的轨迹规格说明，也能处理简短的任务级命令。

训练#

训练遵循从通用到专家的渐进式课程：

阶段	环节	数据配比	目标
预训练	T2I / T2V / TI2V 联合	通用数据	构建基础视觉先验
人类交互	Ego4D、EPIC-Kitchen 等	抓取与工具使用先验
SFT	阶段 1：单视角操作	具身与通用联合训练	核心操作物理
阶段 2：多视角扩展	拓宽视角覆盖范围
阶段 3：多视角拼接	跨视角几何一致性
阶段 4：复杂跨域	长时程与跨场景

在通用数据和人类交互视频（Ego4D、EPIC-Kitchen）上进行预训练，构建了广泛的视觉先验——T2I 任务专门锚定物体几何，并通过共享骨干网络迁移到视频生成。随后 SFT 在四个阶段中逐步深化具身专业知识，同时在每个批次中保留通用数据，确保两种能力共同提升，而非此消彼长。

演示#

细粒度语言 grounding#

在相同的初始帧下，当仅有一个关键词不同时，模型会生成性质截然不同的视频。它还能处理需要长时程推理的复杂多步指令。

对比指令遵循：

左：拿起红色草莓

右：拿起黄色土豆

左：把笔放在木质托盘上

右：把笔放在白纸上

L：把胶水递给人

R：把胶水放进笔筒

复杂多步指令：

依次拿起红椒和黄椒，从左到右放在桌上

抓起黄蓝相间的叠块，将其置于绿蓝相间的叠块上方

跨域泛化#

(A) 跨具身：

(B) 跨任务 × 跨环境：

(D) 零样本鲁棒性：

我们的方法

LVP

Cosmos2.5-14B

从人到机器人的迁移#

Scene2Robot 机制保留了人类演示（左）中的任务意图，同时将动作适配到具身特定的运动学约束（右）。

超越操作：驾驶与导航#

学到的世界模型能够超越机器人操作，泛化到更广泛的移动场景。

自动驾驶。来自 Bench2Drive、NVIDIA PhysicalAI-AD、Sekai 和 Waymo 的生成驾驶片段展现出连贯的场景动态与车辆行为。

室内导航。来自 VLNVerse 的第一人称视角导航片段展示了该模型模拟在复杂室内环境中第一人称移动的能力。

从桌面操作到自动驾驶再到室内导航——Qwen-RobotWorld 证明，统一的世界模型能够超越单一形态或场景类别实现泛化。

我们针对通用视频生成模型（Sora2、Veo3、Wan2.6、Kling、LTX-2）和具身世界模型（Cosmos、LVP、GigaWorld、Vidar、Wow）在四个基准上进行了评估。

EWMBench

4.60

具身运动保真度

DreamGen

4.952

指令遵循与物理对齐

WorldModelBench

8.99

物理推理与指令遵循

PBench

0.804

物理行为评估

EWMBench

类型	模型	SceneC	HSD	Dyn	nDTW	多样性	BLEU	CLIP	Logics	总体
通用	Veo3	0.842	0.213	0.193	0.161	0.022	0.214	0.897	0.947	3.49
Wan2.6	0.671	0.203	0.090	0.172	0.050	0.162	0.874	1.000	3.22
Kling	0.821	0.327	0.182	0.342	0.017	0.259	0.901	1.000	3.85
LTX-2	0.785	0.208	0.128	0.244	0.012	0.143	0.887	0.500	2.91
Sora2	0.853	0.281	0.349	0.275	0.031	0.247	0.910	0.947	3.89
具身智能	Cosmos	0.796	0.250	0.205	0.253	0.080	0.123	0.846	0.733	3.29
GigaWorld	0.871	0.305	0.085	0.278	0.028	0.205	0.887	0.900	3.56
LVP	0.880	0.425	0.043	0.623	0.009	0.218	0.900	0.952	4.05
Vidar	0.734	0.188	0.152	0.177	0.065	0.161	0.882	0.941	3.30
哇	0.887	0.249	0.053	0.257	0.027	0.193	0.900	0.952	3.52
	我们的方法	0.914	0.566	0.343	0.671	0.011	0.208	0.883	1.000	4.60

运动保真度强（HSD 0.566）、场景一致性高（0.914），且逻辑约束满足度完美。

DreamGen Bench

模型	GR1-Env PA	GR1-Env IF	GR1-Object PA	GR1-Object IF	GR1-Behavior PA	GR1-Behavior IF	总计
Cosmos-sft	0.709	0.655	0.775	0.720	0.649	0.621	4.129
LVP	0.810	0.772	0.745	0.829	0.713	0.889	4.758
Vidar	0.445	0.647	0.478	0.726	0.394	0.651	3.341
GigaWorld	0.621	0.933	0.500	0.852	0.426	0.884	4.216
哇	0.793	0.826	0.755	0.849	0.809	0.696	4.728
我们的方法	0.828	0.793	0.840	0.878	0.781	0.832	4.952

强大的对象级组合泛化能力（GR1-Object IF：0.878），在所有子集上均保持一致的物理对齐。

WorldModelBench

类型	模型	指令遵循（0-3）	帧	温度	牛顿	质量	流体	穿透	重力	物理	总计
通用	Veo3	2.52	0.98	0.95	1.00	0.89	0.99	0.91	1.00	4.80	9.25
Wan2.6	2.50	0.99	0.95	1.00	0.89	0.99	0.94	1.00	4.83	9.27
Sora2	2.21	0.96	0.93	1.00	0.91	0.99	0.95	1.00	4.84	8.93
Kling	1.59	0.97	1.00	1.00	1.00	1.00	1.00	1.00	5.00	8.55
LTX-2	1.97	0.69	0.62	0.99	0.60	1.00	0.73	1.00	4.32	7.61
具身智能	Cosmos	2.14	1.00	0.94	1.00	0.92	1.00	0.94	1.00	4.86	8.94
LVP	2.01	0.89	0.91	1.00	0.93	0.99	0.95	1.00	4.87	8.67
GigaWorld	2.13	0.59	0.46	1.00	0.48	0.99	0.69	0.98	4.13	7.31
Vidar	1.62	0.54	0.45	1.00	0.56	1.00	0.85	1.00	4.40	7.01
Wow	2.05	0.76	0.65	1.00	0.65	0.99	0.81	1.00	4.45	7.91
	Ours	2.33	0.87	0.85	1.00	1.00	1.00	0.94	1.00	4.94	8.99

完美遵循物理规律（1.00），涵盖牛顿定律、质量守恒、流体动力学和重力，并具备出色的指令遵循能力（2.33/3.0）。

PBench

类型	模型	I2V-Bg	I2V-S	Aes	Img	Bg-Con	Mot	Sub-Con	O-Con	质量	领域	总体
通用	Veo3	0.975	0.980	0.526	0.698	0.938	0.994	0.927	0.128	0.771	0.882	0.827
Wan2.6	0.856	0.843	0.514	0.719	0.906	0.978	0.843	0.136	0.724	0.832	0.778
Sora2	0.981	0.973	0.487	0.672	0.961	0.994	0.954	0.129	0.769	0.841	0.805
Kling	0.982	0.979	0.521	0.699	0.920	0.990	0.927	0.124	0.768	0.874	0.821
LTX-2	0.948	0.955	0.506	0.622	0.932	0.986	0.904	0.118	0.746	0.845	0.796
具身智能	LVP	0.979	0.981	0.515	0.679	0.954	0.991	0.962	0.116	0.772	0.812	0.792
GigaWorld	0.957	0.944	0.495	0.641	0.925	0.984	0.892	0.128	0.746	0.841	0.794
哇	0.967	0.957	0.517	0.689	0.941	0.980	0.929	0.111	0.761	0.786	0.774
Vidar	0.935	0.922	0.501	0.573	0.912	0.982	0.863	0.120	0.726	0.810	0.768
Cosmos	0.974	0.973	0.470	0.663	0.940	0.989	0.931	0.160	0.763	0.840	0.802
	我们的	0.956	0.943	0.455	0.649	0.956	0.990	0.933	0.124	0.751	0.857	0.804

强大的领域理解能力（0.857）与运动流畅度（0.990），反映出在各类物理场景中一致的时间连贯性。

如果您觉得我们的工作有帮助，欢迎引用。

@article{qwenrobot-world, title={Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation}, author={Qwen Team}, year={2026}}