World Action Model(WAM)正在把机器人模型的核心问题,从“看见图像后应该输出什么动作”,改写为“执行动作后世界会怎样变化”。2026 年 10 月,UC Berkeley、NVIDIA 与宾夕法尼亚大学联合提出 AW-0,又向前走了一步:除了共同预测未来视频和机器人动作,模型还生成可复用的技能程序与控制逻辑。

这条路线看起来像是“WAM + code”,但真正决定它能否工作的是底层的 Mixture-of-Transformers(MoT):让代码、视频与动作各用一套适合自身结构的 Transformer 专家,同时维持跨模态耦合。它试图解决的,是长期规划、物理预测与实时执行长期各自为政的问题。

3 streamsAW-0 的代码、视频与动作生成流
20,854 hEgoScale 动作标注人类第一视角视频
22-DoFEgoScale 与 DexTacWAM 的高自由度手平台
70.6%DexTacWAM 六项接触任务平均成功率(论文报告)

先把三个概念分开

VLA通常从视觉与语言直接回归动作;WAM把未来视觉状态也纳入学习目标,让动作受到“会造成什么后果”的约束;Agentic WAM进一步显式表示任务结构、技能调用与控制流程,使长期任务不必完全隐含在一段动作 token 里。

Code expert拆任务、调用技能、生成控制逻辑
Video expert预测执行后的可见世界状态
Action expert生成本体可执行的低层动作

一句话理解 AW-0:The code stream represents skill routines; video predicts future observations; actions specify motion. AW-0 couples them through joint denoising with a blockwise causal attention mask: code reads code, video reads code and video, and action reads all three. Attention within each expert is bidirectional. This directed information flow is not three independent streams verifying one another, nor does it certify the physical validity of the generated motion.

1. MoT 到底是什么:专家分工,但不割裂

MoT 很容易被误解为常见的 Mixture-of-Experts(MoE)。MoE 通常用路由器把 token 分发给不同前馈网络,重点是稀疏扩容;MoT 的重点则是为不同模态保留完整、专用的 Transformer 计算流。视频 token 具有空间与时间结构,动作 token 更连续、更高频,代码 token 则具有离散语法和长程依赖。把它们全部塞进同一个参数空间,容易出现容量竞争和目标冲突。

AW-0 的统一 MoT 包含三个耦合生成专家:code expert 生成参数化技能程序与控制逻辑,video expert 生成未来视觉状态,action expert 生成低层电机命令。模型不是先让代码规划完、再把结果扔给下一个黑盒;代码同时参与多步预测与控制,并被整理为之后可以复用的技能程序。

架构优势主要风险
单体 Transformer实现简单,所有 token 天然共享上下文模态互相干扰;视频计算量可能压过动作学习
分层流水线规划、预测、控制边界清晰,模块易替换中间接口损失信息,误差逐层累积
MoT保留模态专长,又允许跨流共同建模训练对齐、损失权重、时钟同步和部署成本更高

因此,MoT 更像一种“系统接口”,而不是自动带来智能的魔法模块。它最难的部分不是画出三个专家,而是让三种时间尺度对齐:一句技能程序可能覆盖数秒,视频按帧推进,灵巧手关节与触觉反馈却需要更快更新。若训练只强调视频重建,模型可能生成漂亮但不可执行的未来;若只强调动作损失,视频流又可能退化为昂贵的辅助特征。

2. Agentic 的增量:把技能复用写进模型

早期 WAM 擅长视觉前瞻,却缺少显式的组合式技能复用;代码代理擅长拆解任务、调用工具,却往往没有对真实动力学的预测性 grounding。AW-0 正面连接这两个缺口。团队还使用自动化数据整理管线,为机器人与人类视频轨迹生成对齐程序,并把反复出现的例程合并成技能库。

这使程序不只是解释层,而是训练信号与执行载体:同一个“拿起—对齐—插入”例程可以被不同物体和参数复用。论文在 RoboTwin 2.0 与真实双臂任务中报告,AW-0 相比 VLA 与 WAM 基线在任务表现、语言遵循、语义推理和稳健性上均有改善。

但必须看到边界:程序正确不代表物理可行。代码可以正确写出“旋转瓶盖”,却不知道当前摩擦是否足够、指尖是否已打滑。Agentic 层更擅长减少认知与编排错误,接触失败仍要靠世界模型、触觉和控制器闭环处理。

3. NVIDIA WAM 路线:从视觉预训练到联合生成

NVIDIA 对 WAM 的定义,是联合学习未来世界状态与动作。当前研究大致有三种做法:用视频世界模型加逆动力学头;直接联合生成视频与动作;或者只把视频世界模型当作表征学习器。它们共同利用大规模视频先验,但对部署成本和控制闭环的取舍不同。

EgoScale展示了另一条互补路线:先用 20,854 小时动作标注的第一视角人类视频训练 VLA,再通过共同的腕部动作表示和本体适配器迁移到 22 自由度灵巧手。它证明“人类数据规模”能提升高自由度操作,但模型本身并不显式生成未来视频,也不是 Agentic WAM。

这两条路线的区别很重要:EgoScale 主要解决数据稀缺与跨本体迁移;WAM 主要解决动作和未来后果的一致性;AW-0 则增加长期任务结构与技能复用。它们不是简单的代际替代,而是分别补齐数据、动力学、规划三个层面。

4. 灵巧手为什么是 WAM 的压力测试

夹爪的动作空间有限,很多状态从相机就能判断;灵巧手有二十多个自由度,接触点频繁变化,遮挡严重,而且同一张图像可能对应“稳定夹住”“即将滑落”或“已经卡死”三种完全不同的力学状态。视觉世界模型可以预测物体大致去哪,却未必知道指腹上的剪切力正在改变。

这也解释了为什么 2026 年的进展开始把多速率 MoT 与触觉世界建模放到中心位置。

研究主要解决的问题核心结构尚未解决的部分
AW-0长期规划与技能复用代码 / 视频 / 动作三流 MoT高速接触反馈不是论文主轴
EgoScale人类数据规模与跨本体迁移VLM + DiT 动作专家 + 本体适配器没有显式预测未来视觉与触觉
T-Rex滑动、插入等接触扰动低频视觉语言动作 + 高频触觉修正的变速率 MoT技能组合与长程规划有限
DexTacWAM预测接触状态如何演化视觉—触觉世界状态 + 动作联合建模任务与硬件规模仍小于互联网视频预训练
Dexplore人手示范误差与本体差距参考范围探索、强化学习、视觉技能控制器不是生成式世界模型,迁移依赖仿真与控制设计

5. T-Rex 与 DexTacWAM:触觉不只是额外输入

T-Rex采用变速率 MoT:视觉与语言负责较慢的语义动作生成,触觉分支持续读取多指时序信号并进行更快修正。这种设计更接近真实控制系统——“把零件放到孔口”可以慢慢判断,“检测到打滑后增加握力”必须迅速反应。它说明不同模态不仅需要不同参数,也需要不同控制时钟。

DexTacWAM则把触觉推进到世界模型内部。其 finger- and pose-aware tactile compressor 将多指触觉压缩为潜变量,并注入视频扩散模型,使模型共同预测可见变化与接触变化。论文在 22 自由度双手平台、六项接触密集任务上报告平均成功率 70.6%,强基线为 38.0%。更关键的消融是:即使保留相同触觉输入和动作专家,移除“触觉世界建模”后,四项任务均值从 74.7% 降到 26.6%。

这个结果支持一个重要区分:读到触觉只能告诉模型现在发生了什么,预测触觉才迫使模型学习“这个动作会如何改变接触”。后者更接近 WAM 的核心价值。

6. 最可能落地的形态:三层、三种时钟

慢层Agentic code任务分解、技能选择、失败恢复
中层Visual / tactile WAM滚动预测未来状态与动作片段
快层Reflex controller力控、滑移检测、关节稳定与安全约束

我们认为,Agentic WAM 不会直接取代传统控制器。更现实的系统是:慢层代码代理组织任务,中层 WAM 以滚动窗口预测后果并生成动作片段,快层触觉/力控回路在毫秒到几十毫秒尺度上处理滑移、冲击和安全限制。T-Rex 已经展示了后两层的雏形,AW-0 则补上了最上层。

Dexplore 提供了有价值的对照。它不生成未来视频,而是在仿真中把人手动作捕捉当作软约束,通过 reference-scoped exploration 让机器人找到符合自身本体的策略,再蒸馏成视觉技能控制器。对于接触精度高、任务边界明确的技能,这种控制优先路线可能比大型生成模型更高效;WAM 的优势更可能出现在环境变化、任务组合和跨域迁移。

7. 我们的判断:MoT 是接口,闭环才是能力

MoT 的真正价值是解耦

它允许代码、视频、动作与触觉按不同结构和频率扩展,同时保留跨模态约束,适合复杂机器人系统长期演进。

Agentic 的价值是组合

技能程序让经验可以被命名、参数化和重用,比把整段任务压进隐状态更利于长程任务与故障恢复。

不能用视频质量代替控制评测

生成画面合理,不代表接触力、关节速度与碰撞约束可执行。成功率、扰动恢复与安全事件必须独立报告。

触觉数据仍是规模瓶颈

互联网视频可扩展,标定一致的多指触觉却依赖专用硬件。未来竞争点会落在传感器、数据接口与联合预训练上。

如果说第一代 WAM 的口号是“先想象,再行动”,Agentic WAM 更准确的表述应当是:先把任务写成可复用的结构,再用世界预测检验它,最后让多速率控制闭环完成它。MoT 为这套分工提供了统一骨架,但决定机器人是否真的灵巧的,仍然是接触数据、动作时延、本体适配与失败恢复。

结论

NVIDIA 参与的这条研究线正在形成一条清晰的技术栈:EgoScale 用大规模人类视频补数据,WAM 用未来预测补物理后果,AW-0 用代码专家补长期组合,T-Rex 与 DexTacWAM 用触觉补接触状态,Dexplore 则提醒我们精细控制仍可从仿真与强化学习中获得。短期内最强的灵巧系统不会由其中任何一项独占,而会是它们在不同时间尺度上的组合。

MoT is an interface choice, not a physical verifier

GR00T 2 shows that predictive video–action learning need not use AW-0’s code–video–action expert split. The Sharpa survey shows why a code-conditioned action stream still needs a working contact-feedback path. These are distinct design decisions. Compare architectures under equal data and inference budgets, then test contact feedback separately. Joint generation can improve a learned policy, but its own generated video is not independent confirmation that a grasp or insertion succeeded.

原始资料

  1. Agentic World Action Models 官方项目页;AW-0 论文
  2. NVIDIA World Action Model 概览
  3. Pretrained to Imagine, Fine-Tuned to Act
  4. EgoScale 官方项目页
  5. T-Rex: Tactile-Reactive Dexterous Manipulation;论文
  6. DexTacWAM: Visuo-Tactile World Action Models for Dexterous Manipulation
  7. Dexplore 官方项目页