世界模型太慢？西交大提出 Fast LeWorldModel：用动作前缀并行预测让动态估计加速 4 倍 | B...
2026年7月7日，来自西安交通大学的研究团队发布了一项关于世界模型预测方式的关键成果，旨在从根本上改变现有模式。
此项研究工作致力于对世界模型的预测方式进行根本性变革。
本文第一作者为西安交通大学硕士生高云天，通讯作者为许翔宇教授，其研究方向涵盖世界模型、三维视觉与具身智能（个人主页：https://xuxy09.github.io/）。
在视觉规划与具身智能领域，“世界模型”被视作智能体走向通用决策能力的核心要素：智能体在真正执行动作之前，先在潜在空间中“想象未来”，进而选择最优行为。
然而在视觉规划中，这一“想象”过程往往十分缓慢。
以LeWorldModel（LeWM）为例，其规划时存在一个显著瓶颈：每次评估候选动作序列，模型都需要逐步进行自回归rollout。具体而言，LeWM先预测下一时刻的latent，再将预测结果输入dynamics model，继续预测后续latent：
此种方式带来两个问题：一是规划效率低，CEM需反复评估大量候选序列；二是误差沿imagined trajectory累积，早期预测稍有偏差，后续可能愈发偏离。
针对此瓶颈，西安交通大学研究团队提出Fast LeWorldModel（Fast-LeWM），试图彻底改变世界模型的预测范式：从逐步rollout转变为轨迹级别的并行预测。
论文标题：Fast LeWorldModel
作者：Yuntian Gao, Xiangyu Xu
单位：西安交通大学
论文链接：https://arxiv.org/pdf/2606.26217
项目主页：https://fast-lewm.github.io/
代码：https://github.com/Yuntian-Gao/Fast-LeWorldModel
其核心思想极为直接：不再使用一步转移模型反复进行rollout，而是将一段动作序列的不同前缀作为预测单元，直接并行预测执行这些动作前缀后所到达的未来潜变量，并通过密集监督迫使模型学习状态随不同动作序列的演化过程，而非仅仅关注单步转移。
换言之，模型不再询问“执行下一个动作后会怎样？”，而是直接问：“执行1个、2个、……H个动作后，分别会到达何种状态？”
实验表明，在与LeWM相同的规划协议下，Fast-LeWM将平均成功率从85.8%提升至90.5%；引入自一致性约束后进一步提升到92.0%。同时，模型rollout中动态模块耗时从31.4s降至8.0s，完整CEM求解时间从54.4s降至28.3s。
Fast-LeWM的pipeline
Fast-LeWM的方法由三部分组成。
第一步，视觉编码器将当前观测和未来观测映射到latent space：
其中当前latent z_t是模型输入，未来latent
作为训练监督目标。
第二步是Action-Prefix Encoder。该编码器通过causal Transformer将候选动作序列编码为一组prefix tokens，每个token对应一个不同长度的动作前缀：
其中，第k个prefix token仅包含前k个动作的信息：
考虑到相同动作序列在不同初始位置、物体状态和接触关系下会产生不同后果，实际实现中Fast-LeWM还将当前latent z_t映射成state token，置于动作token序列最前面，为动作编码提供上下文信息。
第三步，Parallel Latent Predictor利用当前latent和全部prefix token，一次性输出所有未来latent：
训练时，Fast-LeWM对每个前缀的预测都施加监督，而不只监督最终状态：
最终目标保留SIGReg防坍塌正则项：
这也是Fast-LeWM区别于LeWM的关键所在：模型不仅学习状态的局部变化，还必须掌握动作逐步累积时状态的连续演变过程。
Planning 时：
基于动作前缀的快速rollout
在测试阶段，Fast-LeWM沿用LeWM的CEM规划协议。对于CEM中第m条候选动作序列，LeWM需要通过一步动态模型沿imagined latents逐步推进，最终得到终点预测。相比之下，Fast-LeWM将动作前缀作为rollout单元：对于长度为H的候选动作序列，模型通过对应的prefix token
，直接从当前latent建立到未来latent
的预测路径，因此候选序列的代价函数为：
论文中的动作前缀设计还额外带来了一个可选的self-consistency scoring：模型一方面可直接从长度为H的动作前缀预测终点；另一方面也可先预测一个中间latent，再从中间latent继续预测剩余时域。两种终点预测之间的差异被用作一致性惩罚项：
其中，β控制self-consistency项的权重。当β=0时，Fast-LeWM退化为仅使用goal distance的CEM打分；当β>0时，CEM能选择那些在不同prefix分解下预测结果一致的候选动作序列，从而进一步提升规划稳定性。
成功率提升，
规划时间近乎减半
实验沿用LeWM的goal-conditioned latent planning协议，在Two-Room、Reacher、PushT、OGBench-Cube四个环境上评测：
结果显示，Fast-LeWM在四个任务上的平均成功率从LeWM的85.8%提升到90.5%；加入动作前缀预测带来的额外Self-Consistency规划项后进一步达到92.0%。
效率提升更为显著。在相同CEM budget、单张NVIDIA 4090上，Fast-LeWM的dynamics time从31.4s降至8.0s，加速约4倍，其中包含动作编码和predictor预测时间。完整CEM solve time从54.4s降至28.3s，减少48.0%。
此外，在开环情况下，Fast-LeWM想象未来时的latent误差以及误差随Horizon的增长率也更小：
消融实验：
不是简单把动作块变长就行
作者通过消融实验进一步验证了Fast-LeWM各组件的作用。一种看似直接的加速方式是加长LeWM的动作块，使一次transition覆盖更长时间。作者构造了Long-Action LeWM，将原本action encoding从5个primitive actions改为25个primitive actions，但效果不佳。Terminal-only Fast-LeWM仅监督最终latent，不监督中间prefix latent，其表现优于Long-Action LeWM，但仍低于完整模型。这表明action prefix本身已是更有效的长时域表示，但dense prefix supervision对学习连续状态演化依然关键。
作者还发现，去掉state token后，模型在多个任务上性能下降，进一步说明动作编码需要提供有效的上下文信息。
总结
Fast-LeWM针对世界模型在规划阶段的关键瓶颈，提出了action-prefix prediction机制，将传统的一步自回归rollout改为并行多时域潜变量预测。
在相同LeWM评测协议下，Fast-LeWM将平均规划成功率从85.8%提升到90.5%，加入self-consistency后达到92.0%；同时将动态模块耗时从31.4s降到8.0s，完整CEM求解时间从54.4s降到28.3s。
更深层意义：
世界模型的瓶颈不在“模型”，而在“接口”
这项工作的核心启示并非仅仅是加速，更本质的是它表明，对于面向规划的世界模型而言，动态模型的接口设计本身可能与表征学习目标同等重要。相比一步步预测“下一个latent”，直接预测动作前缀所导致的多时域未来状态，或许是让视觉世界模型走向高效规划的一条更直接的路径。这可能意味着，世界模型正在从“逐步想象未来”走向“并行生成未来”。