越灵活越差？阿里与清华论文指出扩散大模型推理能力的灵活性陷阱

某科技企业与清华大学合作的论文在AI顶会ICML上荣获杰出论文奖，该奖为最高荣誉，获奖率仅千分之一。这项研究首次质疑扩散语言模型任意顺序生成的价值，揭示了其在推理任务中的潜在陷阱。

^{图说：2026年7月5日，ICML 2026 主席团公布两篇杰出论文名单，企业与清华大学合作的论文入选。}

dLLM（扩散大语言模型）被视为下一代语言模型架构的热门方向，包括Gemini Diffusion、中国人民大学的LLaDA等。主流大语言模型（如GPT、Qwen）生成文本时从左往右逐个输出token，而dLLM可任意选择生成顺序，理论上拥有更大解空间，近一两年来备受期待。然而该论文首次提出质疑：在数学、编程等通用推理任务中，任意顺序生成非但无益，反而成为陷阱。

研究发现，不确定性高的关键逻辑节点（如“因此”“所以”）如同分叉口。若采用从左向右顺序，模型必须当场做出选择，无法跳过。若采用任意顺序，模型会优先处理容易部分，绕过难点，待回头填充时，前后文已锁定答案，推理路径被提前固化。

^{图说：从左向右的自回归顺序（a）迫使模型在每个逻辑分叉口做出选择；任意顺序（b）绕过难点，优先处理容易部分，导致推理路径被提前锁死。（图片翻译自论文）}

这种选择权的悄然消解被命名为“熵退化”。实证数据证实：在HumanEval代码生成任务中，从左往右顺序能解出而任意顺序不能解出的题目占21.3%，反向仅0.6%。顺序自由度越大，推理性能越差。

基于此，团队提出“JustGRPO”方案——在强化学习训练阶段放弃任意顺序，强制模型从左到右生成，仅使用GRPO算法即可。GRPO是一种主流算法，让模型对同一道题生成多组答案，通过组内优劣对比优化策略。

此前，为dLLM设计强化学习算法面临诸多工程难题，如生成顺序不固定导致无法准确归因每个词的贡献，各团队不得不引入复杂手段。而“JustGRPO”大道至简，类似当所有人在练左手力量时，有人提议直接用右手。

“JustGRPO”训练完成后，模型推理速度不受影响，推理效果大幅提升。在GSM8K（业界衡量大模型推理能力的标准测试集，约8500道多步推理小学数学应用题）上达到89.1%准确率，全面超越d1、ESPO、SPG、GDPO等所有为扩散模型专门设计的复杂强化学习算法。

JustGRPO以简洁思路解决了工程难题，在保持推理速度的同时显著提升性能，在GSM8K上达89.1%准确率，超越所有复杂强化学习算法。论文详情可查阅（https://arxiv.org/abs/2601.15165）。