ICML 2026 小模型也能指挥大模型RL后训练：清华和腾讯提出GPS，最高减少69% Rollout成本
RLVR借助可验证奖励机制显著提升大模型推理能力，但每个训练步骤均需大量rollout，成本居高不下。如何让模型更智能地筛选训练样本？GPS方法为此提供了全新思路。
在数学推理、代码生成及复杂逻辑任务中，模型针对同一prompt生成多条思维链，通过可验证奖励判断对错，并据此更新策略。
然而，这条路线面临一个现实挑战：成本高昂。每个训练step均需大量rollout，而这些rollout往往意味着反复调用大模型生成长答案。
那么，是否存在一种方法，不再“平均用力”，而是让一个小模型提前判断：哪些prompt更值得投入训练？
来自清华大学的研究团队提出了Generalizable Predictive Prompt Selection（GPS）。GPS的做法很直接：先训练一个小型、可泛化的Prompt Predictive Model（PPM），让它预测不同prompt在当前模型下的难度；再根据难度和batch多样性选择训练样本，从而减少无效rollout。
实验显示，GPS在数学推理和逻辑推理任务上都带来了明显收益：相比Uniform随机采样，训练步数加速达到1.4倍至2.0倍；相比需要真实评估的DS Oracle基线，GPS在保持相近甚至更优性能的同时，最多减少69% rollout成本，训练时间减少28%至47%。更有趣的是，训练过程中学到的小预测模型可复用到测试时计算分配中：在固定预算下最高提升3.2%，或在性能不下降的情况下最多节省36.4%推理计算。
论文标题：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models论文地址：https://arxiv.org/abs/2602.01970代码地址：https://github.com/thu-rllab/GPS论文作者：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji机构：清华大学自动化系季向阳教授团队
研究背景：RL后训练很强，但rollout成本太高
近年来，大语言模型在数学、代码和复杂问题求解上的进步，很大程度上依赖强化学习后训练。
尤其是RLVR：模型针对一个prompt生成多条长链式推理回答，再通过可验证奖励函数判断对错，最后用GRPO、PPO、Reinforce++等算法更新策略。
这种方法有效，但代价非常高。原因很直接：每个训练step都需要大量rollout，而rollout需要真实调用大模型生成长答案，计算和显存开销都很大。
更关键的是，并非所有prompt都同样具备训练价值。
如果一个题太简单，模型几乎每次都能答对，奖励没有变化，梯度信号很弱；如果一个题太难，模型几乎每次都答错，同样很难提供有效学习信号。真正有价值的，往往是那些“模型有时能答对、有时会答错”的中等难度prompt。
这意味着，RL后训练的核心问题之一不是“能不能多训练”，而是：
能不能在每一步训练前，先找出更值得训练的prompt？
已有方法大致分为两类。
一类是基于真实评估的方法，例如Dynamic Sampling（DS）。它会对候选prompt额外做真实rollout，再筛掉无效样本。这类方法效果不错，但额外评估本身就非常昂贵。
另一类是基于预测的方法，例如MoPPS、GRESO等。它们试图根据历史奖励估计prompt难度，避免大量额外rollout。但这些方法通常把每个prompt当成独立对象建模：某个prompt被采样得多，难度估计就更准；采样得少，信息就很稀疏。更麻烦的是，大模型在训练中不断变化，同一个prompt的难度也会随时间变化，独立建模很难跟上这种动态变化。
因此，论文提出了一个更直接的问题：
是否可以构建一个轻量但可泛化的PPM，让它利用整个优化历史，在不同prompt之间共享信息，并用更好的batch选择策略提升RL后训练效率？
GPS正是围绕这个问题展开：它不再依赖每一步都做昂贵的真实评估，而是用一个轻量PPM提前估计prompt的训练价值。
方法：用小型可泛化PPM，预测哪些prompt更值得训练
GPS的目标不是替代大模型，也不是改变RLVR算法本身，而是在训练数据选择环节充当“导航器”。
1. 从“单题记账”到“共享历史”：可泛化的Prompt Predictive Model
传统prompt-specific PPM的问题在于，它更像是给每道题单独建一本账：这道题过去答对几次、答错几次，就用这点历史估计它现在的难度。
但模型能力的变化并不是按题目孤立发生的。训练过程中，模型在某一类题型上变强后，语义相近、结构相似的其他题也可能随之变容易。
为此，GPS引入了一个全局潜变量，也就是论文中所说的difficulty context。它可以被理解为一个压缩后的“当前训练状态”，用于记录模型在过去优化过程中积累出的难度信息。
因此，即便某个prompt过去很少被采样，GPS也不至于完全缺少依据，它仍然可以参考相似prompt的历史表现来估计难度。
论文还给出了理论分析：在历史信息确实包含额外预测信号时，使用完整优化历史进行预测，相比只使用prompt-specific历史，能够获得更低的预测均方误差。
2. 不只挑“中等难度”，还要避免batch内重复
只预测难度还不够，关键是如何选择一整个batch。
GPS采用了一个统一的batch utility。它由两部分组成。
第一部分是难度收益。GPS更偏好成功率接近0.5的prompt，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能给GRPO等算法提供有效梯度。
第二部分是多样性收益。GPS不希望一个batch里的prompt都来自相似题型，否则训练信号会冗余。它同时考虑：
batch内prompt之间要有足够分散度；当前batch与上一轮batch之间也要保持探索性。
这种设计被论文称为history-anchored diversity。直观理解就是：既要选“难度刚好”的题，也要让训练覆盖更多不同区域，避免模型在局部题型上反复打转。
3. 测试时也能用：把PPM变成计算预算分配器
GPS的另一个亮点是，PPM不只服务训练。
对特别简单的题，少采样就够了；对几乎不可解的题，多采样也未必有用；真正值得投入更多计算的，是“有挑战但仍可能解出来”的题。
GPS训练得到的PPM可以预测测试prompt的难度，并据此把测试样本分成不同区间：容易题和近乎不可解的题少分配预算，中等偏难、仍有希望的题多分配预算。
训练阶段学到的难度判断，也就可以继续用于测试阶段的计算预算分配。
实验设置：数学推理与逻辑推理，两类任务全面验证
论文在两类代表性推理任务上验证GPS。
数学推理方面，训练集使用DeepScaler，包含40.3k个竞赛级数学问题；模型包括DeepSeek-R1 Distill 1.5B和7B；评测集包括MATH500、OlympiadBench、Minerva Math、AMC23、AIME24等。同时，论文还用MMLU-Pro、ARC-c、GPQA-diamond测试out-of-distribution泛化能力。
逻辑推理方面，论文使用Countdown Number Game，在Countdown-34的20k子集上训练，并在CD34和更难的CD4上评测；模型包括Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的Llama-3.2-3B-Instruct。
对比方法包括：
Uniform：随机采样prompt；MoPPS：为每个prompt维护独立Beta后验；PCL：使用LLM估计prompt难度；GRESO：基于历史奖励统计进行概率过滤；DS / DS Oracle：通过真实额外评估筛选prompt，效果强但成本高。
实验结果一：GPS很快学会预测prompt难度
论文首先考察PPM的预测质量，使用Spearman rank correlation衡量预测难度与经验成功率之间的排序相关性。
结果显示，GPS只需要很少训练步数，就能快速建立有效相关性；随着优化历史积累，相关性继续提升，p-value也快速降低。换句话说，PPM学到的不是某几道题的孤立记录，而是训练过程中逐渐形成的prompt难度排序。
进一步比较发现，GPS的难度预测质量显著优于MoPPS；同时，在有效样本比例ESR上，GPS也明显高于Uniform和MoPPS。
这里的ESR指一个batch中能够产生非零奖励方差的prompt比例。ESR越高，说明这个batch中真正能提供训练信号的样本越多。
实验结果二：训练更快，性能也更高
在训练曲线上，GPS在Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B等多种设置下，都比Uniform更快达到相同性能水平。
论文报告，相比Uniform，GPS在训练步数上带来1.4倍至2.0倍加速。
如果把横轴从训练step换成rollout数量，GPS的优势会更明显。
因为DS需要额外真实评估候选prompt，虽然它在step维度上是强基线，但rollout成本显著更高。相比DS，GPS最多减少69% rollout，同时仍保持相当甚至更好的最终效果。
数学推理结果
数学推理结果中，GPS的优势主要体现在两个方面：一是平均准确率达到或超过DS Oracle，二是在多数设置下训练时间更短。
可以看到，在DSR-1.5B上，GPS的ID平均准确率达到56.5，与DS Oracle持平，但训练时间只有16h，而DS Oracle需要30h；在OOD平均准确率上，GPS达到33.5，是该组最好结果。
在DSR-7B上，GPS的ID平均准确率达到67.4，超过DS Oracle的67.0；OOD平均准确率达到51.5，同样是最好结果。与此同时，GPS训练时间为49h，明显低于DS Oracle的77h。
逻辑推理结果
Countdown结果也延续了类似趋势。
在Qwen3-4B上，GPS平均准确率达到66.6，高于DS的66.2，训练时间为3.4h，低于DS的4.9h。
在Qwen3-8B上，GPS平均准确率达到68.6，也略高于DS的68.5，训练时间为5.0h，明显低于DS的6.9h。
因此，GPS的收益不是简单用性能换成本。在这些设置下，它一边减少了rollout或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比Uniform，GPS在数学任务上带来1.6至1.9个点的平均提升，在逻辑任务上带来4.1至5.7个点的平均提升。
实验结果三：测试时计算分配也能复用
GPS的PPM在训练中学到prompt难度后，还能泛化到测试prompt。
论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM预测难度与经验成功率之间仍保持统计显著相关。
结果显示，相比默认固定分配，GPS可以在固定预算下最高带来3.2%相对提升；或者在性能无损的情况下最多节省36.4%计算预算。
这里值得注意的是：PPM在训练阶段学到的难度判断，并没有只停留在样本选择上，还可以迁移到测试阶段，用来决定哪些题值得分配更多采样预算。
消融实验：多样性和潜变量都很关键
论文还进行了算法兼容性与消融实验。
在算法兼容性方面，GPS不只适用于GRPO，也能与PPO和Reinforce++结合。在Countdown实验中，GPS在两种算法下都持续优于Uniform。
这点很重要，因为DS这类基于真实评估的方法通常依赖每个prompt生成多条回答；而PPO可能是单响应生成设置，DS的适配性会受到限制。GPS依靠预测模型，不需要这种额外真实评估，因此更容易迁移到不同RLVR流程。
在消融实验中，去掉history-anchored diversity会造成明显性能下降；只去掉inter-step exploration，也会带来一定下降；如果把生成式PPM改成不含潜变量z的确定性PPM，效果同样变差。
消融结果也能对应回GPS的设计动机：共享历史负责提升难度预测的泛化能力，batch多样性减少样本冗余，潜在difficulty context则用于刻画训练过程中不断变化的模型状态。
GPS通过小型预测模型智能筛选prompt，兼顾难度与多样性，显著减少无效rollout。训练阶段习得的难度预测还能迁移至测试阶段，优化计算预算分配，为高效RL后训练提供新范式。