强化学习改变了大语言模型的后训练范式，可以说飞乐乐，已成为 AI 迈向 AGI 进程中的关键技术节点。
然而，其中奖励模型的设计与训练，始终是制约后训练效果、模型能力进一步提升的瓶颈所在。
当前，大模型在Next Token Prediction和Test-time Scaling两种扩展范式下，通过大规模的数据和模型扩展，实现了能力的持续跃升。但相比之下，奖励模型缺乏系统性的预训练和扩展方法，导致其能力难以随计算量增长而持续提升，成为阻碍强化学习链路进一步扩展的短板。
如何解决？
现在，来自上海人工智能实验室的研究团队提出了一种新的思路：
他们找到了一种与绝对偏好解耦的、可以真正高效扩展的奖励建模新范式——策略判别学习（Policy Discriminative Learning， POLAR），使奖励模型能够像大语言模型一样，具备可扩展性和强泛化能力。
POLAR 为大模型后训练带来突破性进展，并有望打通 RL 链路扩展的最后一环。
什么是 POLAR
先来看一下 POLAR 能做到什么。
与传统的奖励模型不同，POLAR 是根据参考答案为模型的输出打分。这意味着 POLAR 可以灵活地基于不同场景的参考答案给出不同的奖励分数，轻松适配多样的定制化需求。
下面是一个开放问题的例子，对应有三个不同风格的回复：
问题：彩虹是怎么形成的？
回答一：彩虹是阳光经过水滴折射和反射后形成的。
回答二：当阳光照射到空气中的小水滴时，光线会进入水滴发生折射，再从水滴的内壁反射后再次折射出水滴。由于不同波长的光折射角度不同，最终呈现出不同的颜色，这些颜色组合起来就形成了我们所看到的彩虹。
回答三：彩虹是阳光通过空气中的水滴折射和反射后形成的。生活中我们经常在雨后或喷泉、水幕附近看到彩虹，有时候还会看到双彩虹甚至三重彩虹呢！不过很可惜，彩虹本身只是光学现象，没法真正走近摸到。
对于这种开放问题，不同的用户可能会偏向不同风格的回复。此时，传统奖励模型的"绝对偏好"无法灵活应对不同的定制化场景。而 POLAR 只需要根据不同的参考回复，即可为三种回答给出不同的偏序关系，无需重新训练奖励模型。
来看 POLAR 实际打分的例子。如果给定的参考风格是简短扼要，POLAR 会给第一个回答最高的分数。
参考一：阳光穿过水滴的折射与反射形成了彩虹。
回答一：-2.095703125
回答二：-5.859375
回答三：-7.44921875
如果参考的是详细分析风格，POLAR 会给第二个回答最高分。
参考二：彩虹是阳光经过空气中的许多小水滴后，通过连续的折射与反射而产生的。当阳光进入水滴时，光线首先被折射进入水滴内部，然后在水滴内壁发生一次反射，随后再次折射射出水滴。因为阳光中不同颜色的光线波长各不相同，折射时产生的角度也略有差别，这使得光线被分解成红、橙、黄、绿、蓝、靛、紫等颜色，从而形成了我们所看到的绚丽彩虹。
回答一：-8.5625
回答二：-5.2421875
回答三：-8.125
如果参考的是俏皮发散风格，此时第三个回答的奖励分数最高。
参考三：彩虹是阳光经过水滴折射和反射后形成的。在日常生活中，只要条件合适，比如刚下完雨、喷泉边，甚至在水幕电影附近，都能邂逅这种美丽的景象。不过呢，虽然彩虹看上去很近，但它毕竟只是光的奇妙游戏，我们无论怎么追逐，都无法真正触碰到它，这也是大自然给我们留下的小小遗憾吧～
回答一：-9.53125
回答二：-8.609375
回答三：-4.484375
除了上述处理开放问题的灵活性，POLAR 也能解决有标准答案的闭式问题。相比"基于规则的验证"（RLVR）所提供的 0/1 二元奖励，POLAR 可以提供更加细粒度的偏好区分。
下面是一个例子：
问题：公交车上原本有 10 名乘客，到站后下去了 3 名，上来了 5 名，现在车上有多少名乘客？
参考答案： 10 名乘客 - 3 名下车 + 5 名上车飞乐乐。答案是 12。
回答一（答案正确，思路正确）：最初有 10 名乘客，到站后 3 个人下车，因此剩下 7 人；又新上来了 5 人，7 人加上 5 人，总共是 12 人。因此最终有 12 名乘客。
分数：-5.1953125
回答二（答案正确，无思路）：现在车上有 12 名乘客。
分数：-5.6171875
回答三（答案错误，思路正确）：10 名乘客 - 3 名下车 + 5 名上车。答案是 13。
分数： -8.953125
回答四（答案正确，思路错误）：10 名乘客 + 3 名下车 - 5 名上车。答案是 12。
分数： -9.5859375
回答五（答案错误，无思路）：现在车上有 13 名乘客。
分数：-11.0703125
回答六（答案错误，思路错误）：10 名乘客 + 3 名下车 - 5 名上车。答案是 13。
分数：-12.125
由此可见，POLAR 不仅摆脱了传统奖励模型"绝对偏好"的限制，更加弥补了 RLVR 难以拓展场景、奖励信号稀疏等问题。
POLAR 基于参考答案对模型输出进行打分，对更加接近参考答案的输出赋予更高的奖励值，在强化学习过程中让训练策略逐步向最优策略偏移。
这种特性使得 POLAR完美契合强化微调框架（Reinforcement Fine-tuning，RFT），让 RFT 在通用场景的应用成为可能。
POLAR 是如何训练的
在探讨 POLAR 的训练方式之前，我们首先回顾一下大语言模型（LLM）的成功之路。
传统的机器学习是为特定的任务训练特定的模型，例如为翻译任务训练翻译模型，很难做到任务间的泛化。
LLM 的成功就在于用 Next Token Prediction 的形式统一了所有任务，解决了任务形式不同导致无法泛化的难题。
现在奖励模型（RM）的设计仍然在重蹈传统方案的老路，即为特定场景标注偏好数据，训特定场景的 RM。
其中，RM 的打分标准是基于人类偏好来设定的，而打分标准就如同 LLM 的任务形式，具有多样性且无法穷举。
那么，能不能仿照 LLM 的成功之路，重新设计 RM 的训练范式，就像消除 LLM 的"任务形式"一样，找到一个脱离于"打分标准"之外的更本质的优化目标函数来进行预训练呢？
正是基于这样的思路，上海 AI Lab 提出了预训练奖励模型POLAR。
△POLAR 的两阶段训练（预训练和偏好微调）以及在 RFT 中的使用方法
与传统的基于"绝对偏好"的奖励建模方式不同，POLAR 通过衡量训练策略与目标策略之间的"距离"来作为奖励信号。当训练策略越接近目标策略时，POLAR 就给予越高的奖励。
具体来说，POLAR 使用了一种对比学习（Contrastive Learning）的方式学会策略分布的距离度量：同一个策略模型采样的结果作为正例，不同策略模型采样的结果作为负例。
通过这种方式构造正负样本，虽然有一些反直觉，但它是一种真正无偏的信号，和对抗生成网络（GAN）中判断是否是真实样本类似。
由于"距离"是一种相对性的概念，因此目标策略可任意指定，从而摆脱了对偏好数据人工标注的依赖，具有极强的可扩展潜力。实际上，POLAR 的预训练语料完全通过自动化合成数据构建。
具体而言，研究人员从 LLM 预训练语料中采样出大量的文本前缀，并从策略模型池（由开源的131个 Base LLM 和53个 Chat LLM 组成）中随机取模型进行轨迹采样。预训练目标使用 Bradley-Terry Loss：
其中，A1 和 A2 代表相同策略模型生成的轨迹（正样本对）；B1 代表不同策略模型生成的轨迹（负样本）。
由于"距离"具有相对性，这里的 A 和 B 两个策略模型可以任意选取。例如，A1 和 A2 可以由 Qwen 1.5B 采样得到，B1 可以由 Qwen 72B 采样得到。通过这种方式，POLAR 的预训练语料非常容易扩展。
POLAR 使 RM 学会为相近策略产生的轨迹赋予更高奖励，从而隐式建模策略分布的差异和距离。在这一阶段，POLAR-1.8B 共使用了0.94T Token的预训练数据，POLAR-7B 共使用了3.6T Token的预训练数据。
在预训练阶段之后，POLAR 可以使用少量的偏好数据对齐人类偏好。具体来说，对于同一个 Prompt，采样三条轨迹，由人工标注偏好顺序。同样使用 Bradley-Terry Loss 进行微调：
其中，A > B > C，分别代表偏好最优、次优、最差的轨迹。这种偏好排序隐式定义了一种"策略差异"，例如 A 可以视为从最佳策略分布中采样得到，而 C 可以视为从一个与最佳策略相差较远的策略分布中采样得到。
POLAR 具有 Scaling 效应吗？
△POLAR 的 Scaling Laws
一个重要的问题是，POLAR 预训练范式是否真的能展现 Scaling 效应？
研究人员从模型参数 N 和计算量 C 两个方面进行了实验。
如图所示，POLAR 的验证集损失随模型参数 N 的增加呈幂律关系下降，拟合的 R2 值为 0.9886。
验证集损失也随最优训练计算量 C 的增加呈幂律关系下降，拟合的 R2 值为 0.9912。
这些结果表明，分配更多的计算资源将持续带来更好的 POLAR 性能。也就是说，新范式展现出了与大语言模型 Next Token Prediction 目标类似的 Scaling Laws。
这体现了 POLAR 预训练方法的显著扩展优势，以及用于构建更通用和更强大的奖励模型的巨大潜力。
POLAR 效果如何？
研究人员通过一系列实验证明，POLAR 能做到对性能和泛化的双重保证。
△偏好评估实验结果
在偏好评估方面，POLAR 展现出优越的性能和全面性，在大多数任务维度上优于 SOTA 奖励模型。
例如，在 STEM 任务中，POLAR-1.8B 和 POLAR-7B 分别超越了最佳基线 24.9 和 26.2 个百分点，并且能够准确识别推理、聊天、创意写作等通用任务中轨迹的细微区别，准确预测人类偏好。
值得注意的是，POLAR-1.8B 仅有 1.8B 参数，就可取得与 Skywork-Reward-27B 和 WorldPM-72B-UltraFeedback（参数量分别为其 15 倍和 40 倍）相当的结果，凸显了 POLAR 的强大潜力。
△强化微调实验结果
在强化微调实验中，POLAR 持续优于 SOTA 的开源奖励模型。
例如，使用 POLAR-7B 微调的 Llama-3.1-8B 在所有基准测试中，相对于初始结果平均提升了 9.0%，相对于 WorldPM-72B-UltraFeedback 优化的结果提升了 6.7%。
POLAR 能够从预训练阶段学习策略模型之间的细微区别，而不仅仅依赖于标注的偏好对，从而显著增强了实际 RL 应用时的奖励信号泛化性。
实验结果表明，尽管 POLAR-1.8B 和 POLAR-7B 在偏好评估中表现相似，但在下游 RL 实验中，POLAR-7B 展现出了显著优势。从 1.8B 到 7B 的效果提升，进一步说明了 POLAR 所具有的 Scaling 效应。
总结来说，POLAR 在预训练阶段通过对比学习建模策略间的距离，仅需少量偏好样本就可对齐人类偏好。在使用阶段，POLAR 利用 RFT 范式对 LLM 进行强化学习，展现出了极佳的泛化性。POLAR 作为一种全新的、可扩展的奖励模型预训练方法，为 LLM 后训练带来了新的可能，让通用 RFT 多了一种有效实践方案。有望打通 RL 链路 Scaling 的最后一环。
论文链接：https://arxiv.org/pdf/2507.05197
项目链接：https://github.com/InternLM/POLAR
模型链接：https://huggingface.co/internlm/POLAR-7B
* 本文系量子位获授权刊载，观点仅为原作者所有。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见飞乐乐
金御优配提示：文章来自网络，不代表本站观点。
