职贝云数AI新零售门户

标题: 论文笔记160_AI_DeepSeek+清华_SPCT方法 [打印本页]

---

作者: 8bnCTDN    时间: 2025-4-5 04:00
标题: 论文笔记160_AI_DeepSeek+清华_SPCT方法
论文信息

论文标题Inference-Time Scaling for Generalist Reward Modeling论文作者Zijun Liu, Peiyi Wang, Runxin Xu, Shirong Ma, Chong Ruan, Peng Li, Yang Liu, Yu Wu链接地址https://arxiv.org/abs/2504.02495

论文次要内容

1. 论文摘要

本文讨论了如何经过添加推理计算来提高通用奖励建模（RM）的功能，特别是在各种范畴中生成准确的奖励信号。研讨者们提出了一种名为自我准绳批判调整（Self-Principled Critique Tuning, SPCT）的新方法，经过在线强化学习（RL）来促进生成式奖励模型（GRMs）的可扩展奖励生成行为。SPCT可以自顺应地生成准绳和准确的批判，从而提高奖励质量。此外，研讨者们还引入了一个元RM来指点投票过程，以完成更好的扩展功能。实验结果表明，SPCT分明提高了GRMs的质量和可扩展性，超越了现有方法和模型，并且在多个RM基准测试中表现出色，没有分明的范畴偏向。与训练工夫扩展相比，推理工夫扩展可以获得更好的功能。
2. 研讨背景与核心内容

随着大型言语模型（LLMs）的发展，强化学习（RL）作为LLMs的后训练方法得到了广泛运用。奖励建模（RM）作为RL中的关键组成部分，对于生成准确的奖励信号至关重要。但是，现有研讨次要集中在特定范畴，而在通用范畴中，由于奖励标准的多样性和复杂性，奖励生成更具应战性。本文旨在处理通用RM在推理工夫的可扩展性成绩，即如何经过添加推理计算来提高RM的功能。
3. 方法论分析与次要贡献

本文提出了一种新的方法论SPCT，经过在线RL来促进GRMs的可扩展奖励生成行为。SPCT包括两个阶段：回绝微调（Rejective Fine-Tuning, RFT）和基于规则的在线RL。RFT阶段使GRM顺应生成具有正确格式和各种输入类型的准绳和批判。基于规则的在线RL阶段进一步优化了准绳和批判的生成。此外，研讨者们还引入了一个元RM来指点投票过程，以提高扩展功能。次要贡献包括：

提出了SPCT方法，分明提高了GRMs的质量和可扩展性。引入元RM来指点投票过程，进一步提高了扩展功能。实验结果表明，SPCT在多个RM基准测试中超越了现有方法和模型，且没有分明的范畴偏向。

4. 实践工作

为了完成研讨目的，研讨者们停止了以下详细工作：

设计并完成了SPCT方法，包括RFT和基于规则的在线RL。开发了DeepSeek-GRM模型，基于Gemma-2-27B停止后训练。完成了元RM，用于指点投票过程。在多个RM基准测试上评价了SPCT的功能，并与现有方法和模型停止了比较。停止了详细的实验分析，包括推理工夫扩展功能、不同RM方法的比较、以及SPCT各组件的消融研讨。

5. 实验数据与研讨成果

实验结果表明，SPCT在多个RM基准测试中获得了分明的功能提升。例如，在Reward Bench基准测试中，DeepSeek-GRM-27B在贪心解码下的功能为86.0%，经过SPCT方法提升至86.0%，并且在推理工夫扩展到32个样本时，功能进一步提升至88.5%。在与其他模型的比较中，DeepSeek-GRM-27B在多个基准测试中均表现出色，例如在PPE Correctness基准测试中，其功能从59.8%提升至60.4%，并且在元RM的指点下，功能提升至63.2%。此外，消融研讨表明，SPCT的各个组件对模型功能的提升起到了重要作用，例如准绳生成对贪心解码和推理工夫扩展的功能都有分明影响。
6. 图片与表格

Figure 1: 推理工夫扩展功能

出处：第1章"Introduction"内容描画：图1展现了不同RM方法在一切测试的RM基准测试上的推理工夫扩展功能，比较了运用不同数量的采样奖励时的功能。关键发现：DeepSeek-GRM在推理工夫扩展方面表现出色，尤其是在运用元RM时，功能提升分明。

Figure 2: 不同奖励生成范式

出处：第2章"Preliminaries"内容描画：图2展现了三种次要的奖励生成范式（标量、半标量和生成式）以及两种评分形式（点对点和成对），并比较了它们在推理工夫扩展和输入灵敏性方面的表现。关键发现：点对点生成式RM（GRM）在输入灵敏性和推理工夫扩展方面具有分明优势。

(, 下载次数: 0)

上传

点击文件名下载附件

Figure 3: SPCT方法的阐明

出处：第3章"Self-Principled Critique Tuning (SPCT)"内容描画：图3展现了SPCT方法的两个阶段（回绝微调和基于规则的在线RL），以及在推理过程中如何经过生成准绳和批判来完成可扩展行为。关键发现：SPCT经过在线RL优化了准绳和批判的生成，从而提高了奖励质量和推理工夫扩展功能。

(, 下载次数: 0)

上传

点击文件名下载附件

Figure 4: 推理工夫扩展功能与训练工夫扩展功能的比较

出处：第6章"Scaling Inference and Training Costs"内容描画：图4比较了DeepSeek-GRM-27B在推理工夫扩展和训练工夫扩展上的功能，展现了不同模型大小的功能差异。关键发现：推理工夫扩展（如运用32个样本的投票）可以与训练工夫扩展（如运用更大模型）相媲美，甚至在某些状况下表现更好。

(, 下载次数: 0)

上传

点击文件名下载附件

Table 1: 初步实验结果

出处：第2章"Boosting Reward Quality with Principles"内容描画：表1展现了不同方法在Chat Hard和IFEval两个数据集上的功能比较，包括运用自生成准绳、过滤准绳和不运用准绳的状况。关键发现：运用过滤准绳的方法在两个数据集上都获得了最好的功能，这表明合适的准绳可以更好地指点奖励生成。

(, 下载次数: 0)

上传

点击文件名下载附件

Table 2: 不同方法和模型在RM基准测试上的全体结果

出处：第5章"Results on Reward Modeling Benchmarks"内容描画：表2汇总了不同方法和模型在多个RM基准测试上的全体功能，包括公共模型的报告结果和基线方法的再现结果。关键发现：DeepSeek-GRM-27B在全体功能上超越了基线方法，并且与弱小的公共RM模型表现相当，甚至在某些状况下更好。

(, 下载次数: 0)

上传

点击文件名下载附件

Table 3: 推理工夫扩展结果

出处：第5章"Results on Reward Modeling Benchmarks"内容描画：表3展现了不同方法在RM基准测试上的推理工夫扩展功能，比较了不同采样数量下的功能提升。关键发现：DeepSeek-GRM-27B在推理工夫扩展方面表现出色，尤其是在运用元RM时，功能提升分明。

(, 下载次数: 0)

上传

点击文件名下载附件

Table 4: SPCT各组件的消融研讨结果

出处：第5章"Results on Reward Modeling Benchmarks"内容描画：表4展现了SPCT方法中不同组件对模型功能的影响，包括回绝采样、提示采样和准绳生成的效果。关键发现：SPCT的各个组件对模型功能的提升起到了重要作用，特别是准绳生成对贪心解码和推理工夫扩展的功能都有分明影响。

7. 参考文献

1. 奖励建模（Reward Modeling）

Training verifiers to solve math word problems：这篇论文讨论了如何训练验证器来处理数学文字成绩，提出了运用验证器来提高模型在数学推理义务中的功能。Scaling laws for reward model overoptimization：研讨了奖励模型过优化的扩展规律，分析了在不同训练条件下奖励模型的功能变化。How to evaluate reward models for RLHF：讨论了如何评价用于人类反馈强化学习（RLHF）的奖励模型，提出了评价奖励模型功能的基准和方法。

2. 强化学习（Reinforcement Learning）

Training language models to follow instructions with human feedback：引见了如何经过人类反馈训练言语模型遵照指令，展现了强化学习在提高模型人类价值对齐方面的运用。Let's verify step by step：提出了一种逐渐验证的方法，经过分解复杂义务来提高模型在推理义务中的准确性。Self-supervised alignment with mutual information: Learning to follow principles without preference labels：讨论了如何应用互信息停止自监督对齐，使模型可以在没有偏好标签的状况下学习遵照准绳。

3. 大型言语模型（LLMs）

DeepSeek-V2: A strong, economical, and efficient mixture-of-experts language model：引见了DeepSeek-V2，一种弱小、经济高效的专家混合言语模型，展现了其在各种义务中的功能。LLaMA: Open and efficient foundation models for multilingual and multimodal applications：描画了LLaMA模型，强调了其在多言语和多模态运用中的开放性和高效性。Gemma 2: Improving open language models at a practical size：讨论了Gemma 2模型，旨在在实践大小的言语模型中提高功能和效率。

4. 推理工夫扩展（Inference-Time Scaling）

Large language monkeys: Scaling inference compute with repeated sampling：研讨了经过反复采样扩展推理计算的方法，展现了如何应用多次采样提高模型功能。Inference scaling laws: An empirical analysis of compute-optimal inference for LLM problem-solving：分析了推理扩展规律，提供了关于如何优化大型言语模型成绩处理的计算资源的实证研讨。Self-rewarding language models：讨论了自奖励言语模型的概念，展现了如何经过自我奖励机制提高模型的推理才能和功能。

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5