「LLM x RL」DeepSeek 最新论文：Inference-Time Scaling for Generalist Reward Modeling在 RL 中，Reward Modeling（RM）是一个非常重要的部分。RM 主要用于对 LLM 的生成结果进行打分，从而调整 LLM 的 policy，使其更符合 RM 设定的要求，比如更强的 reasoning 能力。

发布时间: 2025-04-05 00:40:15

1分

数据加载中

关注推特

收听电报

2

1

0

「LLM x RL」DeepSeek 最新论文：Inference-Time Scaling for Generalist Reward Modeling
在 RL 中，Reward Modeling（RM）是一个非常重要的部分。RM 主要用于对 LLM 的生成结果进行打分，从而调整 LLM 的 policy，使其更符合 RM 设定的要求，比如更强的 reasoning 能力。
时政
( twitter.com )

3个月前由马东锡 NLP 🇸🇪 提交

「LLM x RL」DeepSeek 最新论文：Inference-Time Scaling for Generalist Reward Modeling

在 RL 中，Reward Modeling（RM）是一个非常重要的部分。RM 主要用于对 LLM 的生成结果进行打分，从而调整 LLM 的 policy，使其更符合 RM 设定的要求，比如更强的 reasoning 能力。

针对特定任务（Task-specific）的 RM 相对容易设计，能够对 LLM 在具体任务中的生成结果进行较为准确的评分。
但一个通用的 Reward Model（General RM，简称 GRM），需要对不同类型的任务都给出准确评分，这非常困难。

GRM 的难点在于它需要学习一个潜在的规则（latent rule），以判断在不同任务中应该如何评分。
然而 latent rule 难以学习，DeepSeek 干脆采用了显式的、基于规则（rule-based）的方法——所谓的 Self-Principled Critique Tuning（SPCT），通过生成不同的 principle 和 critique 来辅助 GRM 的评分。

非常聪明！但看到 rule-based，又仿佛回到了 machine learning 最初的模样：rule-based、feature engineering……

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

3

2

2

No.
It shows that RL alone can lead to the emergence of reasoning.
It’s a profound discovery. It’s now one of the realistic path to AGI. Anyone who had doubts that LLM is just a “stochastic parrot” can now shush.
Deepseek R1
时政
( twitter.com)

6个月前 • Eric Xu (e/Mettā) • -- 点击 0 评论

2

2

1

1

Large Reasoning Model时代, 几乎等于Reinforcement Learning + LLM的时代。
但RL专业性非常强，去参加ML的会议时，专门做RL的研究员都现场拿着笔纸推算数学公式，掌握起来学习难度较高。
分享一本RL的入门教材，从RL基础MDP，PPO，直到跟LLM结合，如RLHF，都有讲解，深入浅出。
Reinforcement
时政
( twitter.com)

4个月前 • 马东锡 NLP 🇸🇪 • -- 点击 0 评论

3

2

1

1

I agree that this DeepSeek farse may end sooner than most people would have thought, as the Wall Street certainly misjuedged how GPUs are being used, and how pure RL has already being tested in various US companies
DeepSeek wouldn't stand a chance to shake US's AI strategy,
时政
( twitter.com)

5个月前 • 勃勃OC • -- 点击 0 评论

4

2

1

1

有人说DeepSeek R1 的 RL 范式也没啥创新，其实点不在这里。
o1出来后纷纷开始复刻，OpenAI 也不说怎么实现的，也不展示COT数据。所以说蒸馏o1纯属扯淡，OpenAI 防的死死的。
RL 论文上百篇方法几十种，最后 DeepSeek 肯定不是第一家试出来的（比如Google 的 gemini flash 2.0 thinking
时政
( twitter.com)

5个月前 • 九原客 • -- 点击 0 评论

5

2

1

1

总结一下DeepSeek讨论的初步结果，DeepSeek的贡献主要有两个：
一是基础模型的预训练，二是利用无监督的增强学习(RL）提高推理能力
时政
( twitter.com)

6个月前 • 勃勃OC • -- 点击 0 评论

6

2

1

1

这就是为什么 DeepSeek R1-Zero 其实在传统任务（如语言、助人性、无害性等）上表现不佳。
最终，他们需要使用一个基于 V3（甚至是 ChatGPT）生成的监督数据集结合多阶段强化学习（RL）来抵消这种效果。
因此，将 DeepSeek R1 称为完全无监督并不公平。
That's why DeepSeek R1-zero doesn't
时政
( twitter.com)

6个月前 • 勃勃OC • -- 点击 0 评论

7

2

1

1

这个人的理论很有意思
总而言之，为什么之前所有用简单RL实现模型推理的工作都失效了，但DeepSeek却能一夜之间成功？到底发生了什么？
他的理论是：因为过去2年，LLM崛起之后，人们在LLM上进行了大量的CoT（思维链）工作；这些工作混入了现在的训练数据里，改变了新训练大语言模型的行为
时政
( twitter.com)

5个月前 • 勃勃OC • -- 点击 0 评论

8

2

1

1

Google DeepMind 研究科学家分享的 50+ 页的 PPT 《使用 RL 和验证器改进 LLM 推理》也太好了🔥
基本上和 OpenAI 最近发布的 O1 原理一脉相承，报告使用 LLM 进行可推理能力发掘的主流研究，Paper 或技术⚡️
PPT 线上预览 👉
时政
( drive.google.com)

10个月前 • Tom Huang • -- 点击 0 评论

9

2

1

1

「LLM， Agent, RL的关系」
在LLM的语境下，Agent是能理解问题，自主进行推理（Reasoning），并采取行动的系统。你可以把它想象成一个非常聪明的助手，当你提出复杂问题时，它不会立即给出答案，而是会在内心进行推理和规划（Planning），再给出最终决定。
如果我们回顾prompt engineering中提高LLM
时政
( twitter.com)

3个月前 • 马东锡 NLP 🇸🇪 • -- 点击 0 评论

0.24834 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特