Credit Assignment 过时了?

前几天我发了《为何国产大模型训不好 RL?》,小红书上那一版收到了一百多条评论。其中有一类声音反复出现,大意是 critic 已经没什么人用了,头部几家连 PPO 都不用,有的甚至改回了更简单的 REINFORCE;critic 小规模时好使,但不符合 scale up 的规律;critic 要预测未来,这件事可能比做题本身还难。还有人说,如果 RL 跑一条轨迹要几天,那这种任务干脆别做 RL,SFT 一下就好了。顺着这些话往下推,结论就是长程的 credit assignment(信用分配)已经过时了。这种看法也不只在评论区,圈子里觉得 credit assignment 没用了、过时了的人并不少。

我想把话说得直白一点,credit assignment 就不存在过时的说法。说它过时,听上去像是站在了前沿,其实是把问题和方法混为一谈,放在 RL 里,这是常识性的错误。它是 RL 里一个始终都在的问题,变的只是它好不好解、需不需要专门去解。而长程任务和 agent 的时代,恰恰是最需要专门去解它的时候。

方法换了又换,问题一直都在,任务越来越长

流行的方法

PPO 加 critic
GRPO 一类,不用 critic
专门解 credit assignment 的新方法,一份综述收了 56 个

问题

credit assignment 这个问题,一直都在

一次尝试有多长

↑ 一轮对话↑ 数学题,几步↑ coding agent,几十上百轮
2017202020232026
示意,横轴是年份。PPO 是 2017 年提出的,后来和 critic 一起成了 RLHF 的标准做法;GRPO 是 2024 年提出的;那份综述收录的是 2024 年 1 月到 2026 年 7 月之间的方法。最下面一条只表示任务越来越长,宽度不是实测。

先简单交代一下背景,熟悉的朋友可以跳过。用 RL 训练大模型,模型要做完一整件事才拿到一个分数。credit assignment 要解决的就是,这件事最后成了或者败了,功劳和责任该算在哪一步头上。

问题与方法

开头那些说法,说过时的其实是 PPO、critic 这些具体的方法。方法当然会过时,问题本身过时不了。只要模型是做完一整件事才拿到一个分数,这个分数就总得分到每一步上去。

GRPO 也没有绕开这个问题。它把整条轨迹的分数和同组的平均分比一比,再把这个差原样分给每一个 token,做对了每一步一起鼓励,做错了每一步一起惩罚。这是最粗的一种分法,但仍然是一种分法。

同一个分数,两种分法

步骤能做成的把握整条均分(GRPO)逐步估值(critic)1. 读题55%2. 设未知数65%3. 列方程70%4. 整理方程72%5. 移项时符号写反20%6. 接着化简15%7. 解出结果10%8. 写下答案0%

鼓励惩罚

示意,数字只为说明。这次尝试最后做错了,组里的平均分是五成。整条均分时,八步一起被罚,前四步做对了也不例外。critic 的分法看的是每一步让「最后能做成的把握」变了多少,变大就鼓励,变小就惩罚,于是责任大多落在写反符号的那一步。

所以「不用 critic」说的是换了一种分法,不是问题消失了。critic、过程监督和 PPO 也从来不是绑在一起的,PPO 不流行了,不代表 critic 没用,更不代表 credit assignment 没用。把问题和某一种方法绑在一起,方法不流行了,问题就跟着被宣布过时,这一步推理是不成立的。

短程任务时代

不专门解,不等于问题不在,只是那段时间它好解,粗的分法就够用。在这一点上,开头那些说法有不少是对的。

首先,在数学这类短程任务上,真正做选择的地方很少。Wang 等人在 2025 年的一篇论文里看了推理过程中每个 token 的熵,也就是模型在这个位置有多拿不准,发现只有约两成 token 的熵高。这些 token 像岔路口,决定推理往哪个方向走;其余八成基本是顺着往下写。只对这两成做更新,在 8B 模型上效果和全部更新相当,在 14B、32B 上明显更好。岔路口少、路又短,平均分下去,岔路口也能分到够用的一份。

一段推理里,真正拿不准、决定方向的 token 只有少数

设这两个数为x和y,由题意x+y=10,xy=21。于是x和y是方程t²−10t+21=0的两个根。等等,先检查判别式,100−84=16>0,所以有实根。因此t=3或t=7。

柱子越高,模型在这个位置越拿不准(熵越高)

示意,柱高不是实测。论文统计发现,熵高的 token 多是 wait、however、thus、suppose 这类表示转折、推进、引入假设的词;熵低的多是词的后半截、公式和代码片段。只对熵高的这两成做更新,就是那篇论文的做法。

其次,采样也便宜。一道数学题很快就做完,同一道题做几十遍都不贵,粗信号的不足可以靠多采样补上。Yue 等人(NeurIPS 2025)还发现,在数学和代码题上,RL 之后模型能做对的题,基本没有超出基座模型多采几次就能做对的范围。

最后,critic 也确实难训。它要预测未来,一个估不准的 critic,有时还不如把分数平均分下去。理论上,Jia、Rakhlin 和 Xie 在 ICML 2025 的一篇论文里证明,只看结果的监督,在统计上并不比逐步的过程监督难多少,差距最多是步数的多项式倍。

这些都对,但放在一起看,说的是同一件事,在短程任务上这个问题好解,不必专门去解。就连那篇理论论文自己也证明了,能反复试做的时候,优势函数(这一步比平均水平好多少)本身就是最优的过程奖励模型。结果监督学得好,其实是在算法内部把 credit 分对了,只是没有单独拿出来做。而那个「步数的多项式倍」,我的理解是,在几步的题上可以忽略,到了几百步就不能不管了。

Agent 时代

到了 agentic RL,上面这几个让问题好解的条件,一条一条都没了。

首先是所谓的岔路口变得非常多。一次 coding agent 的尝试动辄几十轮、十多万个 token,每一轮读哪个文件、改哪一行、跑不跑测试,都是真正的选择。一处走错,后面全白干,前面做对的也跟着一起挨罚。

一次 coding agent 的尝试,错在第 10 轮

整条均分做对了也被罚的轮数 9

逐步分配做对了也被罚的轮数 0

11024

第 1 到 9 轮读代码、跑测试、找到出错的函数;第 10 轮改错了一处判断条件;之后 14 轮都在修被它带出来的新报错,最后测试没过。

做对了,鼓励惩罚不加不减

示意。逐步分配是理想的情况,实际要靠 critic、过程奖励模型这类办法去估,估不准就会分错。任务越长,整条均分冤枉的步数越多。

其次是采样本身不再便宜。大一点的模型跑 agentic 任务,一条轨迹出来短则几天,慢则一两周,靠多采几遍去补粗信号,这条路走不通。任务一长,同一组尝试全部失败也越来越常见,组内一比,什么信号都拿不到,这一点在《为何国产大模型训不好 RL?》里写过。

最后,当前这个版本的环境也更难对付了。Zhang 在 2026 年的一篇综述里专门梳理了这个问题,列出了 agentic RL 让 credit assignment 更难的几个原因,比如模型看不全环境的状态,环境怎么变不全由模型决定,不能随意回到中间某一步重来,中间步骤的对错很难验证。这篇综述收录了 2024 年 1 月到 2026 年 7 月之间专门解这个问题的方法,核心方法就有 56 个。今年 NeurIPS 也收了一篇工作,研究怎么把命令行 agent 的最终分数分到每一步操作上。一个过时的问题,不会在两年多里冒出几十种新解法。

所以说它过时,时机恰好说反了。credit assignment 最可以不管的,是数学题那段时间;最不能不管的,就是现在。

「过时」的前提

不专门解 credit assignment,并不是没有代价。代价是用采样量去硬填,同一个任务多跑几十上百遍,直到组里有成有败,再靠大 batch 把粗信号平均出方向。卡和数据都足够多的时候,这当然可以,GRPO 力大砖飞也能训起来。

靠采样硬填,任务越长,每道题要跑的遍数涨得越快

300
一次尝试做成的概率2.9%
每道题至少要跑78 遍才有九成把握让这一组里至少做成一次

每个点是一次尝试

示意计算,不是实测,假设和《为何国产大模型训不好 RL?》里任务变长那张图一样,每次尝试有六成机会方向对,之后每一步有 1% 的可能出错,错一步整题就失败。在长程任务上,一次尝试本身就要跑很久,遍数再一乘,就是卡和数据要用不完的那个假设。

所以「过时」的背后,其实藏着一个假设,就是卡和数据都用不完,每个长程任务都能跑足够多遍。照这个思路,那干脆说我们有用不完的卡和数据,一口气全做到位就好了。可现实里,没有谁有这样的条件。

与此相连的,还有一种常见的论调,看到 data 重要,就忽略算法,乃至觉得只有 data 重要。data 当然重要,这一点没有人否认。可 data 重要,推不出算法不重要。谁都知道,现在基模训练越来越工程化,那就更应该明白每个环节都不能出问题的道理,data、算法、infra、环境,哪一环掉链子,整条链都会被拖垮。为什么会觉得某一个环节才是最重要的,其他都不重要呢?好的 data 只是让你有了训好 RL 的潜力,能不能把这份潜力训出来,还要看算法怎么用好每一个分数。只认 data 这一样东西,有点像小孩子刚学会一个新词,就拿它去解释一切,听上去懂行,其实很幼稚。

训练是一条链,哪一环掉链子,整条链都会被拖垮

data算法包括 credit assignmentinfra环境训出来的模型

每一环都在,能训出来

点下面的按钮,让其中一环断开

示意。只认其中一环,就像以为链条只要一环结实就够了。

至于「SFT 一下就好」,那是另一种绕法,问题一难,就不做这类任务了。可 agent 要做的,正是这类任务。

方法会过时,问题不会。到了长程任务和 agent 的时代,credit assignment 不是该放下的旧题,而是绕不过去的那一道。