为何国产大模型训不好 RL?

这一年聊到国内大模型和 OpenAI、Anthropic、Google 的差距,最常听到的解释有两条,一是卡不够,二是 infra 不如人。这两条都对,但我觉得解释不了全部。据我在业内交流中听到的情况,国内各家都投入做过长程的 agentic RL,尤其是 coding agent 的 RL,但普遍没有训起来,能力的提升最终还是靠蒸馏。

三家能跑通的事,国内为什么跑不通?卡和 infra 之外,我认为还有一个更根本的原因。它藏在国内 RL 起步时走的那条路里。

先简单交代一下背景,熟悉的朋友可以跳过。用 RL(强化学习)训练大模型,做法是给模型一道题,让它自己做完,再给结果打分,然后根据分数调整模型。这里有一个核心难题,叫 credit assignment(信用分配),说的是一次尝试最后成了或者败了,功劳和责任该记给其中的哪一步。一道题只有几步时,这不难;一次尝试有几百步时,这就成了整件事的关键。

GRPO 为什么曾经那么好用

国内大规模做 RL,起点是 DeepSeek 提出的 GRPO。它的做法很简洁,同一道题让模型做好几遍,比较这几遍的得分,比平均分高的那次就鼓励,比平均分低的就压低。它不需要额外训练一个 critic。critic 是一个专门估计「从当前这一步往后,大概能拿多少分」的模型,训练它要多占一份显存、多花一份算力,而且还不一定训得好。

GRPO 的做法:同一道题做几遍,每一次都和这一组的平均分比

1↑
2↓
3↑
4↑
5↓
6↓

做对做错这一组的平均分↑ 高于平均,鼓励↓ 低于平均,压低

不用另外训练 critic。只要这一组里有成有败,比一比就知道该鼓励哪一次。

GRPO 当时是在数学题上奏效的。数学题的 RL 轮数很少,模型想一想、给出答案,一两轮就结束了。在这种情况下,靠组内比较拿到的那个「这次比平均好还是差」的信号,就足以把 credit assignment 做好。省显存,又不用训 critic,效果还好,它很快成了国内做 RL 的默认选择。

任务一变长,它就不灵了

GRPO 的信号其实很粗。模型要把一整条轨迹做完,才拿到一个对或错的分数,而这个分数是给整条轨迹的。做对了,每一步都被鼓励;做错了,每一步都被惩罚,不管其中哪几步其实做得很好。

在简单数学题上,这样粗一点没关系。可现在的 coding agent 任务,一次尝试动辄几十轮、十多万个 token。几百个决定共享一个分数,模型分不清是哪一步让它成功、哪一步让它失败。

还有一层更要命。组内比较要起作用,前提是同一道题的几次尝试里有成有败。任务越长,中间要连续做对的步骤越多,几次尝试全部失败的情况就越普遍。全部失败的时候,大家分数一样,比较不出任何差别,这一轮的算力等于白花。任务越长,GRPO 能拿到的信号越少,而不只是越粗。

任务越长,一个分数要管的步数越多,一组尝试也越容易全部失败

40
✕
✕
✓
✕
✕
✓
✓
✕
终点
0100200300400
这一组里做成的3 / 8
一个分数要管40 步
组内比较有成有败,有信号照这个假设,8 次全部失败的概率约 2%
示意计算,不是实测。假设每次尝试有六成机会方向对;方向对了以后,每一步还有 1% 的可能出错,错一步整题就失败。图里是照这个假设取的一组 8 次尝试,蓝色是做成的,灰色是失败的,灰条停在哪里,就是在哪一步出的错。

模型越大、任务越复杂,对奖励精细程度的要求就越高。GRPO 这套办法恰好在这个方向上走不通。

为什么出不来

问题是大家看得到的,可是很难跳出来。现在大多数新算法都是在 GRPO 的基础上改进的,大家也普遍觉得 GRPO 已经比其他办法好不少。可是改来改去,也就那样,因为根上的问题,就是只有终点那一个分数,并没有被改掉。

也有人另辟蹊径,去做 OPD(on-policy distillation,在线蒸馏,就是让学生模型自己做题,由老师模型逐个 token 告诉它哪里好、哪里不好)。但 OPD 的前提是先有一个好老师。老师要突破上限、做得比现在更好,还是只能靠 RL。

这就成了一个死循环。算法再怎么优化,绕来绕去都得先把 RL 做好;而在 GRPO 这套办法里做 RL,长程任务的 credit assignment 又做不好。

锁住的是一课,不是一段代码

说大家被 GRPO 锁死了,有一处需要解释。从 GRPO 换成带 critic 的做法,在代码上是很小的改动,几百人的团队为什么换不过去?

我的理解是,锁住的不是算法选项,而是能力的积累。OpenAI、Anthropic、Google 是从 RLHF 那个年代一路走过来的。那时的标准做法就是 PPO 加 critic 加奖励模型,他们被迫学会了怎么训价值模型、怎么不让它训崩、怎么让它跟得上正在变化的策略。这些手艺沉淀在团队里。

国内大规模做 RL,恰好是从 GRPO 证明「不要 critic 也能做得很好」那一刻开始的。GRPO 的出发点本身就有卡不够的考量,省掉 critic 就省掉一大块开销。结果国内相当于跳过了这一课。等到任务变长、真正需要 critic 的时候,缺的不是一个开关,而是一整套没有攒下来的工程手感。

换成 critic 只是改几行代码,缺的是没攒下来的那一课

起步时的做法被迫学会的任务变长、需要 critic 时OpenAI、Anthropic、GoogleRLHF 年代的标准做法:PPO 加 critic 加奖励模型怎么训价值模型,怎么不让它训崩,怎么让它跟上正在变化的策略手艺已经沉淀在团队里国内GRPO:不要 critic 也能做得很好这一课被跳过了缺的不是一个开关,是一整套工程手感
锁住的不是算法选项,而是能力的积累。

critic 到底好在哪:比较的范围不同

critic 和 GRPO 的区别,不只是「多训一个模型」,而在于它们拿什么作比较。

GRPO 的基准只来自同一道题、同一批的那几次尝试,是一种局部的比较。这一组全挂了,它就一无所知。

critic 的基准是从所有经验里学出来的,是全局的。它能认出「眼下这个中间状态,很像别的题里那些后来做成了的状态」。所以哪怕这道题一次都没做对,critic 也能借别处的经验,告诉模型这一步走得好不好。

GRPO 只和眼前这一组比,critic 和所有经验比

GRPO:局部的比较

这道题的 8 次尝试全部失败,分数一样,比不出任何差别。

critic:全局的比较

眼下这个中间状态,很像别的题里那些后来做成了的状态,所以这一步走得不错。

后来做成了的状态后来失败的状态眼下这一步

哪怕这道题一次都没做对,critic 也能借别处的经验,告诉模型这一步走得好不好。

长程任务需要的恰恰是这种经验的迁移,在一道题里学到的判断,能用到另一道题的中途。GRPO 每次只看眼前这一组,结构上就做不到这一点。

死循环的更深一圈:谁来当评判

既然 critic 这么好,为什么难训?根本原因是,要判断一个长程任务的中间状态好不好,几乎和把任务做完一样难。评判的人,至少得和做事的人一样聪明。

据我了解,Google 内部做 RL 依赖的正是 critic 或 PRM(过程奖励模型,给每一步打分的模型)这条路,用生成式的方法给每一步、甚至更细到每个 token 做标注,给出比终点一个分数细得多的反馈,RL 才训得起来。

这条路有一个不常被说出来的前提,就是手里得有一个比被训模型更强的评判者。前沿实验室有,它们可以拿自己最强的模型当过程评判。强模型标出好的信号,训出更强的模型,这个更强的模型又成为下一轮的评判。这是一个能自己转起来的循环。

追赶者没有比自己更强的评判者,只能去借别人的模型,而这又回到了蒸馏。

于是死循环闭合了两次。能力突破靠 RL,RL 靠好的中途信号,好的中途信号靠更强的评判者,更强的评判者又靠能力突破。先发者能自己往上走,追赶者每往上一步都要借外力。

同一个循环,先发者能自己转起来,追赶者转不起来

先发者

拿自己最强的模型当评判↓给每一步标出好的信号↓RL 训出更强的模型

↺ 更强的模型,成为下一轮的评判。

追赶者

比自己更强的评判者:没有↓细的中途信号拿不到↓RL 训不出突破

↺ 所以还是没有更强的评判者。

只能去借别人的模型,这又回到了蒸馏。

能力突破靠 RL,RL 靠好的中途信号,好的中途信号靠更强的评判者,更强的评判者又靠能力突破。

所以差距在哪

把这些放在一起看,我的结论是,GRPO 是追赶者处境里最顺手的选择,它让这个困境更深,但困境的根在更下面。根上是先发者能用自己的模型训练自己,追赶者做不到。卡和算力不够、infra 不够成熟,是在这个结构上又放大了一层。

如果这个判断是对的,那么在 GRPO 上继续修修补补,很难改变局面。真正要攻的,是怎么在长程任务里拿到细粒度的中途信号,要么把 critic 训好,要么把过程评判做好。这是一门绕不过去的课,早补比晚补好。

以上是我根据听到的情况和自己的推演得出的看法,欢迎讨论。