中国の大規模モデルは、なぜ RL がうまくいかないのか

この一年、中国の大規模モデルと OpenAI、Anthropic、Google との差が話題になるたびに、よく耳にした説明は二つでした。一つは GPU が足りないこと、もう一つはインフラが見劣りすることです。どちらも正しいのですが、それだけでは説明しきれないと私は思っています。業界の人たちとの話から聞いている限りでは、中国の各社はどこも長いタスクでのエージェント RL、とくにコーディングエージェントの RL に力を注いできましたが、多くはものになりませんでした。能力の伸びは、結局のところ蒸留に頼ることになりました。

三社でうまくいくことが、なぜ中国ではうまくいかないのか。GPU とインフラのほかに、もっと根本的な理由があると私は考えています。それは、中国の RL が始まったときに選んだ道に潜んでいます。

まず、背景を簡単に説明しておきます。ご存じの方は読み飛ばしてください。RL(強化学習)で大規模モデルを訓練するときは、モデルに課題を一つ与えて最後まで自分で解かせ、結果を採点し、その点数に応じてモデルを調整します。ここには credit assignment(貢献度の割り当て)と呼ばれる中心的な難題があります。ある試行が最終的に成功したとき、あるいは失敗したとき、その手柄や責任を途中のどのステップに帰すべきか、という問題です。課題が数ステップしかなければ、難しくはありません。しかし一回の試行が数百ステップに及ぶと、これがすべてを左右します。

なぜ GRPO はあれほどうまくいったのか

中国で大規模な RL が始まったとき、出発点になったのは DeepSeek が提案した GRPO でした。やり方は簡潔です。同じ課題をモデルに何回か解かせ、それぞれの点数を比べて、平均より高かった試行は強め、低かった試行は弱めます。critic を別に訓練する必要もありません。critic とは、「いまのステップから先で、だいたい何点取れそうか」を見積もる専用のモデルです。訓練するには GPU メモリも計算もそのぶん余計にかかり、しかもうまく訓練できるとは限りません。

GRPO のやり方:同じ課題を何回か解かせ、それぞれをそのグループの平均と比べる

1↑
2↓
3↑
4↑
5↓
6↓

正解不正解このグループの平均↑ 平均より上、強める↓ 平均より下、弱める

critic を別に訓練する必要はありません。グループの中に成功と失敗が混じっていれば、比べるだけでどの試行を強めるべきかがわかります。

GRPO が成果を上げたのは、数学の問題でした。数学の RL はターン数がごく少なく、モデルが考えて答えを出せば、一、二ターンで終わります。この条件なら、グループ内の比較から得られる「今回は平均より良かったか、悪かったか」という信号だけで、credit assignment は十分にこなせます。メモリを節約でき、critic も要らず、しかも効果が高い。GRPO はたちまち、中国で RL をやるときの定番になりました。

タスクが長くなると、効かなくなる

GRPO の信号は、実はかなり粗いものです。モデルは軌跡を一本最後までやり終えて、ようやく正解か不正解かの点数を一つもらいます。しかもその点数は、軌跡全体に対して与えられます。正解なら全ステップが強められ、不正解なら全ステップが罰せられます。そのうちのどのステップが実はよくできていたかは関係ありません。

簡単な数学の問題なら、この程度の粗さは問題になりません。しかし今のコーディングエージェントの課題では、一回の試行が数十ターン、十数万トークンに及ぶのが当たり前です。数百もの判断が一つの点数を分け合っていては、どのステップが成功につながり、どのステップが失敗を招いたのか、モデルには見分けがつきません。

さらに深刻な問題があります。グループ内の比較が働くには、同じ課題への何回かの試行の中に、成功と失敗が混じっていなければなりません。タスクが長くなるほど、途中で続けて正しくこなすべきステップが増え、すべての試行が失敗することが多くなります。全部失敗すれば点数はみな同じで、比べても差は何も出ず、その回の計算はまるごと無駄になります。タスクが長くなるほど、GRPO が得られる信号は粗くなるうえに、少なくもなっていくのです。

タスクが長いほど、一つの点数が受け持つステップは増え、グループが全滅しやすくなる

40
✕
✕
✓
✕
✕
✓
✓
✕
終わり
0100200300400
このグループで成功した数3 / 8
一つの点数が受け持つ40 ステップ
グループ内の比較成功と失敗が混じる、信号ありこの仮定では、8 回すべてが失敗する確率は約 2%
説明のための計算で、実測ではありません。各試行は 6 割の確率で正しい方向に進み、そのあとは各ステップが 1% の確率で誤り、一つ誤ると課題全体が失敗すると仮定しています。図はこの仮定のもとで選んだ 8 回の試行です。青は成功、灰色は失敗で、灰色の棒が止まっているところが誤ったステップです。

モデルが大きくなり、タスクが複雑になるほど、報酬にはより細かさが求められます。GRPO のやり方は、ちょうどこの方向で行き詰まります。

なぜ抜け出せないのか

問題は誰の目にも見えているのに、抜け出すのは難しいのです。いま出ている新しいアルゴリズムの多くは GRPO を土台にした改良で、GRPO はほかの方法よりかなり優れているという見方も広く共有されています。けれども、いくら手を加えても大きくは変わりません。根本の問題、つまり最後に点数が一つあるだけという点が、そのまま残っているからです。

別の道を探る人もいて、OPD(on-policy distillation、オンポリシー蒸留)に取り組んでいます。生徒モデルに自分で課題を解かせ、教師モデルがトークンごとに、どこが良くてどこが悪いかを教えるやり方です。ただし OPD には、まず良い教師がいることが前提になります。そして教師が今の上限を破って、いまより良くなるには、やはり RL に頼るしかありません。

こうして堂々めぐりになります。アルゴリズムをどれだけ磨いても、回り回って、まず RL をうまくやらなければなりません。ところが GRPO のやり方で RL をやる限り、長いタスクの credit assignment はうまくいかないのです。

縛っているのはコードではなく、飛ばした授業

みんなが GRPO に縛られていると言うなら、説明しておくべきことが一つあります。GRPO から critic を使うやり方に切り替えるのは、コードの上ではごく小さな変更です。数百人規模のチームが、なぜ切り替えられないのでしょうか。

私の理解では、縛られているのはアルゴリズムの選択肢ではなく、能力の蓄積です。OpenAI、Anthropic、Google は RLHF の時代からずっと歩んできました。当時の標準的なやり方は、PPO に critic と報酬モデルを組み合わせるものでした。彼らは否応なく、価値モデルをどう訓練するか、どうすれば訓練が崩れないか、変わり続ける方策にどう追いつかせるかを身につけました。その腕前が、チームの中に蓄えられています。

中国で大規模な RL が始まったのは、ちょうど GRPO が「critic なしでも十分うまくいく」と示したその時でした。GRPO の発想にはもともと GPU 不足への配慮があり、critic を省けば大きな出費が省けます。その結果、中国はこの授業を飛ばしたも同然になりました。タスクが長くなり、critic が本当に必要になったいま、足りないのはスイッチ一つではありません。蓄えてこなかったエンジニアリングの勘の、そのすべてです。

critic への切り替えは数行のコード。足りないのは、蓄えてこなかった授業のほう

出発点のやり方否応なく身につけたことタスクが長くなり、critic が必要になったときOpenAI、Anthropic、GoogleRLHF 時代の標準:PPO に critic と報酬モデル価値モデルをどう訓練するか、どう崩さないか、変わり続ける方策にどう追いつかせるか腕前はすでにチームの中にある中国GRPO:critic なしでも十分うまくいくこの授業は飛ばされた足りないのはスイッチではなく、エンジニアリングの勘のすべて
縛られているのはアルゴリズムの選択肢ではなく、能力の蓄積です。

critic の何が良いのか:比べる範囲が違う

critic と GRPO の違いは、「モデルをもう一つ訓練する」ことにとどまりません。何と比べるかが違うのです。

GRPO の基準は、同じ課題、同じバッチの数回の試行からしか得られません。局所的な比較です。そのグループが全滅すれば、何もわかりません。

critic の基準は、あらゆる経験から学んだもので、全体を見渡したものです。「いま目の前にある途中の状態は、ほかの課題で後に成功した状態によく似ている」と見分けられます。だから、この課題で一度も正解できていなくても、critic はほかで得た経験を借りて、このステップが良かったかどうかをモデルに伝えられます。

GRPO は目の前のグループとしか比べない。critic はあらゆる経験と比べる

GRPO:局所的な比較

この課題の 8 回の試行はすべて失敗。点数はみな同じで、比べても差は出ません。

critic:全体を見渡した比較

いま目の前にある途中の状態は、ほかの課題で後に成功した状態によく似ている。だから、このステップは良かったとわかります。

後に成功した状態後に失敗した状態いまのステップ

この課題で一度も正解できていなくても、critic はほかで得た経験を借りて、このステップが良かったかどうかをモデルに伝えられます。

長いタスクに必要なのは、まさにこうした経験の転移です。ある課題で身につけた判断を、別の課題の途中で使えることです。GRPO はいつも目の前のグループしか見ないので、構造上これができません。

堂々めぐりのさらに奥:誰が評価するのか

critic がそれほど良いなら、なぜ訓練が難しいのでしょうか。根本の理由は、長いタスクの途中の状態が良いかどうかを判断するのが、タスクをやり遂げるのとほとんど同じくらい難しいことにあります。評価する側は、少なくとも実行する側と同じくらい賢くなければなりません。

私の知る限り、Google の社内の RL は、まさに critic や PRM(プロセス報酬モデル、各ステップに点数をつけるモデル)の道に頼っています。生成的な手法で各ステップ、さらには各トークンにまでラベルを付け、最後の点数一つよりはるかに細かいフィードバックを与えることで、ようやく RL が回るのです。

この道には、あまり口にされない前提があります。訓練するモデルより強い評価者が手元にいることです。最前線の研究所にはそれがあり、自社で最も強いモデルを、過程を評価する役に使えます。強いモデルが良い信号をつけ、それでもっと強いモデルを訓練し、そのもっと強いモデルが次の回の評価者になります。自分で回り続けるループです。

追う側には、自分より強い評価者がいません。他社のモデルを借りるしかなく、それはまた蒸留に戻ることを意味します。

こうして堂々めぐりは二重に閉じます。能力の突破には RL が要り、RL には良い途中の信号が要り、良い途中の信号にはもっと強い評価者が要り、もっと強い評価者には能力の突破が要ります。先行する側は自力で上っていけますが、追う側は一段上るたびに外の力を借りなければなりません。

同じループでも、先行する側は自力で回せて、追う側は回せない

先行する側

自社で最も強いモデルを評価者にする↓各ステップに良い信号をつける↓RL でもっと強いモデルを訓練する

↺ もっと強いモデルが、次の回の評価者になります。

追う側

自分より強い評価者:いない↓細かい途中の信号が得られない↓RL で突破できない

↺ だから、もっと強い評価者はやはりいません。

他社のモデルを借りるしかなく、それはまた蒸留に戻ることを意味します。

能力の突破には RL が要り、RL には良い途中の信号が要り、良い途中の信号にはもっと強い評価者が要り、もっと強い評価者には能力の突破が要ります。

では、差はどこにあるのか

これらを合わせて考えると、私の結論はこうです。GRPO は追う側の立場で最も手に取りやすい選択で、この苦境をさらに深めましたが、苦境の根はもっと下にあります。根にあるのは、先行する側は自分のモデルで自分を訓練できるのに、追う側にはそれができないということです。GPU と計算の不足、インフラの未成熟は、この構造の上で差をさらに一段広げています。

この見立てが正しければ、GRPO の上で手直しを続けても、局面はなかなか変わりません。本当に取り組むべきは、長いタスクで細かい途中の信号をどう得るかです。critic をきちんと訓練するか、過程の評価をきちんと作るか。避けて通れない授業で、補習は早いほどいいのです。

以上は、耳にしたことと自分なりの推論から導いた考えです。ご意見をいただければ幸いです。