先日、『中国の大規模モデルは、なぜ RL がうまくいかないのか』を公開したところ、小紅書(RedNote)版には百件を超えるコメントが付きました。その中に、繰り返し出てくる声がありました。critic はもうほとんど誰も使っていない。トップの各社は PPO すら使っておらず、もっと単純な REINFORCE に戻したところもある。critic は小規模ならうまくいくが、scale up の法則には合わない。critic は未来を予測しなければならず、それは課題を解くこと自体より難しいかもしれない。さらに、RL で一本の軌跡を走らせるのに何日もかかるなら、そんな課題はいっそ RL をやめて SFT で済ませればいい、という人もいました。こうした意見をたどっていくと、長いホライズンの credit assignment(貢献度の割り当て)はもう時代遅れだ、という結論に行き着きます。こうした見方はコメント欄に限りません。credit assignment はもう役に立たない、時代遅れだと考えている人は、この分野に少なくありません。
はっきり言いましょう。credit assignment が時代遅れになるということは、そもそもありません。時代遅れだと言うと最先端に立っているように聞こえますが、実際には問題と方法を混同しており、RL においては初歩的な誤りです。これは RL にずっとある問題で、変わるのは、解きやすいかどうか、わざわざ取り組む必要があるかどうかだけです。そして長いホライズンのタスクとエージェントの時代こそ、わざわざ取り組む必要が最も大きい時期なのです。
方法は入れ替わり、問題はずっとあり、タスクは長くなっていく
はやりの方法
問題
credit assignment という問題は、ずっとある一回の試行の長さ
↑ 一回の対話の返答↑ 数学の問題、数ステップ↑ コーディングエージェント、数十から数百ターンまず背景を簡単に説明します。ご存じの方は読み飛ばしてください。RL で大規模モデルを訓練するとき、モデルは一つの課題を最後までやり終えて、はじめて一つの点数を受け取ります。credit assignment が解こうとしているのは、その課題が最後に成功したり失敗したりしたとき、手柄と責任をどのステップに帰すべきか、という問題です。
問題と方法
冒頭の意見が時代遅れだと言っているのは、実は PPO や critic といった具体的な方法です。方法はもちろん時代遅れになります。しかし問題そのものは時代遅れになりません。モデルが一つの課題をやり終えてはじめて一つの点数を受け取る限り、その点数はどうにかして各ステップに分けなければなりません。
GRPO もこの問題を避けてはいません。軌跡全体の点数を同じグループの平均点と比べ、その差をそのまますべての token に配ります。正解なら全ステップをまとめて強め、不正解なら全ステップをまとめて弱めます。これは最も粗い分け方ですが、それでも一つの分け方です。
同じ点数を、二通りに分ける
強める弱める
つまり「critic を使わない」とは分け方を変えたということであって、問題が消えたということではありません。critic、過程の監督、PPO も、もともと一体のものではありません。PPO がはやらなくなったからといって critic が役に立たないことにはならず、まして credit assignment が役に立たないことにはなりません。問題をある一つの方法と結びつけ、方法がはやらなくなったら問題まで時代遅れだと宣言する。この推論は成り立ちません。
短いホライズンの時代
わざわざ取り組まないことは、問題がないことを意味しません。その時期には解きやすく、粗い分け方で足りていたというだけです。この点では、冒頭の意見の多くは正しいのです。
まず、数学の問題のような短いホライズンのタスクでは、本当に選択が行われる場所はごくわずかです。Wang ほかは 2025 年の論文で、推論の過程の各 token のエントロピー、つまりモデルがその位置でどれだけ迷っているかを調べ、エントロピーの高い token は全体の約 2 割しかないことを見つけました。これらの token は分かれ道のようなもので、推論がどちらへ進むかを決めます。残りの 8 割は、ほぼ流れのままに書き進められているだけです。この 2 割だけを更新すると、8B のモデルではすべてを更新したのと同等の効果があり、14B と 32B では明らかに上回りました。分かれ道が少なく道も短ければ、均等に分けても、分かれ道に十分な分け前が届きます。
推論の中で、本当に迷っていて方向を決めるトークンはごく一部
棒が高いほど、モデルはその位置で迷っている(エントロピーが高い)
次に、サンプリングも安価です。数学の問題はすぐに解き終わるので、同じ問題を何十回解かせても大した費用にはならず、粗い信号の足りなさはサンプルを増やせば補えます。Yue ほか(NeurIPS 2025)はさらに、数学やコードの問題では、RL の後にモデルが解けるようになった問題が、ベースモデルに何回か多く試させれば解ける範囲をほとんど超えていないことを見つけています。
最後に、critic は実際に訓練が難しいものです。未来を予測しなければならず、見積もりの外れた critic は、点数を均等に分けるより悪いことさえあります。理論面では、Jia、Rakhlin、Xie が ICML 2025 の論文で、結果だけを見る監督は、一歩ずつの過程の監督と比べて統計的にそれほど難しくなく、差はせいぜいステップ数の多項式倍であることを証明しました。
どれも正しいのですが、並べてみると言っていることは同じです。短いホライズンのタスクでは、この問題は解きやすく、わざわざ取り組む必要がないということです。その理論の論文自身も、あるステップから何度も試し直せる場合には、アドバンテージ関数(このステップが平均よりどれだけ良いか)そのものが最適な過程報酬モデルになることを証明しています。結果の監督がうまく学べているとき、それはアルゴリズムの内側で credit を正しく分けているのであって、それを独立した部品として取り出していないだけです。そしてあの「ステップ数の多項式倍」は、私の理解では、数ステップの問題なら無視できても、数百ステップになれば無視できなくなります。
エージェントの時代
agentic RL では、この問題を解きやすくしていた条件が、一つ残らずなくなりました。
まず、いわゆる分かれ道が非常に多くなりました。コーディングエージェントの一回の試行は、しばしば数十ターン、十数万 token に及びます。どのファイルを読むか、どの行を直すか、テストを走らせるかどうか、各ターンのそれぞれが本当の選択です。一か所で道を誤ればその後はすべて無駄になり、それまで正しくこなしたステップまで巻き添えで弱められます。
コーディングエージェントの一回の試行。間違いは 10 ターン目
全体に均等に正しかったのに弱められたターン 9
一ターンずつ正しかったのに弱められたターン 0
1 から 9 ターン目でコードを読み、テストを走らせ、壊れている関数を見つけます。10 ターン目で条件を一つ書き間違えます。その後の 14 ターンはそこから出た新しいエラーの修正に追われ、最後にテストは通りません。
正しい、強める弱める強めも弱めもしない
次に、サンプリングそのものがもう安くありません。大きめのモデルで agentic なタスクを走らせると、一本の軌跡が出てくるまでに短くて数日、長ければ一、二週間かかります。何回か多くサンプリングして粗い信号を補うという道は通れません。タスクが長くなるほど、グループの試行がすべて失敗することも増え、グループ内で比べても何の信号も得られません。これは『中国の大規模モデルは、なぜ RL がうまくいかないのか』で書いたとおりです。
最後に、いまの環境はさらに手ごわくなっています。Zhang は 2026 年のサーベイでこの問題を正面から整理し、agentic RL で credit assignment が難しくなる理由を挙げています。たとえば、モデルが環境の状態をすべて見られないこと、環境がどう変わるかはモデルの行動だけでは決まらないこと、途中のあるステップに自由に戻ってやり直せないこと、途中のステップが正しかったかどうかを検証しにくいことです。このサーベイは、2024 年 1 月から 2026 年 7 月までにこの問題のために作られた方法を集めており、中心的な方法だけで 56 にのぼります。今年の NeurIPS も、コマンドラインのエージェントの最終的な点数を一つひとつの操作にどう分けるかを研究した論文を採択しました。時代遅れの問題から、2 年あまりで何十もの新しい解き方が出てくることはありません。
つまり、時代遅れだと言うのは、タイミングがちょうど逆なのです。credit assignment を最も放っておけたのは数学の問題の時期で、最も放っておけないのは、まさにいまです。
「時代遅れ」の前提
credit assignment にわざわざ取り組まないことには、代償があります。その代償とは、サンプリングの量で力ずくで埋めることです。同じ課題を何十回、何百回と走らせ、グループの中に成功と失敗がそろうまで待ち、大きな batch で粗い信号を平均して方向を出します。GPU とデータが十分にあれば、もちろんそれでも構いません。GRPO も力ずくで訓練できます。
サンプリングで力ずくで埋めると、タスクが長いほど、一つの課題に要る試行回数は急に増える
点一つが一回の試行
つまり「時代遅れ」の裏には、GPU とデータが使い切れないほどあり、どの長いホライズンのタスクも必要なだけ走らせられる、という仮定が隠れています。その考え方でいくなら、いっそ使い切れないほどの GPU とデータがあることにして、一気にすべてやり切ればいいということになります。しかし現実には、そんな条件を持っている人はいません。
これと地続きの、よく聞く論調もあります。データが重要だと知ると、アルゴリズムを軽んじ、果てはデータだけが重要だと考えるというものです。データが重要なのはもちろんで、誰も否定していません。しかし、データが重要だからといって、アルゴリズムが重要でないことにはなりません。ベースモデルの訓練がますますエンジニアリングになっていることは誰もが知っています。それならなおさら、どの工程も失敗してはならないという道理がわかるはずです。データ、アルゴリズム、インフラ、環境のどれか一つでも崩れれば、全体が引きずり倒されます。それなのに、なぜある一つの工程だけが最も重要で、ほかは重要でないと考えるのでしょうか。良いデータは RL をうまく訓練できる可能性を与えるだけで、その可能性を引き出せるかどうかは、アルゴリズムが一つひとつの点数をどう生かすかにかかっています。データ一つしか認めないのは、新しい言葉を覚えたばかりの子どもが、何でもその言葉で説明しようとするのに少し似ています。通っぽく聞こえても、実際には幼稚です。
訓練は一本の鎖。どの輪が切れても、鎖全体が引きずり倒される
どの輪もそろっていて、訓練できる
下のボタンを押して、どれか一つの輪を切ってみてください
「SFT で済ませればいい」というのも、別の回り道です。問題が難しくなったら、その種のタスクをやめてしまう。しかしエージェントがやるべきことは、まさにその種のタスクなのです。
方法は時代遅れになっても、問題は時代遅れになりません。長いホライズンのタスクとエージェントの時代に、credit assignment は手放してよい古い問題ではなく、避けて通れない問題です。