Credit Assignment は時代遅れなのか

先日、『中国の大規模モデルは、なぜ RL がうまくいかないのか』を公開したところ、小紅書(RedNote)版には百件を超えるコメントが付きました。その中に、繰り返し出てくる声がありました。critic はもうほとんど誰も使っていない。トップの各社は PPO すら使っておらず、もっと単純な REINFORCE に戻したところもある。critic は小規模ならうまくいくが、scale up の法則には合わない。critic は未来を予測しなければならず、それは課題を解くこと自体より難しいかもしれない。さらに、RL で一本の軌跡を走らせるのに何日もかかるなら、そんな課題はいっそ RL をやめて SFT で済ませればいい、という人もいました。こうした意見をたどっていくと、長いホライズンの credit assignment(貢献度の割り当て)はもう時代遅れだ、という結論に行き着きます。こうした見方はコメント欄に限りません。credit assignment はもう役に立たない、時代遅れだと考えている人は、この分野に少なくありません。

はっきり言いましょう。credit assignment が時代遅れになるということは、そもそもありません。時代遅れだと言うと最先端に立っているように聞こえますが、実際には問題と方法を混同しており、RL においては初歩的な誤りです。これは RL にずっとある問題で、変わるのは、解きやすいかどうか、わざわざ取り組む必要があるかどうかだけです。そして長いホライズンのタスクとエージェントの時代こそ、わざわざ取り組む必要が最も大きい時期なのです。

方法は入れ替わり、問題はずっとあり、タスクは長くなっていく

はやりの方法

PPO と critic
GRPO の仲間、critic なし
credit assignment のための新しい方法。一つのサーベイだけで 56

問題

credit assignment という問題は、ずっとある

一回の試行の長さ

↑ 一回の対話の返答↑ 数学の問題、数ステップ↑ コーディングエージェント、数十から数百ターン
2017202020232026
説明のための図で、横軸は年です。PPO は 2017 年に提案され、のちに critic と組んで RLHF の標準になりました。GRPO は 2024 年の提案です。サーベイが集めたのは 2024 年 1 月から 2026 年 7 月までの方法です。いちばん下の帯はタスクが長くなっていくことを示すだけで、幅は実測ではありません。

まず背景を簡単に説明します。ご存じの方は読み飛ばしてください。RL で大規模モデルを訓練するとき、モデルは一つの課題を最後までやり終えて、はじめて一つの点数を受け取ります。credit assignment が解こうとしているのは、その課題が最後に成功したり失敗したりしたとき、手柄と責任をどのステップに帰すべきか、という問題です。

問題と方法

冒頭の意見が時代遅れだと言っているのは、実は PPO や critic といった具体的な方法です。方法はもちろん時代遅れになります。しかし問題そのものは時代遅れになりません。モデルが一つの課題をやり終えてはじめて一つの点数を受け取る限り、その点数はどうにかして各ステップに分けなければなりません。

GRPO もこの問題を避けてはいません。軌跡全体の点数を同じグループの平均点と比べ、その差をそのまますべての token に配ります。正解なら全ステップをまとめて強め、不正解なら全ステップをまとめて弱めます。これは最も粗い分け方ですが、それでも一つの分け方です。

同じ点数を、二通りに分ける

ステップ成功の見込み全体に均等に(GRPO)一歩ずつ見積もる(critic)1. 問題を読む55%2. 未知数を置く65%3. 方程式を立てる70%4. 式を整理する72%5. 移項で符号を間違える20%6. そのまま簡単にする15%7. 解を出す10%8. 答えを書く0%

強める弱める

説明のための例で、数字は作ったものです。この試行は最後に間違え、グループの平均は 5 割でした。全体に均等に分けると 8 ステップすべてが弱められ、正しかった最初の 4 ステップも例外ではありません。critic の分け方は、各ステップが「最後に成功する見込み」をどれだけ動かしたかを見ます。上げれば強め、下げれば弱めるので、責任の大半は符号を間違えたステップに落ちます。

つまり「critic を使わない」とは分け方を変えたということであって、問題が消えたということではありません。critic、過程の監督、PPO も、もともと一体のものではありません。PPO がはやらなくなったからといって critic が役に立たないことにはならず、まして credit assignment が役に立たないことにはなりません。問題をある一つの方法と結びつけ、方法がはやらなくなったら問題まで時代遅れだと宣言する。この推論は成り立ちません。

短いホライズンの時代

わざわざ取り組まないことは、問題がないことを意味しません。その時期には解きやすく、粗い分け方で足りていたというだけです。この点では、冒頭の意見の多くは正しいのです。

まず、数学の問題のような短いホライズンのタスクでは、本当に選択が行われる場所はごくわずかです。Wang ほかは 2025 年の論文で、推論の過程の各 token のエントロピー、つまりモデルがその位置でどれだけ迷っているかを調べ、エントロピーの高い token は全体の約 2 割しかないことを見つけました。これらの token は分かれ道のようなもので、推論がどちらへ進むかを決めます。残りの 8 割は、ほぼ流れのままに書き進められているだけです。この 2 割だけを更新すると、8B のモデルではすべてを更新したのと同等の効果があり、14B と 32B では明らかに上回りました。分かれ道が少なく道も短ければ、均等に分けても、分かれ道に十分な分け前が届きます。

推論の中で、本当に迷っていて方向を決めるトークンはごく一部

二つの数をx,yとおく。題意よりx+y=10,xy=21。よってx,yはt²−10t+21=0の二つの解。待って、まず判別式を確かめる。100−84=16>0なので実数解がある。したがってt=3またはt=7。

棒が高いほど、モデルはその位置で迷っている(エントロピーが高い)

説明のための図で、棒の高さは実測ではありません。論文の集計では、エントロピーの高いトークンの多くは wait、however、thus、suppose のように、話の転換や前進、仮定の導入を表す語でした。エントロピーの低いトークンの多くは、単語の後半や数式、コードの断片です。この高エントロピーの 2 割だけを更新するのが、その論文のやり方です。

次に、サンプリングも安価です。数学の問題はすぐに解き終わるので、同じ問題を何十回解かせても大した費用にはならず、粗い信号の足りなさはサンプルを増やせば補えます。Yue ほか(NeurIPS 2025)はさらに、数学やコードの問題では、RL の後にモデルが解けるようになった問題が、ベースモデルに何回か多く試させれば解ける範囲をほとんど超えていないことを見つけています。

最後に、critic は実際に訓練が難しいものです。未来を予測しなければならず、見積もりの外れた critic は、点数を均等に分けるより悪いことさえあります。理論面では、Jia、Rakhlin、Xie が ICML 2025 の論文で、結果だけを見る監督は、一歩ずつの過程の監督と比べて統計的にそれほど難しくなく、差はせいぜいステップ数の多項式倍であることを証明しました。

どれも正しいのですが、並べてみると言っていることは同じです。短いホライズンのタスクでは、この問題は解きやすく、わざわざ取り組む必要がないということです。その理論の論文自身も、あるステップから何度も試し直せる場合には、アドバンテージ関数(このステップが平均よりどれだけ良いか)そのものが最適な過程報酬モデルになることを証明しています。結果の監督がうまく学べているとき、それはアルゴリズムの内側で credit を正しく分けているのであって、それを独立した部品として取り出していないだけです。そしてあの「ステップ数の多項式倍」は、私の理解では、数ステップの問題なら無視できても、数百ステップになれば無視できなくなります。

エージェントの時代

agentic RL では、この問題を解きやすくしていた条件が、一つ残らずなくなりました。

まず、いわゆる分かれ道が非常に多くなりました。コーディングエージェントの一回の試行は、しばしば数十ターン、十数万 token に及びます。どのファイルを読むか、どの行を直すか、テストを走らせるかどうか、各ターンのそれぞれが本当の選択です。一か所で道を誤ればその後はすべて無駄になり、それまで正しくこなしたステップまで巻き添えで弱められます。

コーディングエージェントの一回の試行。間違いは 10 ターン目

全体に均等に正しかったのに弱められたターン 9

一ターンずつ正しかったのに弱められたターン 0

11024

1 から 9 ターン目でコードを読み、テストを走らせ、壊れている関数を見つけます。10 ターン目で条件を一つ書き間違えます。その後の 14 ターンはそこから出た新しいエラーの修正に追われ、最後にテストは通りません。

正しい、強める弱める強めも弱めもしない

説明のための例です。一ターンずつ分けるのは理想の場合で、実際には critic や過程報酬モデルのような方法で見積もるしかなく、見積もりが外れれば分け方も外れます。タスクが長いほど、均等に分けたときに濡れ衣を着せられるステップは増えます。

次に、サンプリングそのものがもう安くありません。大きめのモデルで agentic なタスクを走らせると、一本の軌跡が出てくるまでに短くて数日、長ければ一、二週間かかります。何回か多くサンプリングして粗い信号を補うという道は通れません。タスクが長くなるほど、グループの試行がすべて失敗することも増え、グループ内で比べても何の信号も得られません。これは『中国の大規模モデルは、なぜ RL がうまくいかないのか』で書いたとおりです。

最後に、いまの環境はさらに手ごわくなっています。Zhang は 2026 年のサーベイでこの問題を正面から整理し、agentic RL で credit assignment が難しくなる理由を挙げています。たとえば、モデルが環境の状態をすべて見られないこと、環境がどう変わるかはモデルの行動だけでは決まらないこと、途中のあるステップに自由に戻ってやり直せないこと、途中のステップが正しかったかどうかを検証しにくいことです。このサーベイは、2024 年 1 月から 2026 年 7 月までにこの問題のために作られた方法を集めており、中心的な方法だけで 56 にのぼります。今年の NeurIPS も、コマンドラインのエージェントの最終的な点数を一つひとつの操作にどう分けるかを研究した論文を採択しました。時代遅れの問題から、2 年あまりで何十もの新しい解き方が出てくることはありません。

つまり、時代遅れだと言うのは、タイミングがちょうど逆なのです。credit assignment を最も放っておけたのは数学の問題の時期で、最も放っておけないのは、まさにいまです。

「時代遅れ」の前提

credit assignment にわざわざ取り組まないことには、代償があります。その代償とは、サンプリングの量で力ずくで埋めることです。同じ課題を何十回、何百回と走らせ、グループの中に成功と失敗がそろうまで待ち、大きな batch で粗い信号を平均して方向を出します。GPU とデータが十分にあれば、もちろんそれでも構いません。GRPO も力ずくで訓練できます。

サンプリングで力ずくで埋めると、タスクが長いほど、一つの課題に要る試行回数は急に増える

300
一回の試行が成功する確率2.9%
一つの課題に要る試行78 回グループに少なくとも一回の成功があると 9 割の確かさで言えるまで

点一つが一回の試行

説明のための計算で、実測ではありません。仮定は『中国の大規模モデルは、なぜ RL がうまくいかないのか』のタスクの長さの図と同じで、各試行は 6 割の確率で正しい方向に進み、そのあとは各ステップが 1% の確率で誤り、一つ誤ると課題全体が失敗します。長いホライズンのタスクでは一回の試行だけでも長い時間がかかり、それに回数を掛ければ、GPU とデータが尽きないという仮定にたどり着きます。

つまり「時代遅れ」の裏には、GPU とデータが使い切れないほどあり、どの長いホライズンのタスクも必要なだけ走らせられる、という仮定が隠れています。その考え方でいくなら、いっそ使い切れないほどの GPU とデータがあることにして、一気にすべてやり切ればいいということになります。しかし現実には、そんな条件を持っている人はいません。

これと地続きの、よく聞く論調もあります。データが重要だと知ると、アルゴリズムを軽んじ、果てはデータだけが重要だと考えるというものです。データが重要なのはもちろんで、誰も否定していません。しかし、データが重要だからといって、アルゴリズムが重要でないことにはなりません。ベースモデルの訓練がますますエンジニアリングになっていることは誰もが知っています。それならなおさら、どの工程も失敗してはならないという道理がわかるはずです。データ、アルゴリズム、インフラ、環境のどれか一つでも崩れれば、全体が引きずり倒されます。それなのに、なぜある一つの工程だけが最も重要で、ほかは重要でないと考えるのでしょうか。良いデータは RL をうまく訓練できる可能性を与えるだけで、その可能性を引き出せるかどうかは、アルゴリズムが一つひとつの点数をどう生かすかにかかっています。データ一つしか認めないのは、新しい言葉を覚えたばかりの子どもが、何でもその言葉で説明しようとするのに少し似ています。通っぽく聞こえても、実際には幼稚です。

訓練は一本の鎖。どの輪が切れても、鎖全体が引きずり倒される

データアルゴリズムcredit assignment を含むインフラ環境訓練されたモデル

どの輪もそろっていて、訓練できる

下のボタンを押して、どれか一つの輪を切ってみてください

説明のための図です。一つの輪だけを認めるのは、鎖は一つの輪さえ丈夫なら足りると考えるようなものです。

「SFT で済ませればいい」というのも、別の回り道です。問題が難しくなったら、その種のタスクをやめてしまう。しかしエージェントがやるべきことは、まさにその種のタスクなのです。

方法は時代遅れになっても、問題は時代遅れになりません。長いホライズンのタスクとエージェントの時代に、credit assignment は手放してよい古い問題ではなく、避けて通れない問題です。