三つの分野が同じ壁にぶつかりました。それぞれ自分の言葉で。
RLHF では、壁はこうです。reward model の benchmark 精度は、それが訓練する policy を予測できません。私の最初の研究は、reward model の精度とその訓練ステップ数をあわせて変え、内側に最適点があることを見つけました。ある点を越えると、より正確な reward model がより悪い policy を訓練したのです。最も良い結果を出した reward model と最も正確な reward model は、与える報酬の分布でも、訓練した policy の KL ダイバージェンスでも異なっていました。分野自身の評価の系譜も、その後この断絶をより大きなスケールで記録しています。RewardBench 2 は精度が必要条件ではあるが十分条件ではないと認め、Frick らは benchmark 上位のモデルにおいてスコアと下流の RLHF 性能が負の相関を示すと報告しました。認められているメカニズムは reward overoptimization、RL の衣をまとった Goodhart の法則です（Gao、Schulman、Hilton、ICML 2023）。Best-of-N による選択は別の体制であり、静的なスコアはそこではまだ機能します。壊れるのは policy optimization の中です。
制御の分野では、壁はこうです。誰もが頼るあの定理は、reward で止まっています。Ng、Harada、Russell（1999）は、ポテンシャルに基づく reward shaping が最適 policy を不変に保つことを証明し、その保証がそこでは必要十分であることを示しました。action channel にはそのような定理がなく、これは今なお活発な最前線です（Forbes ら、ICML 2025）。実践はその代償を示しています。action に対して学習した補正は、デプロイ時にも付けたままにされるか（residual policy learning は固定された base の上にそれを残します）、保証なしに取り外されるかのどちらかです。私の第二の研究は、action 出力の上にゲート付きの shaping 項を共同訓練し、それが base policy に吸収されていく過程を直接測定します。base が訓練可能で、自分の出力層がその項を正確に再現できるとき、base はそれを吸収します。ゲートは一度立ち上がってからひとりでに下がり、その後に項を取り外してもほとんど代償がありません。撤回は、希望ではなく測定の対象になります。
協調的な LLM システムでは、壁はこうです。共有された一つの結果があり、それを分割する方法がない。これはこの分野で最も古い名前を持つ問題です。credit-assignment 問題、Minsky が 1961 年に名付けました。単一の微分可能なモデルの内部では、誤差逆伝播がこれに答えます。訓練システムのモデルとモデルの間には勾配が流れず、標準的な回避策の一つ（部品を一つ外して再実行する）には構造的なバイアスがあります。除去は、それを読む下流のすべての部品が受け取るものを変えてしまい、サンプルを増やしてもこのバイアスは縮みません。私の第三の研究は、LLM agent のチームでは、下流の agent が読むものがすべて記録（trace）に書き込まれていれば、この回避策が不要であることを示します。そのとき記録がそのまま状態になるからです。チームの agent が記録だけを読むなら、これは構成上成り立ちます。保証の外にあるのは、記録されていない隠れた状態だけです。どの決定点でも、一つのメッセージを差し替え、報酬が出るまで実際に走らせ続けることができ、それ以前のすべては固定されたままです。これが反実仮想的な継続（counterfactual continuation）です。per-decision credit はこうして識別の意味で厳密になり、残るのはサンプリングの分散だけです。
同じ壁、三つの言葉。しかし、なぜ直し方が「訓練の内部からの測定」であって「外側のより良いベンチマーク」ではないのでしょうか。分野自身の証拠が、効果は体制依存だと示しているからです。同じ reward model が、異なる訓練体制のもとで異なる下流の結果を生みます。on-policy と off-policy、policy optimization と best-of-N。静的なベンチマークは、自分の知らない体制に依存する効果を予測できません。これは方法論の好みではありません。体制依存性が強いる結論です。
その下にはもう一つの原理があり、それが何を貢献と呼べるかを決めます。訓練時の部品は二つの仕方で役に立てます。能力をモデルの重みの中に築くか、あるいは自分が付いている間だけシステムを支えるか。これを正しく扱ってきた伝統は、撤回を概念そのものに書き込んでいました。教育の足場かけ（Wood、Bruner、Ross、1976）は、指導者の支えを、学習者の力が育つにつれて消えていくものとして定義します。蒸留（Hinton、Vinyals、Dean、2015）は、デプロイ時に単独で動く小さなモデルで成功を測ります。いまの分野の大きな部分は逆方向に走っています。test-time compute は verifier と探索を推論に付けたままにし、能力をクエリごとに借りています。どちらも正当な製品です。しかし別々の製品であり、どちらを作ったのかを教えてくれるのは撤回テストだけです。能力は重みの中にあるのか、アンサンブルの中にあるのか。
二つの原理を合わせると、プログラム全体の順序がひとりでに落ちてきます。各部品の貢献を計算できるようになるまでは、貢献に基づいて環境の部品を訓練することはできません。訓練の外側からは計算できません。効果が体制に依存するからです。そして部品の除去に耐えるまでは、それをそもそも貢献と呼ぶことができません。測定は計画の中の控えめな部分ではありません。土台です。姉妹編が、その上の階を描いています。