モデルは訓練できるものになりました。当たり前に聞こえますが、この十年の進歩はすべて、この一つの事実の上に立っています。システムに「いまどれくらいうまくやれているか」という信号を与え、その信号に沿って改善する道を与えれば、あとはスケールが引き受けてくれる。しかし、モデルがその中で学ぶ環境は、この取引を一度も受け取っていません。
モデル側が受け取ったものを、正確に言っておく価値があります。誤差逆伝播は、すべてのパラメータにすべての誤りの責任を分担させました。つまり、ネットワークの内部で credit assignment を解いたのです。この信号が存在した瞬間から、改善は職人技ではなく予算の問題になりました。より多くのデータ、より多くの計算、より良いモデル。私たちが scaling と呼ぶすべては、このループが人の手を離れて何十億回も回った上に成り立っています。
訓練のもう一方の側を見てください。環境は、一つのまとまりですらありません。こちらには preference データで訓練され、精度で評価される reward model。あちらには一致率で評価される verifier たち。別の場所には、ヒューリスティックで組まれ、直感で評価される curriculum。どの部品も別々に作られ、別々に評価され、別々に交換されます。それが存在する唯一の理由、つまり訓練対象のモデルに何をしたかで評価される部品は、一つもありません。環境はシステムではなく、部品の山です。
部品の山は訓練できません。これが、環境があの取引を受け取れなかった正直な理由であり、私が「環境を訓練できるものにする」を一つの問題と見なさない理由です。それは問題の積み重ねであり、各層は下の層の上に立っています。
測定。 一つの部品がモデルに何をしたか、読み取れますか。今日ではほとんど読み取れません。reward model の benchmark 精度は、それが訓練する policy を予測できません。効果は訓練の過程の内部で読み取る必要があります。この層が機能しない限り、その上のすべては当て推量です。
Credit。 モデルは多くの部品に同時に訓練され、部品たちは一つの結果を共同で生み出します。どの取り分が誰のものか。部品を一つ外して再実行すれば、その下流のすべての部品が見るものを変えてしまっています。答えには偏りが生じ、しかもサンプルを増やしても直りません。credit は反実仮想を実際に走らせて計算すべきもので、予測や削除で近似してはいけません。
部品の訓練。 測定された効果は、部品自身の訓練信号になりえます。ここから環境はインフラであることをやめ、改善を始めます。ただしこの層には、モデル側にはなかった義務が伴います。部品は撤回可能でなければならず、得られたものは部品が去った後もモデルの側に残らなければなりません。さもなければ、改善したのはモデルではなく、モデルを取り囲むアンサンブルの方です。
チーム。 同じ一つのモデルに仕えながら共に訓練される部品たちは、干渉ではなく協調しなければなりません。個別の shaping が成功する場面で、結合した shaping が壊れることは知られています。この層は、下の層からの無料の帰結ではないのです。
汎化。 一つのモデルをうまく訓練した環境は、次のモデルへ、次のタスクへ、やがてテキストの外へ持ち越せるべきです。賭けが回収されるのはこの層であり、現在の証拠から最も遠いのもこの層です。
私の三つの研究はいま、最初の二つの層に住んでいて、第三の層に最初の一歩を踏み出しています。標準的な指標が壊れる場所での測定、結果が共有される場所での厳密な credit、そして吸収された後に撤回される一つの訓練時部品。これは意図的です。土台がなければこの積み重ねは崩れますし、土台こそ、誰も作っていなかった部分だからです。
積み重ねができれば天井が動くと、なぜ信じられるのか。モデルはますます、環境が生み出す経験から学ぶようになっているからです。提案されるタスク、採点される出力、検査される誤り。環境はその経験の工場です。固定された工場の中で改善するモデルは、工場が教えられるところまでで収束します。天井を動かすには、工場そのものが進歩しなければなりません。この分野は同じことを一度見ています。特徴量は手作りでしたが、学習されるものに変わり、その一つの変化が分野の名前を変えました。環境は、残された最大の手作りの段階です。
だから、賭けをもう一度。環境そのものが、モデルと同じようにスケールし、訓練され、汎化される必要があります。私はこの積み重ねの出発点、測定から始めます。姉妹編では、この順序が選択ではなく必然である理由を述べます。
このノートは、以前に別の名前のもとで書いた方向性の表明に代わるものです。名前は残りませんでしたが、志は残りました。