コーディングエージェントを、コードを書く道具、より強力なプログラミング支援ツールと見る人は多いと思います。けれども私は、その意味はそれよりはるかに大きいと考えるようになりました。今日のコーディングというパラダイムは、かつての LLM が LLM 以前の研究に対して持っていた意味と同じです。一つの汎用的なものが、数多くの専門的な方向を一つにまとめてしまうのです。
私の考えを一言でまとめるなら、LLM は入力を統一し、コーディングは出力を統一した、ということです。前の大統一でモデルは何でも読み取れるようになり、今回の統一で何でも作り出せるようになります。
二度の大統一が、それぞれ両端を統一した
これを説明するには、「圧縮は知能である」という話から始める必要があります。
圧縮は知能である
Ilya Sutskever たちは早くから、さまざまな場で「圧縮は知能である」と語ってきました。私自身の理解はこうです。ある一つの実体、たとえばニューラルネットワークや人間の脳が、それ一つで多くの異なる課題をこなし、さまざまな分野に汎化できるなら、それは何らかの本質的な規則性をつかんでいるはずです。その本質的な規則性こそが、一つの実体にこれほど多くのことをさせているのです。
逆も成り立ちます。一つの実体に異なる分野の課題をやらせる、つまり一つのモデルでさまざまな課題を訓練し、良い形式でそれらを同じ実体に圧縮して詰め込むからこそ、その実体は本質を学ばざるを得なくなります。別々に学べば、それぞれは特殊な例を覚えるだけでごまかせます。まとめて学べば、共通の規則性を見つけない限り詰め込みきれません。
Ilya は 2023 年のある講演で、まさにこのように教師なし学習を説明しました。良い圧縮器は異なるデータの間で共有されている構造を見つけ出すので、多くのデータをまとめて圧縮するほうが、別々に圧縮するより深く学べる、というのです。同じ年に Jack Rae も、基盤モデルの目標は役に立つ情報をできるだけうまく可逆圧縮することだと述べています。
LLM にとって、その「良い形式」とは Transformer と attention のアーキテクチャ、そして事前学習、中間学習、事後学習という一連の流れです。事前学習はさまざまなテキストに含まれる知識と情報を一つのモデルに取り込み、ある分野に固有の知識ではなく、汎用的な知識を身につけさせます。馬毅(Yi Ma)のチームは、「データを圧縮する」という目標から出発して、Transformer の構造を一層ずつ導き出しました。attention そのものが圧縮をしていると理解できるわけです。
モデルの大きさももちろん重要ですが、それはどちらかといえば工学の問題です。この原理がわかれば、実体をどんどん大きくして、より多くを学ばせ、よりうまく圧縮させ、知識の背後にある規則性に近づけることができます。香港科技大学とテンセントの研究は、数十の公開モデルを調べ、データをうまく圧縮できるモデルほど各種の能力が高く、両者がほぼ一直線に並ぶことを示しました。
何でもやることで、かえって専門に強くなる
これは、LLM 以前の人工知能に対して、LLM があらゆる面で次元の違う勝ち方をしたということです。専門に絞るのではなく、何でもやる。そしてその「何でも」こそが、専門分野でもより強くしているのです。
DeepMind のある研究が、とてもわかりやすい例を示しています。主にテキストで訓練された言語モデルを画像や音声の圧縮に使ったところ、画像専用に設計された PNG や、音声専用に設計された FLAC よりもよく圧縮できたのです。万能選手が、専門家の土俵で専門家に勝ちました。
主にテキストで訓練された言語モデルが、画像でも音声でも専用の形式よりよく圧縮した
圧縮後のサイズが元のサイズに占める割合。小さいほど良い。
これは Sutton の言う「苦い教訓」と同じことです。人間はいつも自分の理性で規則を組み立て、完璧なモデルを作ろうとしますが、最後には例外なく問題が出てきます。Sutton は七十年にわたる AI 研究を振り返り、長い目で見て勝つのは、より多くの計算を取り込める汎用的な方法、主に学習と探索だと結論づけました。人間の理解をシステムに直接書き込むと、短期的には効いても、長期的にはかえって足を引っ張ります。
LLM 以前の時代、人々はさまざまなネットワーク構造や処理の流れを設計してスコアを競いましたが、どれも LLM には及びませんでした。LLM が現れると、そうしたモデルやパラダイムはすべて置き換えられました。
同じことが、もう一度起きた
コーディングエージェントの時代になって、同じことがもう一度、しかもより徹底的に起きました。
最新のモデルを見てください。私はこの目で、Fable 5.2 がコードを書くだけで一筆一筆絵を描き、人間の絵とほとんど変わらない仕上がりにするのを見ました。コードで 3D のシーンを丸ごと作ることも、動画を作ることもできます。以前は考えられないことでした。動画を生成したければ、拡散モデルのような専用の動画生成モデルが必要だったのです。いまはその必要がありません。コーディングという一つのパラダイムだけで、ロボットの制御も含め、ほとんどのことがうまくできます。最近は、OpenAI には非常に低い遅延でロボットをうまく制御できるモデルがある、という噂まであります。
これらは何度も同じことを示しています。細かく分けて、モデルをいくつにも分割し、それぞれに専門の仕事をさせるほど、最後には一つにまとめられていく。結局、一つのモデルでやったほうがいいと誰もが気づくことになります。
一つのモデルでは大きすぎて、こうしたことをやらせるには遅すぎる、と言う人もいるでしょう。しかし速度は最適化で解決できます。モデルは能力をほとんど落とさずに、ずっと速くできます。これは工学の問題であって、パラダイムの問題ではありません。
LLM は入力を統一し、コーディングは出力を統一した
なぜコードなのか、ほかの何かではないのか。いちばん大事なのは、二度の大統一がそれぞれ両端を統一しているという点だと思います。
LLM が統一したのは入力です。あらゆる課題を「テキストを入れて、テキストを出す」形に変えました。翻訳でも質疑応答でも、文章を書くことでも推論でも、入ってくるのは同じ種類のもので、モデルは同じパラメータでそれを理解します。こうして理解の側が統一され、モデルは何でも読み取れるようになりました。
しかし理解だけでは足りません。LLM の出力は文字にすぎず、文字それ自体は世界に触れられません。絵を描写することはできても、描くことはできません。ロボットをどう制御するかを説明できても、関節一つ動かせません。だから LLM とは別に、絵を描く、動画を作る、機械を制御するといったことのために、それぞれ専用のモデルを訓練する必要があり、出力の側はずっとばらばらのままでした。
コードが埋めたのは、まさにこの側です。コードはどんな計算でも表現でき、しかも実行できます。だからモデルの出力はもはや文字だけではなく、世界に働きかける動作になります。一枚の絵、一つの 3D シーン、一本の動画、一つのロボットへの指令。どれもプログラムを走らせた結果です。さまざまな専用の出力モデルが、「プログラムを書く」という一つの動作に収められたのです。
出力の側は、種類ごとの専用モデルから、プログラムを書くことへ
以前
文字それ自体は世界に触れられず、ほかの出力にはそれぞれ専用のモデルが必要でした。
いま
二つを合わせると、一つのモデルで読むことからやることまでがつながります。前の大統一でモデルは何でも理解できるようになり、今回の統一で何でもできるようになります。
学習と探索:苦い教訓のもっとも純粋なかたち
これは苦い教訓ともぴったり重なります。Sutton は、長い目で見て勝つのは学習と探索だと言いました。事前学習は学習です。コーディングエージェントがコードを書き、実行し、エラーを読み、また直すのは探索です。コーディングエージェントはこの二つを合わせたもので、苦い教訓のもっとも純粋なかたちだと言えます。
コードで生成することは、それ自体が圧縮である
もう一つ理由があります。コードで生成することは、それ自体が圧縮なのです。圧縮の理論では、あるデータの複雑さは「それを生成できる最短のプログラム」の長さで定義され、これをコルモゴロフ複雑性と呼びます。ですから、モデルがコードで一枚の絵を描くのは、その絵の圧縮された記述を書いていることになります。コーディングというパラダイムは、LLM のように圧縮しているのに「似ている」だけではありません。出力の側における、圧縮のもっとも直接的なかたちなのです。最初に述べた「圧縮は知能である」と、ここで述べたコーディングは、同じことの表と裏です。
コードが生み出すのは過程であって、ピクセルではない
コードが向いているのはグラフや幾何学図形のような構造のあるものだけで、本物の絵や写真は複雑すぎて、それ自体より短いプログラムなどない、と思う人もいるかもしれません。しかしそれは、コードを過小評価しています。
コードが生み出すのは過程であって、ピクセルではありません。人間の絵は一筆一筆描かれたもので、その最短のプログラムはピクセルの表ではなく、その筆の運びの連なりです。本物の写真は、光と物体が物理法則に従って作り出したもので、レイトレーシングとシーンの記述の組み合わせは、それ自体が一つのプログラムです。本当に圧縮できないのはランダムな細部だけですが、ランダムな細部は一点ずつ再現する必要はなく、統計的に正しければ十分です。コードの中で乱数を一つ呼び出せば足ります。
この絵は、短いプログラムが一筆ずつ描いたものです
プログラム
世界にあるものは、ほとんどが何らかの過程から生まれています。生成の過程があるものなら、それを書き出すプログラムがあります。コーディングにはほとんど上限がないと私が言うのは、このためです。
この分野の進歩は非常に速いです。2025 年に Meta は、圧縮をそのままプログラミングの問題にしたテストを発表しました。音声、テキスト、DNA のデータを与え、それを生成できる最短のプログラムをモデルに書かせるものです。当時の結論は、その世代で最強のモデルにとっても極めて難しい、というものでした。それから一年あまりで、モデルはコードで人間に近い絵を描けるようになっています。
コードは最良の教材でもある
コーディングというパラダイムには、見過ごされがちな利点がもう一つあります。データ、とくに人間から蒸留したデータを集めるのにとても向いているのです。
動画を生成するような能力は、人間が直接教えることができません。「動画はこうやって生成するものだ」とモデルにどう伝えればいいのか、私にはわかりません。けれどもコードの形にすれば、教えることができます。コードで動画を生成する方法、コードで絵を描く方法、コードで機械を操作する方法を教えればいいのです。コーディングでできることなら、ほとんど何でもこうして教えられます。人間の技は、コードという層を通すことで、モデルが読んで学べるものになります。
しかもコードは実行でき、検証できます。正しいかどうかは、走らせてみればわかります。そのため、RL がもっとも報酬を得やすい場所にもなっています。『中国の大規模モデルは、なぜ RL がうまくいかないのか』で書いたように、RL がつまずいているのは細かいフィードバックが得られないからです。コードは、まさにフィードバックがもっとも安く手に入る分野です。
そしてコーディングそのものは、ほとんど何でもできます。違いは条件がそろっているかどうかだけです。ほとんど上限のないものなのです。
専門の研究はどこへ向かうのか
ですから私の結論はこうです。専門の研究はこれからも残るかもしれませんが、どれも強力なコーディングエージェントの基盤モデルに追い越されていくでしょう。そうした研究はなお存在するかもしれません。しかし、今日のエキスパートシステムや単独の画像分類モデルと同じように、実際に使われることはまれになります。いざ実用となれば、ある専門的な方法が本当にずっと安上がりでもない限り、人々は基盤モデルを使うでしょう。
LLM はかつて入力を統一し、LLM 以前の時代のさまざまな方向を一つにまとめました。コーディングエージェントはいま出力を統一し、今日のさまざまな専門の方向に対して、同じことをもう一度しています。
参考文献
- Ilya Sutskever, An Observation on Generalization, Simons Institute, 2023.
- Jack Rae, Compression for AGI, Stanford MLSys Seminar, 2023.
- Yaodong Yu et al., White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?, JMLR 2024.
- Yuzhen Huang et al., Compression Represents Intelligence Linearly, COLM 2024.
- Grégoire Delétang et al., Language Modeling Is Compression, ICLR 2024.
- Richard Sutton, The Bitter Lesson, 2019.
- Ori Yoran et al., The KoLMogorov Test: Compression by Code Generation, ICLR 2025.
- Marcus Hutter, Hutter Prize(2006 年から).