LLM 统一了输入,coding 统一了输出

很多人把 coding agent 看成一个写代码的工具,一个更强的编程助手。我越来越觉得,它的意义远不止于此。coding 这个范式之于今天,就像当年 LLM 之于前 LLM 时代的那些研究,一个通用的东西,把一大堆专门的方向收归一统。

如果用一句话概括我的看法,那就是 LLM 统一了输入,coding 统一了输出。前一次大一统让模型什么都能读懂,这一次让模型什么都能做出来。

两次大一统,统一的是两头

翻译问答写作推理
文本一个模型代码
一幅画3D 场景一段视频机器人指令
LLM 统一了输入进来的都是文本,模型什么都能读懂
coding 统一了输出出去的都是能运行的程序,模型什么都能做出来
前一次大一统打通了理解这一端,这一次打通的是输出这一端。

要说清楚这一点,得先从「压缩即智能」讲起。

压缩即智能

Ilya Sutskever 等人很早就在各种场合讲过「压缩即智能」。我自己的理解是,如果一个实体,比如一个神经网络或者一个人脑,单靠自己就能做很多不一样的任务、泛化到各种各样的领域,那它一定掌握了某些本质的规律。正是这些本质的规律,让它能用一个实体干这么多事。

反过来也成立。正因为让同一个实体去做不同领域的任务,说白了就是用一个模型去训练各种任务,用一种好的形式把这些东西都压缩进同一个实体,它才被迫学到这些本质。分开学,每一块都可以靠记住特例蒙混过去;放在一起学,只有找到它们共同的规律,才压得下。

Ilya 在 2023 年的一次报告里正是这么解释无监督学习的。他说,好的压缩器会找出不同数据之间共享的结构,所以把很多数据放在一起压,比分开压学得更深。Jack Rae 同年也讲过,基座模型的目标就是对有用的信息做尽可能好的无损压缩。

对 LLM 来说,这个「好的形式」就是 Transformer 和 attention 架构,以及预训练、中训练、后训练这一整套流程。预训练把各种文本里的知识和信息吸进一个模型,让它掌握的是通用的知识,而不是某个领域专有的知识。马毅团队的工作还从「把数据压缩」这个目标出发,一层层推导出了 Transformer 的结构,可见 attention 本身就可以理解为在做压缩。

模型的大小当然也重要,但那更偏工程。明白了这个道理,就可以把这个实体不断做大,让它学到更多,压得更好,更接近知识背后的规律。港科大与腾讯的研究测了几十个公开模型,发现模型压缩数据压得越好,各项能力就越强,两者几乎是一条直线。

做全,反而做得更专

这是 LLM 对前 LLM 时代人工智能的一次全方位降维打击。它不做专,而做全,而这个「全」本身就让它做得更专。

DeepMind 的一项研究给了一个很直观的例子。一个主要用文本训练的语言模型,拿去压缩图像和语音,压得比专门为图像设计的 PNG、专门为音频设计的 FLAC 还要好。通才在专才的地盘上赢了专才。

主要用文本训练的语言模型,压缩图像和语音都赢了专用的格式

图像(ImageNet 图块)
语言模型 Chinchilla 70B43.4%
PNG,专为图像设计58.5%
语音(LibriSpeech)
语言模型 Chinchilla 70B16.4%
FLAC,专为音频设计30.3%

压缩后占原始大小的比例,越小越好。

数据来自 Delétang 等,Language Modeling Is Compression(ICLR 2024)。

这和 Sutton 说的「苦涩的教训」是一回事。人类总想用自己的理性去构建规则,构建一个完美的模型,但最后无一例外都会出问题。Sutton 回顾七十年的 AI 研究,结论是长期胜出的总是那些能吃下更多算力的通用方法,主要是学习和搜索;把人的理解硬编码进系统,短期有效,长期反而拖后腿。

前 LLM 时代,大家设计各种各样的网络结构、各种各样的流程去刷分,可这些都不如 LLM。LLM 一来,把这些模型、这些范式全部替代了。

同样的事,又发生了一次

到了 coding agent 的时代,这件事又发生了一次,而且更彻底。

看看最新模型的表现。我亲眼看到,Fable 5.2 可以完全用写代码的方式,一笔一画地画出画来,画出的效果和人类的绘画几乎一样;也可以用代码做出一整个 3D 场景,做出视频。以前这是难以想象的。想生成视频,就得有一个专门的视频生成模型,比如 diffusion 模型。现在不用了,单靠 coding 这一个范式,几乎所有事情都能做好,包括机器人控制。最近甚至有传闻,说 OpenAI 有模型能以很低的延迟做好机器人控制。

这些一而再、再而三地说明同一件事。越是往精细里做,把模型拆成若干份、各自去做专门的事,最后越会被收归一统。到头来大家会发现,不如用一个模型去做。

有人会说,一个模型太大,做这些事太慢。但速度可以靠优化解决,模型可以被优化得很快,能力几乎不下降。这是工程问题,不是范式问题。

LLM 统一了输入,coding 统一了输出

为什么是代码,而不是别的什么?我觉得最关键的一点,是这两次大一统统一的是两头。

LLM 统一的是输入。它把所有任务都变成「文本进、文本出」,不管是翻译、问答、写作还是推理,进来的都是同一种东西,模型用同一套参数去理解。这统一了理解这一端,模型什么都能读懂。

但只有理解还不够。LLM 的输出只是文字,文字本身碰不到世界。它可以描述一幅画,却画不出来;可以讲清楚怎么控制机器人,却动不了一根关节。所以在 LLM 之外,大家仍然要为画图、做视频、控制机器各自训练专门的模型,输出这一端始终是分裂的。

代码补上的正是这一端。代码能表达任何计算,又能被执行,于是模型的输出不再只是文字,而是能对世界起作用的动作。一幅画、一个 3D 场景、一段视频、一条机器人指令,都是一段程序跑出来的结果。各种专门的输出模型,被收进了「写一段程序」这一个动作里。

输出这一端,从各训各的模型,变成写一段程序

以前

LLM→文字
画图模型→图
视频模型→视频
控制模型→机器人动作

文字本身碰不到世界,其余每一种输出都要一个专门的模型。

现在

一个模型↓写一段程序↓运行↓
一幅画3D 场景一段视频机器人指令
各种专门的输出模型,被收进了「写一段程序」这一个动作里。

两次加起来,一个模型从读到做就打通了。前一次大一统让模型什么都能懂,这一次让模型什么都能做。

学习加搜索:苦涩的教训最纯粹的形态

这也正好合上了苦涩的教训。Sutton 说长期胜出的是学习和搜索。预训练是学习;coding agent 写代码、运行、看报错、再改,是搜索。coding agent 是这两者合在一起,可以说是苦涩的教训最纯粹的形态。

用代码生成,本身就是在压缩

还有一层原因是,用代码生成,本身就是在压缩。在压缩理论里,一段数据的复杂度,定义就是「能生成它的最短程序」有多长,这叫 Kolmogorov 复杂度。所以,模型用代码画出一幅画,就是在给这幅画写一份压缩描述。coding 这个范式不只是「像」LLM 那样在压缩,它就是压缩在输出这一端最直接的形态。前面讲的压缩即智能,和这里讲的 coding,其实是同一件事的两面。

代码生成的是过程,不是像素

也许有人会觉得,代码只适合画图表、画几何图形这类有结构的东西,真实的绘画、照片太复杂,没有比它本身更短的程序。但这低估了代码。

代码生成的是过程,而不是像素。人的一幅画是一笔一笔画出来的,它最短的程序不是一张像素表,而是那一串笔触。一张真实的照片,是光照和物体按物理规律造出来的,一套光线追踪加一份场景描述,本身就是一段程序。真正压不掉的,只有那些随机的细节,而随机细节并不需要逐点复现,只要统计上对就行,代码里调用一个随机数就够了。

这幅画,是一段程序一笔一笔画出来的

程序

这段程序
逐像素存这幅画(720×450,每个像素 3 字节)
画里没有存任何一个像素,存的是怎么画:先铺天空,再画太阳、远山和水面,最后是近处的树。笔触的位置和抖动来自随机数,换一组随机数,细节全变了,画还是那幅画。字节数只算图里这段程序,不算「画一笔」这个基本动作。

世界上的东西,几乎都是由某个过程产生的。凡是有生成过程的,就有一段程序能把它写出来。这就是为什么我说 coding 几乎没有上限。

这件事进展得非常快。2025 年 Meta 发表过一个测试,直接把压缩做成编程题,给模型一段音频、文本或 DNA 数据,让它写出能生成这段数据的最短程序。当时的结论是,这对那一代最强的模型都极其困难。一年多以后,模型已经能用代码画出接近人类的画了。

代码还是最好的教材

coding 范式还有一个常被忽略的好处,就是非常适合收集数据,尤其是从人类那里蒸馏来的数据。

像生成视频这种能力,人类没法直接教。我不知道该怎么告诉一个模型「视频应该这样生成」。但如果换成代码的形式,我就可以教它,教它怎么用代码生成视频,怎么用代码画画,怎么用代码操控一台机器。几乎任何 coding 能做的事,都能这样教。人的手艺,经过代码这一层,就变成了模型读得懂、学得会的东西。

而且代码能执行、能验证,对不对,运行一下就知道。这让它也成了 RL 最容易拿到奖励的地方。我在《为何国产大模型训不好 RL?》里说过,RL 卡在拿不到细致的反馈;代码恰恰是反馈最便宜的领域。

而 coding 本身几乎可以做任何事情,差别只在条件够不够。它是一个几乎没有上限的东西。

专门的研究会去哪里

所以我的结论是,以后专门的研究可能依然会存在,但都会被强大的 coding agent 基座模型超越。这些研究也许还在,但就像今天的专家系统、单独的图像分类模型一样,很少再被拿来实际用。真要落到实际,大家会用基座模型,除非某个专门的方案真的便宜很多。

LLM 当年统一了输入,把前 LLM 时代的各个方向收归一统;coding agent 正在统一输出,对今天的各个专门方向再做一次。

参考

  • Ilya Sutskever, An Observation on Generalization, Simons Institute, 2023.
  • Jack Rae, Compression for AGI, Stanford MLSys Seminar, 2023.
  • Yaodong Yu et al., White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?, JMLR 2024.
  • Yuzhen Huang et al., Compression Represents Intelligence Linearly, COLM 2024.
  • Grégoire Delétang et al., Language Modeling Is Compression, ICLR 2024.
  • Richard Sutton, The Bitter Lesson, 2019.
  • Ori Yoran et al., The KoLMogorov Test: Compression by Code Generation, ICLR 2025.
  • Marcus Hutter, Hutter Prize(2006 起).