很多人把 coding agent 看成一个写代码的工具,一个更强的编程助手。我越来越觉得,它的意义远不止于此。coding 这个范式之于今天,就像当年 LLM 之于前 LLM 时代的那些研究,一个通用的东西,把一大堆专门的方向收归一统。
如果用一句话概括我的看法,那就是 LLM 统一了输入,coding 统一了输出。前一次大一统让模型什么都能读懂,这一次让模型什么都能做出来。
两次大一统,统一的是两头
要说清楚这一点,得先从「压缩即智能」讲起。
压缩即智能
Ilya Sutskever 等人很早就在各种场合讲过「压缩即智能」。我自己的理解是,如果一个实体,比如一个神经网络或者一个人脑,单靠自己就能做很多不一样的任务、泛化到各种各样的领域,那它一定掌握了某些本质的规律。正是这些本质的规律,让它能用一个实体干这么多事。
反过来也成立。正因为让同一个实体去做不同领域的任务,说白了就是用一个模型去训练各种任务,用一种好的形式把这些东西都压缩进同一个实体,它才被迫学到这些本质。分开学,每一块都可以靠记住特例蒙混过去;放在一起学,只有找到它们共同的规律,才压得下。
Ilya 在 2023 年的一次报告里正是这么解释无监督学习的。他说,好的压缩器会找出不同数据之间共享的结构,所以把很多数据放在一起压,比分开压学得更深。Jack Rae 同年也讲过,基座模型的目标就是对有用的信息做尽可能好的无损压缩。
对 LLM 来说,这个「好的形式」就是 Transformer 和 attention 架构,以及预训练、中训练、后训练这一整套流程。预训练把各种文本里的知识和信息吸进一个模型,让它掌握的是通用的知识,而不是某个领域专有的知识。马毅团队的工作还从「把数据压缩」这个目标出发,一层层推导出了 Transformer 的结构,可见 attention 本身就可以理解为在做压缩。
模型的大小当然也重要,但那更偏工程。明白了这个道理,就可以把这个实体不断做大,让它学到更多,压得更好,更接近知识背后的规律。港科大与腾讯的研究测了几十个公开模型,发现模型压缩数据压得越好,各项能力就越强,两者几乎是一条直线。
做全,反而做得更专
这是 LLM 对前 LLM 时代人工智能的一次全方位降维打击。它不做专,而做全,而这个「全」本身就让它做得更专。
DeepMind 的一项研究给了一个很直观的例子。一个主要用文本训练的语言模型,拿去压缩图像和语音,压得比专门为图像设计的 PNG、专门为音频设计的 FLAC 还要好。通才在专才的地盘上赢了专才。
主要用文本训练的语言模型,压缩图像和语音都赢了专用的格式
压缩后占原始大小的比例,越小越好。
这和 Sutton 说的「苦涩的教训」是一回事。人类总想用自己的理性去构建规则,构建一个完美的模型,但最后无一例外都会出问题。Sutton 回顾七十年的 AI 研究,结论是长期胜出的总是那些能吃下更多算力的通用方法,主要是学习和搜索;把人的理解硬编码进系统,短期有效,长期反而拖后腿。
前 LLM 时代,大家设计各种各样的网络结构、各种各样的流程去刷分,可这些都不如 LLM。LLM 一来,把这些模型、这些范式全部替代了。
同样的事,又发生了一次
到了 coding agent 的时代,这件事又发生了一次,而且更彻底。
看看最新模型的表现。我亲眼看到,Fable 5.2 可以完全用写代码的方式,一笔一画地画出画来,画出的效果和人类的绘画几乎一样;也可以用代码做出一整个 3D 场景,做出视频。以前这是难以想象的。想生成视频,就得有一个专门的视频生成模型,比如 diffusion 模型。现在不用了,单靠 coding 这一个范式,几乎所有事情都能做好,包括机器人控制。最近甚至有传闻,说 OpenAI 有模型能以很低的延迟做好机器人控制。
这些一而再、再而三地说明同一件事。越是往精细里做,把模型拆成若干份、各自去做专门的事,最后越会被收归一统。到头来大家会发现,不如用一个模型去做。
有人会说,一个模型太大,做这些事太慢。但速度可以靠优化解决,模型可以被优化得很快,能力几乎不下降。这是工程问题,不是范式问题。
LLM 统一了输入,coding 统一了输出
为什么是代码,而不是别的什么?我觉得最关键的一点,是这两次大一统统一的是两头。
LLM 统一的是输入。它把所有任务都变成「文本进、文本出」,不管是翻译、问答、写作还是推理,进来的都是同一种东西,模型用同一套参数去理解。这统一了理解这一端,模型什么都能读懂。
但只有理解还不够。LLM 的输出只是文字,文字本身碰不到世界。它可以描述一幅画,却画不出来;可以讲清楚怎么控制机器人,却动不了一根关节。所以在 LLM 之外,大家仍然要为画图、做视频、控制机器各自训练专门的模型,输出这一端始终是分裂的。
代码补上的正是这一端。代码能表达任何计算,又能被执行,于是模型的输出不再只是文字,而是能对世界起作用的动作。一幅画、一个 3D 场景、一段视频、一条机器人指令,都是一段程序跑出来的结果。各种专门的输出模型,被收进了「写一段程序」这一个动作里。
输出这一端,从各训各的模型,变成写一段程序
以前
文字本身碰不到世界,其余每一种输出都要一个专门的模型。
现在
两次加起来,一个模型从读到做就打通了。前一次大一统让模型什么都能懂,这一次让模型什么都能做。
学习加搜索:苦涩的教训最纯粹的形态
这也正好合上了苦涩的教训。Sutton 说长期胜出的是学习和搜索。预训练是学习;coding agent 写代码、运行、看报错、再改,是搜索。coding agent 是这两者合在一起,可以说是苦涩的教训最纯粹的形态。
用代码生成,本身就是在压缩
还有一层原因是,用代码生成,本身就是在压缩。在压缩理论里,一段数据的复杂度,定义就是「能生成它的最短程序」有多长,这叫 Kolmogorov 复杂度。所以,模型用代码画出一幅画,就是在给这幅画写一份压缩描述。coding 这个范式不只是「像」LLM 那样在压缩,它就是压缩在输出这一端最直接的形态。前面讲的压缩即智能,和这里讲的 coding,其实是同一件事的两面。
代码生成的是过程,不是像素
也许有人会觉得,代码只适合画图表、画几何图形这类有结构的东西,真实的绘画、照片太复杂,没有比它本身更短的程序。但这低估了代码。
代码生成的是过程,而不是像素。人的一幅画是一笔一笔画出来的,它最短的程序不是一张像素表,而是那一串笔触。一张真实的照片,是光照和物体按物理规律造出来的,一套光线追踪加一份场景描述,本身就是一段程序。真正压不掉的,只有那些随机的细节,而随机细节并不需要逐点复现,只要统计上对就行,代码里调用一个随机数就够了。
这幅画,是一段程序一笔一笔画出来的
程序
世界上的东西,几乎都是由某个过程产生的。凡是有生成过程的,就有一段程序能把它写出来。这就是为什么我说 coding 几乎没有上限。
这件事进展得非常快。2025 年 Meta 发表过一个测试,直接把压缩做成编程题,给模型一段音频、文本或 DNA 数据,让它写出能生成这段数据的最短程序。当时的结论是,这对那一代最强的模型都极其困难。一年多以后,模型已经能用代码画出接近人类的画了。
代码还是最好的教材
coding 范式还有一个常被忽略的好处,就是非常适合收集数据,尤其是从人类那里蒸馏来的数据。
像生成视频这种能力,人类没法直接教。我不知道该怎么告诉一个模型「视频应该这样生成」。但如果换成代码的形式,我就可以教它,教它怎么用代码生成视频,怎么用代码画画,怎么用代码操控一台机器。几乎任何 coding 能做的事,都能这样教。人的手艺,经过代码这一层,就变成了模型读得懂、学得会的东西。
而且代码能执行、能验证,对不对,运行一下就知道。这让它也成了 RL 最容易拿到奖励的地方。我在《为何国产大模型训不好 RL?》里说过,RL 卡在拿不到细致的反馈;代码恰恰是反馈最便宜的领域。
而 coding 本身几乎可以做任何事情,差别只在条件够不够。它是一个几乎没有上限的东西。
专门的研究会去哪里
所以我的结论是,以后专门的研究可能依然会存在,但都会被强大的 coding agent 基座模型超越。这些研究也许还在,但就像今天的专家系统、单独的图像分类模型一样,很少再被拿来实际用。真要落到实际,大家会用基座模型,除非某个专门的方案真的便宜很多。
LLM 当年统一了输入,把前 LLM 时代的各个方向收归一统;coding agent 正在统一输出,对今天的各个专门方向再做一次。
参考
- Ilya Sutskever, An Observation on Generalization, Simons Institute, 2023.
- Jack Rae, Compression for AGI, Stanford MLSys Seminar, 2023.
- Yaodong Yu et al., White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?, JMLR 2024.
- Yuzhen Huang et al., Compression Represents Intelligence Linearly, COLM 2024.
- Grégoire Delétang et al., Language Modeling Is Compression, ICLR 2024.
- Richard Sutton, The Bitter Lesson, 2019.
- Ori Yoran et al., The KoLMogorov Test: Compression by Code Generation, ICLR 2025.
- Marcus Hutter, Hutter Prize(2006 起).