Yanjun Chen 陈彦筠

香港理工大学 计算学系 博士生。

prof_pic.jpg

Yanjun Chen 陈彦筠

博士生 · 理大

yan‑jun.chen@connect.polyu.hk 新加坡 Google Scholar GitHub X ORCID 简历 小红书 B站 知乎 公众号：升云迹

我是香港理工大学 计算学系的博士生，师从 Wenjie Li (Maggie) 教授与 Wei Zhang 教授，并在东方理工（EIT，宁波）联合培养。目前在微软亚洲研究院（新加坡）做研究实习。

在强化学习里，模型是可以训练的。训练模型的环境，还不行。我想让环境也变得可训练，像模型一样，并以此把 AI 的上限抬上去。

研究方向

要让模型周围的组件也能训练，先得知道它们在训练里究竟起什么作用，以及什么信号能精确告诉我们每一步值多少。

RLHF 中 reward model 的准确率与训练效果。 reward model 是训练环境里最典型的组件，通常按准确率评判。但中等准确率的 reward model 反而比最准的训出更好的语言模型，所以组件值多少，得放进训练里看。

The Accuracy Paradox in RLHF: When Better Reward Models Don’t Yield Better Language Models (EMNLP 2024).

普林斯顿的 What Makes a Reward Model a Good Teacher?（NeurIPS 2025）在开篇引用了这一发现；ACL 2025 教程 Synthetic Data in the Era of LLMs 用一整页讲了它。

LLM agent 团队的精确 credit。 LLM agent 团队里每条消息值多少，过去大多靠预测；但当团队通过共享上下文交流、下游 agent 读到的一切都写进记录（trace）时，记录就是状态。这时换掉一条消息、真实续跑到结束，它的 credit 就能精确算出。对 LLM 来说，环境大多以上下文的形式到达模型（检索到的文本、工具返回、提示词），同一个办法接下来指向的正是这些组件：给它们也分配 credit。

The Trace Is the State: Exact Credit Assignment for LLM Agent Teams (arXiv:2603.06859, in submission).

action shaping 何时被 policy 吸收。 reward shaping 有定理保证基于势函数的项可以拿掉，action channel 上的同类做法（训练时加的偏移）没有。可训练的 policy 会吸收它自己输出层能精确复现的偏移，吸收后拿掉，回报几乎不变。

Action Shaping: Policies Absorb What They Can Express (arXiv:2609.32752, in submission).

往哪里去

终局：环境与模型一起学习，从语言走向具身智能体。去那里的路，经过 credit assignment（信用分配）：credit 不该停在 agent 的边界上。 当可信的学习信号能到达模型周围的组件，环境就能开始学习。

感谢 Xiaoyu Shen 老师与 Dawei Zhu 师兄一直以来的指导与帮助，他们在很多方面塑造了我做研究的方式。

近况

2026年9月28日 加入微软亚洲研究院（新加坡），担任研究实习生。
2026年9月26日 Action Shaping: Policies Absorb What They Can Express 发布于 arXiv:2609.32752。
2026年9月24日 FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control 被 NeurIPS 2026 接收（共同作者）。
2026年8月20日 Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning 被 EMNLP 2026 Findings 接收（共同作者）。
2026年6月24日 通过了香港理工大学的博士资格审核，论文题目为 Towards Efficient Reinforcement Learning via Environment Measurement and Shaping。
2026年5月22日 入围 PolyU Micro Fund 2025/26 第二轮（HK$20,000 现金奖励），并获得 HKSTP Ideation Programme 的有条件录取。
2026年3月6日 The Trace Is the State: Exact Credit Assignment for LLM Agent Teams 发布于 arXiv:2603.06859。

代表性论文

  1. arXiv
    Action Shaping: Policies Absorb What They Can Express
    Yanjun Chen, Jinghan Wang, Xiaoyu Shen, and 2 more authors
    arXiv preprint arXiv:2609.32752, 2026
    In submission.
    arXiv Bib
  2. arXiv
    The Trace Is the State: Exact Credit Assignment for LLM Agent Teams
    Yanjun Chen, Yirong Sun, Hanlin Wang, and 5 more authors
    arXiv preprint arXiv:2603.06859, 2026
    In submission.
    arXiv Bib Code
  3. EMNLP Findings
    Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
    Xinghao Chen, Anhao Zhao, Heming Xia, and 7 more authors
    In Findings of the Association for Computational Linguistics: EMNLP 2026, 2026
    arXiv Bib Code
  4. ACL Findings
    Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning
    Xinghao Chen, Zhijing Sun, Wenjin Guo, and 8 more authors
    In Findings of the Association for Computational Linguistics: ACL 2025, 2025
    arXiv Bib Code
  5. EMNLP
    The Accuracy Paradox in RLHF: When Better Reward Models Don’t Yield Better Language Models
    Yanjun Chen, Dawei Zhu, Yirong Sun, and 3 more authors
    In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2024
    arXiv Bib Code

教学与服务

教学 （助教，香港理工大学）

2025/26 S2 COMP5221  Software Project Management
2025/26 S1 COMP1002  Computational Thinking and Problem Solving
2024/25 S2 COMP1411  Introduction to Computer Systems
2024/25 S1 COMP5567  Distributed Algorithms and Protocols for Blockchains

审稿

2026 ACL Rolling Review (ARR)
2026 IEEE Transactions on Neural Networks and Learning Systems (TNNLS)