Yanjun Chen 陈彦筠陳彦筠

香港理工大学 コンピューティング学科 博士候補者。

prof_pic.jpg

Yanjun Chen 陈彦筠陳彦筠

博士候補者 · PolyU

yan‑jun.chen@connect.polyu.hk シンガポール Google Scholar GitHub X ORCID 履歴書 小紅書（RedNote） bilibili Zhihu（知乎） WeChat：升云迹

香港理工大学 コンピューティング学科の博士候補者で、Wenjie Li (Maggie) 教授と Wei Zhang 教授の指導のもと、東方理工（EIT、寧波）との共同育成プログラムに参加しています。現在、Microsoft Research Asia（シンガポール）のリサーチインターンでもあります。

強化学習において、モデルは訓練できる。モデルを訓練する環境は、まだできない。私はその環境を、モデルと同じように訓練できるものにしたい。そしてそれによって、AI の到達点を引き上げたいのです。

研究内容

モデルの周りの構成要素まで訓練できるようにするには、まず、それらが訓練の中で実際に何をしているのか、そして一歩ごとの価値をどの信号なら正確に言えるのかを知る必要がある。

RLHF における reward model の精度と訓練結果。 reward model は訓練環境の中で最も典型的な構成要素で、ふつうは精度で評価される。しかし、中程度の精度の reward model のほうが最も精度の高いものより良い言語モデルを訓練するので、構成要素の価値は訓練の内側で判断する必要がある。

The Accuracy Paradox in RLHF: When Better Reward Models Don’t Yield Better Language Models (EMNLP 2024).

プリンストンの What Makes a Reward Model a Good Teacher?（NeurIPS 2025）は冒頭でこの発見を引いている。ACL 2025 のチュートリアル Synthetic Data in the Era of LLMs でも、スライド一枚を割いて取り上げられた。

LLM agent チームの厳密な credit。 LLM agent のチームで各メッセージの価値はこれまで主に予測されてきたが、チームが共有コンテキストを通じてやり取りし、下流の agent が読むものがすべて記録（trace）に書き込まれるなら、記録がそのまま状態になる。このとき一つのメッセージを差し替えて最後まで実際に走らせれば、その credit は厳密に求まる。LLM にとって環境の多くはコンテキストとして届く（検索されたテキスト、ツールの返り値、プロンプト）ので、同じ方法が次に向かう先は、こうした構成要素にも credit を割り当てることだ。

The Trace Is the State: Exact Credit Assignment for LLM Agent Teams (arXiv:2603.06859, in submission).

action shaping が policy に吸収されるとき。 reward shaping には、ポテンシャルに基づく項を取り除けることを保証する定理があるが、action channel 上の同じ実践（訓練時に加えるオフセット）にはない。訓練可能な policy は、自分の出力層が正確に再現できるオフセットを吸収し、吸収された後に外してもリターンはほとんど変わらない。

Action Shaping: Policies Absorb What They Can Express (arXiv:2609.32752, in submission).

これから

目指す先は、モデルとともに学ぶ環境です。言語から身体性エージェントへ。そこへ至る道は credit assignment（貢献度の割り当て）にあります。credit は agent の境界で止まるべきではない。 信頼できる学習信号がモデルの周りの構成要素にまで届いたとき、環境は学び始めることができます。

Xiaoyu Shen 先生と Dawei Zhu 先輩から受けた継続的なご指導とお力添えに深く感謝いたします。私の研究との向き合い方の多くは、お二人からの影響によるものです。

お知らせ

2026年9月28日 Microsoft Research Asia（シンガポール）でリサーチインターンを開始。
2026年9月26日 Action Shaping: Policies Absorb What They Can Express を arXiv:2609.32752 で公開。
2026年9月24日 FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control が NeurIPS 2026 に採択（共著）。
2026年8月20日 Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning が EMNLP 2026 Findings に採択（共著）。
2026年6月24日 香港理工大学の博士候補者資格審査に合格しました。論文題目は Towards Efficient Reinforcement Learning via Environment Measurement and Shaping です。
2026年5月22日 PolyU Micro Fund 2025/26 Cohort 2（賞金 HK$20,000）にショートリスト入り、HKSTP Ideation Programme に条件付きで内定。
2026年3月6日 The Trace Is the State: Exact Credit Assignment for LLM Agent Teams を arXiv:2603.06859 で公開。

主要論文

  1. arXiv
    Action Shaping: Policies Absorb What They Can Express
    Yanjun Chen, Jinghan Wang, Xiaoyu Shen, and 2 more authors
    arXiv preprint arXiv:2609.32752, 2026
    In submission.
    arXiv Bib
  2. arXiv
    The Trace Is the State: Exact Credit Assignment for LLM Agent Teams
    Yanjun Chen, Yirong Sun, Hanlin Wang, and 5 more authors
    arXiv preprint arXiv:2603.06859, 2026
    In submission.
    arXiv Bib Code
  3. EMNLP Findings
    Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
    Xinghao Chen, Anhao Zhao, Heming Xia, and 7 more authors
    In Findings of the Association for Computational Linguistics: EMNLP 2026, 2026
    arXiv Bib Code
  4. ACL Findings
    Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning
    Xinghao Chen, Zhijing Sun, Wenjin Guo, and 8 more authors
    In Findings of the Association for Computational Linguistics: ACL 2025, 2025
    arXiv Bib Code
  5. EMNLP
    The Accuracy Paradox in RLHF: When Better Reward Models Don’t Yield Better Language Models
    Yanjun Chen, Dawei Zhu, Yirong Sun, and 3 more authors
    In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2024
    arXiv Bib Code

教育・学会活動

教育 （ティーチング・アシスタント、香港理工大学）

2025/26 S2 COMP5221  Software Project Management
2025/26 S1 COMP1002  Computational Thinking and Problem Solving
2024/25 S2 COMP1411  Introduction to Computer Systems
2024/25 S1 COMP5567  Distributed Algorithms and Protocols for Blockchains

査読

2026 ACL Rolling Review (ARR)
2026 IEEE Transactions on Neural Networks and Learning Systems (TNNLS)