近日，中国科学院合肥物质院智能所丁增辉研究员联合加州大学等团队，在大语言模型强化学习与推理可靠性方向取得两项重要突破：首次从因果信息论角度严格证明了过程奖励（PRM）相比于结果奖励模型（ORM）的优势，并提出大模型强化评测基准体系——棱镜基准OPG-D3。两项成果从类脑信息处理与认知控制的角度，为理解模型推理行为的可靠性提供了新的理论框架和评测范式，已被国际自然语言处理领域顶级会议ACL 2026接收发表。
在Main Conference论文中，团队首次从因果信息论角度严格证明了过程奖励（PRM）相比于结果奖励模型（ORM）的优势。在基于结果奖励的强化学习下，模型会天然地偏好学习训练数据中的表面统计相关性，而非真正的因果推理链。这一现象与人类认知中的“启发式捷径”高度相似——大脑在面对复杂问题时，也倾向于调用低能耗的联想记忆而非费力的逻辑推演。受此启发，团队将过程奖励模型（PRM）类比为前额叶皮层对推理步骤的在线监控机制：通过逐步骤的稀疏奖励信号，PRM能够像认知控制一样，对每一步推理施加约束，抑制“走捷径”的倾向，从而引导模型逐步构建更稳健的因果链条。论文进一步证明，单纯扩大同质数据规模无法从根本上消除这一脆弱性，唯有对推理过程施加结构化监督，才能实现从“答案匹配”到“因果掌握”的质变。
在Findings论文中，团队首次提出大模型强化评测基准体系——棱镜基准OPG-D3 .系统剖析了当前强化学习评测基准的固有局限，提出了Oracle Performance Gap（OPG） 指标——衡量模型在训练集上训练与直接在测试集上训练的性能差异。实验显示，在MATH、GSM8K、HeadQA、DeepScaler等主流基准上，强化学习模型的OPG近乎为零，表明当前训练-测试划分可能严重低估了模型的泛化失败风险。团队进一步引入涵盖难度测试、泛化测试和反事实扰动测试为核心的基准框架OPG-D3，可针对性衡量当前模型在跨分布、规则突变等场景下性能表现，陌生情境下的泛化能力。该研究为构建面向真实世界“认知压力”的下一代世界模型评测基准提供了可操作的设计原则和诊断工具。
两项研究共同构成了大模型训练推理和评测创新体系：模型推理的可靠性不仅取决于数据量和参数规模，更依赖于学习目标与认知控制结构的匹配程度。团队将强化学习中的“结果-过程”矛盾上升为计算理论层面的一般性问题，所提出的因果信息论边界的棱镜基准OPG-D3 ，为后续世界模型评测提供了可验证、可比较的理论参照系。
该系列工作受到国家重点研发计划、安徽省重大科技专项等资助。智能所在读博士研究生陈子涵为两篇论文第一作者，丁增辉研究员为通讯作者。
ACL（Annual Meeting of the Association for Computational Linguistics）是计算语言学与自然语言处理领域历史最悠久、影响力最大的国际顶级会议，也是中国计算机学会（CCF）推荐的A类学术会议。ACL 2026 是第 64 届国际计算语言学协会年会，已于 2026 年 7 月 2 日至 7 月 7 日在美国加州圣地亚哥举行。
文章链接：https://aclanthology.org/2026.acl-long.925/
文章链接：https://aclanthology.org/2026.findings-acl.769/
图1 结果奖励诱导捷径与过程监督纠正机制示意图
图2 当前大语言模型强化学习评测基准局限性示意图
