.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f){kind=small}
ARTICLE SIGNAL
后训练让大模型变轴？PSN参数扰动打破瓶颈，最新AI前沿解读
最新NeurIPS前沿研究,大模型后训练机制解析,PSN参数空间噪声打破强化学习死锁,提升LLM多次采样探索力与泛化能力,AI资讯解读
type
status
date
slug
summary
tags
category
icon
password
网址
伴随着以DeepSeek-R1等为代表的推理模型火爆出圈，强化学习（RL）在提升大模型逻辑推理能力上的惊人潜力已成为全球AI研发的核心聚焦。然而，正如许多关注大模型前沿动态的研究者所观察到的那样，经过强化学习大量微调的模型，往往会出现一种奇怪的“变轴”现象：在面对已知模式的题目时，模型单次作答的命中率（pass@1）显著提高；可一旦遇到极具挑战的未知难题，无论你让它尝试多少次（如pass@256），它却翻来覆去只会在同一条死胡同里打转，探索多样性急剧萎缩。
为了解决这一行业难题，来自上海创智学院、复旦大学、上海人工智能实验室以及香港中文大学的联合研究团队提出了创新的解决方案——PSN-RLVR（基于参数空间噪声的可验证奖励强化学习）。该研究已被顶级学术会议NeurIPS接收。这项研究表明，仅需在推理开始前给模型参数加入一剂微妙的“噪声扰动”，就能如同给模型临时换了一副“思考脑子”，唤醒其原本被压抑的解题探索能力。作为关注AI资讯与AGI演进的从业者，紧跟这类底层算法革新尤为关键。想要获取更多实时的前沿AI新闻、模型技术解读与实践灵感，欢迎访问专业的 AI门户。
强化学习的“阿喀琉斯之踵”：模型为何越训越“轴”？
在可验证奖励强化学习（RLVR，如GRPO算法）的后训练过程中，模型的优化目标通常高度聚焦于提升正确答案的产出概率。这种机制让模型迅速锁定了收益最高的那条解题捷径，但代价也十分惨重——多样性坍缩。
很多算法工程师在评测LLM时经常发现一个反直觉的现象：基线模型虽然单次做题成功率不高，但通过多次采样，往往能凭微弱的概率灵光一闪找到冷门解法；而经过重度RL微调的模型，虽然单次作答显得非常稳健，但给予其256次采样机会时，解出题目的总数反而不如初始模型。
业界此前也尝试过多种增加探索性的补救措施：
* 调高采样温度（Temperature）或Top-p值，但这往往只是在逐个Token生成时强行引入随机性，容易导致逻辑前后矛盾、幻觉频发。
* 在损失函数中强行引入熵正则化或奖励多样性目标，然而优化难度极高，极易破坏推理的自洽性。
* 扩充提示词示范（Prompt工程）与海量新题库，但这不仅极度依赖高成本的人工与计算资源，也无法从根本上解决模型思维僵化的问题。
PSN核心机制：给模型暂时换一副“参数脑子”
PSN-RLVR从一个截然不同的维度切入探索问题：既然Token级别的随机容易让模型语无伦次，何不直接在参数空间施加扰动？
研究团队将噪声引入到大语言模型内部的前馈神经网络（FFN/MLP层）中。其核心区别在于：在模型开始生成回答的一瞬间加入扰动，并让这一特定扰动贯穿整条推理轨迹的始终。
这种做法极其巧妙。它不是在每个字输出时随机掷骰子，而是从源头上微调了模型的“思维倾向”与“认知习惯”，让模型以一套略微不同的逻辑偏好连贯地把题做完。这就像是一个平时习惯用代数解题的思考者，突然被赋予了优先从几何图形切入的直觉，并在整个推导中保持自洽。
为了让这套理论在GRPO框架中稳定运行，研究团队配套设计了两项关键技术：
- 截断重要性采样（TIS）：生成回答的是“带噪模型”，而真正需要迭代更新的是“纯净模型”。为了填补两者分布差异的鸿沟，TIS算法能够根据概率密度比精确调整样本权重，并对异常权重设置上限，防止训练过程被极端离群样本带偏。
- 自适应噪声调度器：面对不同难度的题目，探索力度不应一成不变。系统会先用未加噪模型快速进行两次试答，评估模型当前回答的收敛度和预测熵。如果发现模型陷入迷茫或过度雷同，就会动态增强噪声扰动；反之则减小干扰，保证易题的稳定收敛。
实验爆发：数学飞跃与惊艳的分布外（OOD）泛化
在Qwen2.5-Math-7B、Qwen3-4B-Base以及Llama-3.1-8B等主流开源模型上的实测结果表明，PSN带来了跨越式的探索性能跃升。
在AIME 2024、AIME 2025、AMC 2023等高难度数学奥赛基准测试中，自适应PSN版本使多次采样的pass@256成功率大幅提升了近5个百分点，而单次作答的pass@1水准完全没有受到损伤。以Qwen3-4B-Base为例，标准GRPO训练后的pass@256平均分仅为70.70%，而在引入PSN噪声后直接跃升至76.10%。
更为惊喜的是，这种探索能力表现出了强大的分布外（OOD）迁移性。虽然模型主要是在数学数据上接受后训练，但在完全没有见过的科学问答基准（GPQA Diamond）以及代码编写评测（LiveCodeBench）中，PSN训练出的模型依然全方位碾压基线。这一现象强有力地证明：参数扰动激活的不是特定题目的记忆，而是模型通用的发散思考机制。
此外，该方案具有极佳的兼容性，不仅能单独部署，还可以与修改优化目标的Pass@k训练框架无缝叠加，在原本的高分基线上再次迎来显著拔高。
突破思维盲区：从死胡同中找到全新的解题视角
为了验证模型究竟是真正想出了新思路，还是单纯提高了原有套路的命中率，研究人员通过定性分析揭示了震撼的一幕。
在AIME 2024的一道复杂组合几何题中（关于正八边形顶点的红蓝两色旋转重合问题），普通的强化学习模型无论采样数百次，都会固执地钻进“图案必须呈现几何旋转对称”的死胡同，过早排除了所有非对称的可能性。而引入PSN的模型，则开辟出了全新的切入点——它从“旋转后的蓝点集合与原蓝点集合交集为空”这一互斥集合的视角出发，成功找出了此前被死板逻辑彻底过滤掉的正确答案。
通过ReCEval指标对长文本推理链条的前后自洽性进行评估，PSN-GRPO在保持步骤严谨性、论点互撑性方面同样领先基线。这意味着，模型的多样化并没有伴随胡说八道，而是获得了高质量的思维跃迁。
总结与前沿展望
在大模型竞技逐渐由纯粹堆砌预训练算力转向精细化后训练的今天，如何让人工智能摆脱“越训越轴、模式固化”的瓶颈，是实现更高层次AGI的必经之路。PSN-RLVR以小巧精悍的参数扰动构想，为强化学习探索机制提供了崭新的范式。未来，这类机制有望深度融入到代码自主编写、前沿科学猜想验证等更具创造性的领域中。
无论是追踪诸如openai、chatGPT、claude等闭源领军者的演进节奏，还是挖掘前沿开源算法与Prompt工程的变现价值，及时掌握最深度的技术动态都是开发者与创业者的核心护城河。想要阅读更多高价值的AI日报与前沿洞察，寻找落地商机与AI变现途径，敬请持续关注 AI资讯门户，把握通用智能时代的每一次浪潮跃迁。
Loading...