拒绝“熵崩塌”：SIREN为大模型精准导航，推理能力再升级 | AI资讯

type

status

date

slug

summary

在强化学习训练中，为了让模型不满足于已知的“标准答案”，研究者会鼓励它进行“探索”，即尝试更多样化的解题思路。最经典的方法是引入“熵正则化”，通过奖励模型输出的“不确定性”或“混乱度”（即熵），来防止其过早陷入局部最优。

然而，在拥有数十万词汇和数千步推理链的大模型世界里，这种简单粗暴的激励方式往往会走向两个极端，形成难以调和的“熵困境”：

熵崩塌 (Entropy Collapse)：当探索激励过弱时，模型会迅速变得“保守”，倾向于生成最安全、最常见的答案。就像一个只复习旧题的学生，面对新挑战时便束手无策。模型的思维多样性被扼杀，性能在训练初期就早早触顶，无法充分释放潜力。

熵爆炸 (Entropy Explosion)：反之，当探索激励稍强时，模型又会为了追求更高的“熵”而走向失控。它会开始胡言乱语，在推理过程中掺杂大量无意义的符号和混乱的逻辑。这是因为在庞大的词汇表中，将概率从“因此”这样的逻辑词分散到“#@$%”这类无意义符号上，能轻易地提高熵值。这种混乱会像滚雪球一样在长推理链中累积，最终导致整个输出语义崩坏。

问题的根源在于，传统的熵正则化是“无差别”的，它错误地假设所有词语、所有位置都同等重要。但事实上，一次高质量的推理，只有少数关键节点（如逻辑连接词、变量定义）需要创造性探索，而大部分内容（如语法结构）则需要保持稳定和确定。

为了解决这一难题，来自上海人工智能实验室和复旦大学的研究团队提出了选择性熵正则化方法（SIREN）。它不再是盲目地鼓励探索，而是通过三重精巧机制，为模型的探索行为装上了“精准导航系统”。

划定探索范围 (Top-p掩码)：首先，SIREN在每一步生成时，都将探索范围严格限制在一小部分最有可能的、语义合理的候选词中。这相当于告诉模型：“你可以自由发挥，但请在有意义的词语里选择。” 这从源头上杜绝了生成无意义符号的“熵爆炸”风险。

聚焦关键决策 (峰值熵掩码)：其次，SIREN能自动识别出推理链条中的“逻辑枢纽”——那些熵值天然较高、对推理走向起决定性作用的关键位置。它会将探索的激励集中在这些地方，鼓励模型在“提出假设”、“进行推断”等关键步骤上大胆尝试，而在其他填充性语句上保持稳定。这实现了对探索资源的“好钢用在刀刃上”。

稳定训练节奏 (自锚定正则化)：最后，SIREN的目标不是无限最大化熵，而是将其维持在一个健康的、动态的“黄金区间”。通过这种自锚定机制，探索强度始终处于可控范围内，既能保证充分探索，又不会导致训练过程失稳，完美避开了“熵崩塌”和“熵爆炸”的陷阱。

这套组合拳首次在RLVR框架中实现了对探索范围、位置和强度的三重精准控制，为训练更强大、更稳定的人工智能模型铺平了道路。

理论上的优雅必须通过实践来检验。实验结果表明，SIREN的效果极为出色。

在Qwen2.5-Math-7B等多个大模型上的测试显示，应用SIREN后，模型在多个高难度数学推理基准（如AIME）上的成绩获得了高达6.6%的显著提升。更重要的是，这种提升并非偶然，它在不同规模、不同架构的模型上都表现出稳定有效性。

深入分析发现，性能提升的根本原因正是探索模式的质变。与传统方法相比，SIREN不仅显著扩展了模型的探索边界（即能想出更多有效解法），还成功地保持了答案的多样性，避免了思维僵化。整个训练过程平稳可控，实现了“前期大胆探索，后期稳步收敛”的理想状态。

SIREN的研究成果，标志着大模型训练从“盲目探索”的赌博模式，迈向了“精确制导”的工程化时代。它揭示了一个深刻的道理：更聪明的AI，不仅在于拥有更强大的算力和更多的数据，更在于拥有更高效、更智能的学习与探索方法。

随着强化学习成为LLM后训练的主流范式，如何实现稳定、可控、高效的探索，将是解锁AGI（通用人工智能）潜力的核心议题。SIREN提出的选择性探索调控机制，无疑为下一代推理模型的训练范式提供了宝贵的启发。

想要持续跟进AI领域的最新突破和深度解读，欢迎访问AI门户网站 AIGC BAR (https://aigc.bar)，获取一手AI新闻和AI日报，与未来同行。