快手Klear-Reasoner登顶8B模型榜首：GPPO算法如何破解AI推理难题？| AI资讯

type

status

date

slug

summary

引言：AI推理赛道的“硬核”新突破

在人工智能（AI）领域，大语言模型（LLM）的竞争已进入深水区。当闲聊、写作等能力逐渐成为标配后，数学与代码等复杂的推理能力，便成了衡量模型智力上限的“分水岭”。从OpenAI到DeepSeek，我们见证了强化学习（RL）在激发模型推理潜能上的巨大作用。然而，顶尖成果的背后是复杂的工程与算法博弈，并非简单的“堆数据、大力出奇迹”。

近日，快手Klear团队发布的Klear-Reasoner模型，在8B规模级别上取得了惊人的SOTA（State-of-the-Art）成绩，特别是在AIME等高难度数学竞赛基准上，其表现甚至超越了众多强劲对手。这一成就的核心，是一种名为GPPO（Gradient-Preserving Clipping Policy Optimization）的全新算法。本文将深入剖析Klear-Reasoner的成功之道，解读GPPO算法的精妙之处，并探讨其为大模型训练带来的宝贵启示。更多前沿AI新闻与深度分析，欢迎访问AI门户网站 AIGC导航。

Klear-Reasoner：8B模型的推理新王者

Klear-Reasoner基于Qwen3-8B-Base模型进行训练，其目标非常明确：攻克数学与代码推理的难关。在AIME2024和AIME2025等权威数学评测中，它分别取得了90.5%和83.2%的惊人准确率，成功登顶8B模型榜首。这一表现不仅展示了其强大的逻辑推理能力，也证明了其背后训练方法的卓越性。

这些亮眼数据的背后，正是快手团队提出的GPPO算法。它直击了现有强化学习方法（如PPO）在训练推理模型时面临的核心痛点：如何在保证训练稳定性的同时，最大化模型的探索能力？

传统强化学习的“隐性代价”：稳定与探索的矛盾

在PPO（Proximal Policy Optimization）这类主流算法中，clip（裁剪）机制扮演着“稳定器”的角色。它通过限制策略更新的步长，防止模型因一次错误的更新而“学崩”。然而，这种看似保险的做法，却带来了两个致命的“隐性代价”：

扼杀探索的火花：当模型偶然发现一条新颖但高不确定性（高熵）的解题路径时，其重要性采样比例可能超出clip的上限。此时，clip机制会粗暴地将其梯度丢弃。这意味着，模型最有价值的“灵光一闪”被当成了噪声，导致模型迅速变得保守，不敢尝试新的思路。

对错误反应迟钝：反之，当模型犯下某个错误，且该错误轨迹的重要性采样比例低于clip下限时，梯度同样会被丢弃。这导致模型需要反复犯同一个错误，才能积累足够的负面信号进行修正，极大地拖慢了学习效率。

简单来说，传统的clip机制就像一个过分谨慎的教练，它虽然能防止运动员受伤（模型崩溃），但也禁止了高难度动作的尝试（探索），并且对错误动作的纠正非常迟缓。

GPPO算法：保留梯度的“温和”革命

GPPO算法的核心思想既巧妙又直接：不丢弃任何有价值的梯度信号，而是对其进行“温和”地回传。

它通过stop_gradient操作，将clip的裁剪功能与梯度的反向传播过程解耦。这意味着：

对于高价值的探索（正优势）：即使其更新幅度超出了clip上限，GPPO也不会丢弃梯度，而是将其约束在一个合理的水平进行回传。这既保留了模型宝贵的探索能力，又避免了过大的更新导致的不稳定。

对于需要修正的错误（负优势）：即使其信号微弱到低于clip下限，GPPO同样会保留梯度并进行回传，从而加速模型对错误路径的修正，让模型“吃一堑，长一智”的速度更快。

GPPO通过这种方式，完美地在稳定性与探索能力之间找到了新的平衡点，让大模型既敢于在解题空间中大胆尝试，又能从错误中快速学习。

超越算法：Klear-Reasoner的训练艺术

一个顶尖模型的诞生，离不开卓越的算法，但同样依赖于精细化的训练策略。Klear团队在论文中分享了大量宝贵的实验洞察，揭示了成功背后的“训练艺术”。

SFT阶段：质量为王，拥抱“瑕疵”

数据质量远胜于数量：实验证明，使用少数高质量来源（如Top1或Top2）的数据进行监督微调（SFT），效果远胜于混合大量质量参差不齐的数据。低质量数据会引入逻辑混乱、推导错误等噪声，干扰模型的学习方向。这对于构建任何人工智能系统都是一个金科玉律。

高难度任务中的“容错”学习：一个反直觉的发现是，对于高难度任务，完全剔除推理链中带有微小错误的样本，并非最优选择。保留部分“有瑕疵”的样本，反而能提升模型表现。这表明，在复杂的解题空间中，这些错误的尝试为模型提供了宝贵的探索信息，帮助其更好地理解问题的边界。

RL阶段：精细化奖励与数据过滤

软奖励优于硬奖励：在代码生成任务中，使用“通过测试用例的比例”作为软奖励，比“全对或全错”的硬奖励更有效。软奖励提供了更密集的学习信号，降低了梯度估计的方差，让模型的学习过程更稳定、高效。这对于设计有效的Prompt和奖励函数具有重要参考价值。

过滤有问题的测试用例：开源代码数据中，部分测试用例本身存在问题，导致正确的代码也无法通过。Klear团队通过预先生成大量答案并进行筛选，过滤掉了这些“假阴性”数据，显著提升了强化学习的训练效果。

结论：通往AGI之路的坚实一步

Klear-Reasoner的成功及其GPPO算法的提出，不仅仅是AI日报上的又一条AI资讯，它为整个社区贡献了一条可复现、可推广的高级推理模型训练范式。它证明了通过精巧的算法设计和细致的训练策略，我们可以在模型的探索精神与学习稳定性之间取得前所未有的平衡。

这对于推动大模型在数学、代码乃至更广泛的科学发现领域的应用，具有深远的意义。从Klear-Reasoner的实践中，我们看到了通往更强大人工智能甚至通用人工智能（AGI）的道路上，又一块坚实的基石被铺下。想要获取更多关于LLM、ChatGPT、Claude等模型的最新动态和深度解析，请持续关注 AIGC导航。