aigcbar - null

27M模型碾压Claude！00后天才王冠挑战Transformer | AI资讯 | AIGC.bar

type
status
date
slug
summary
tags
category
icon
password
网址
在当前大模型（LLM）军备竞赛愈演愈烈的时代，参数量似乎成为了衡量模型能力的唯一标尺。然而，一位拒绝了马斯克的00后天才，正用一个仅27M参数的“小模型”，向整个行业发起了挑战，这无疑是近期AI新闻中最激动人心的消息。
由清华校友王冠及其公司Sapient Intelligence推出的分层推理模型（Hierarchical Reasoning Model, HRM），以其惊人的表现，在多个复杂推理任务上超越了包括Claude 3.7在内的众多巨头。这不仅是一次技术的胜利，更是对现有Transformer架构的一次深刻反思。这篇AI资讯将带你深入了解，这个“四两拨千斤”的AI奇迹是如何实现的。

核心揭秘：仿生大脑的分层推理架构

HRM模型成功的核心，在于其颠覆性的设计理念——模仿生物大脑的分层处理与多时间尺度运作机制。它不像传统Transformer那样将所有计算“一锅炖”，而是构建了一个精巧的双层循环系统。
  • 高层模块（CEO）：负责慢节奏的抽象规划和战略决策。它着眼于全局，为任务设定长远目标。
  • 低层模块（执行团队）：负责快节奏的细节执行和密集计算。它在高层模块设定的框架内，快速迭代，解决局部问题。
这种设计精妙之处在于，低层模块在每个高层决策周期内会进行多次计算并达到一个临时稳定解，然后高层模块根据这个结果进行评估和更新，再为低层模块设定新的目标。这个过程循环往复，无需依赖思维链（Chain-of-Thought）等外部“草稿纸”，就能在一次前向传播中完成复杂的推理任务。这使得模型在面对需要深度探索和回溯的难题时，表现出远超传统架构的效率和准确性。

HRM的五大技术支柱

HRM的卓越性能并非空穴来风，而是建立在五项紧密配合的关键技术之上，这些技术共同构成了其高效推理的基础。
  1. 分层循环与时间尺度分离：如前所述，高低层模块在不同时间尺度上协同工作，实现了规划与执行的解耦，确保了推理的全局方向性和局部高效性。
  1. 分层收敛机制：传统循环网络容易“浅尝辄止”，过早收敛。HRM通过高层模块不断设定新目标，打破低层模块的局部收敛，驱动整个系统向最终正确答案持续逼近，就像一个永不满足、持续优化的解题专家。
  1. 近似梯度技术：为了解决传统循环模型训练时内存爆炸和效率低下的问题，HRM采用了一种巧妙的“一步梯度近似”方法。它无需存储所有中间步骤，只需根据最终结果来反向优化，极大地降低了内存需求，使训练过程更高效，也更符合生物学习的规律。
  1. 深度监督机制：受到大脑神经振荡调节学习节奏的启发，HRM在训练中引入了“阶段性测试”。模型在学习过程中被分为多个阶段，每个阶段结束后都会进行即时评估和参数调整，确保学习路径不跑偏，如同“单元测验”一样，让学习更扎实、更高效。
  1. 自适应计算时间：HRM能像人类一样，根据任务难度智能分配“思考时间”。通过类似Q学习的算法，它能动态判断是否需要继续计算。面对简单迷宫，它能快速给出答案；而面对极端数独等复杂难题，它则会投入更多计算资源，以确保最终的准确率。

“四两拨千斤”：惊人的性能表现

理论的先进最终要靠实践来检验。HRM在多项公认的困难测试中，交出了令人瞠目结舌的答卷，充分证明了其架构的优越性。
  • ARC-AGI挑战：在衡量通用人工智能（AGI）推理能力的权威测试中，27M的HRM仅用1000个训练样本，就取得了40.3%的准确率，碾压了参数规模更大的o3-mini-high（34.5%）和Claude 3.7 8K（21.2%）。
  • 极端数独（Sudoku-Extreme）：对于现有依赖思维链的大模型来说，这类任务的准确率几乎为0。而HRM却能做到近乎100%的正确率，展现了其在复杂约束求解问题上的强大能力。
  • 30x30复杂迷宫：在寻找最优路径的任务中，一个1.75亿参数的大型Transformer模型准确率不足20%，而HRM的表现则稳定而出色。
这些成果有力地挑战了“模型越大越智能”的传统观念，为AI领域开辟了“小而精”的新路径。

背后的大脑：拒绝马斯克的00后天才

这一切成就的背后，是年仅22岁的创始人王冠。这位8岁学编程、保送清华计算机系的00后，早已是开源社区的明星。他独立开发的OpenChat项目在GitHub上广受好评，也因此收到了来自马斯克xAI等顶级机构的橄榄枝。
然而，王冠选择了拒绝。他的目标更为远大——颠覆统治AI领域多年的Transformer架构。为此，他创办了Sapient Intelligence，致力于打造真正具备复杂推理与规划能力的全新大模型架构。HRM的诞生，正是他迈向这一宏伟目标的第一步。

挑战与展望：新架构的未来之路

尽管HRM的表现令人振奋，但也有声音指出其目前主要在特定推理任务上表现优异，泛化能力有待验证。然而，这恰恰可能是其价值所在。与其追求一个无所不能但耗资巨大的通用模型，不如开发一系列在特定领域“更智能”、更高效的专家模型。
HRM的出现，是人工智能领域的一次创造性飞跃。它证明了通过精巧的“仿脑”设计，可以在不无限堆砌参数的情况下，实现超乎想象的推理能力。这或许正是通往更高效、更接近真正AGI的一条光明大道。许多人乐观地认为，我们可能正在见证一个超越Transformer的时刻。
总而言之，王冠和他的HRM模型为整个AI行业带来了新的思考。这不仅是一篇技术论文的发布，更像是一份宣言，宣告了AI发展的无限可能性。想要获取更多前沿的AI日报和深度解读，欢迎访问AI门户网站 https://aigc.bar，与我们一同见证未来。
Loading...

没有找到文章