.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f){kind=small}
ARTICLE SIGNAL
北大张牧涵与RSI：让大模型摆脱回炉重造学会自我更新
深入解读北大张牧涵团队无涯智远的RSI与参数内学习技术,探索超网络架构与海马体机制,解析大模型边用边学的自进化未来,聚焦前沿AI资讯与大模型架构革新,涵盖LLM与AGI演进脉络
type
status
date
slug
summary
tags
category
icon
password
网址
当前以大语言模型（LLM）为代表的生成式人工智能浪潮席卷全球，无论是 OpenAI 的 ChatGPT 系列，还是 Anthropic 推出的 Claude，都在各类评测与日常应用中展现出了令人惊叹的能力。然而，一个悬在整个 AI 行业头顶的核心痛点始终未被根治：大模型一旦完成预训练和后训练出厂，其参数便被彻底“固化”。在推理阶段，模型无法像人类一样实时吸收新经历并将其内化为长期智慧，只能依靠将上下文窗口无限拉长，或者等待大厂消耗庞大算力定期进行全量“回炉重造”。
针对这一底层瓶颈，北京大学助理教授、无涯智远创始人张牧涵提出了截然不同的突围路线。作为早期图神经网络（GNN）领域的开拓者，张牧涵曾提出 SortPooling、SEAL 等被主流图深度学习库广泛采用的经典算法，如今他将目光聚焦于递归自我改进（Recursive Self-Improvement, RSI）与参数内学习（In-Parameter Learning, IPL）。通过构建类似人脑“海马体”的超网络架构，团队尝试在前向传播中以极低成本直接改写模型参数，让大模型真正实现“边用边学”。这不仅是对现有训练与推理分立范式的颠覆，更可能重塑未来 AGI 产业的分工与技术版图。想要持续追踪这类前沿学术突破与行业变迁，开发者与从业者可以常访问权威的 AI门户 获取一手 AI资讯。
从图神经网络奠基到追寻AGI终极目标
张牧涵的学术与科研生涯始终伴随着对“开拓新范式”的执着追求。本科毕业于上海交通大学 IEEE 试点班的他，在博士阶段便敏锐察觉到当时深度学习在非欧几里得结构化数据处理上的空白。2015至2016年间，当多数学者沉浸在计算机视觉（CV）的卷积神经网络优化时，张牧涵选择攻坚图神经网络这一当时仅有极少数论文涉足的荒原。他先后提出的用于图分类的 SortPooling 算法与用于链路预测的 SEAL 算法，不仅解决了图数据的置换不变性问题，更奠定了该领域的早期理论基础，累计收获超 1.6 万次引用。
在加入 Facebook AI 团队后，他将图深度学习成果部署到支撑数十亿用户的工业级推荐系统中。然而，当顶尖的学术创新被简化为广告点击率小数点的微弱抬升，他逐渐意识到自己的终极兴趣依然在于通用人工智能（AGI）的本质探索——AI 究竟如何能够像人一样具备连续学习与持续泛化的机制。为此，他放弃硅谷的高薪回报，重返北大人工智能研究院任教，并在大模型爆发后迅速切入持续学习这一硬核赛道，创立无涯智远。
撕开长上下文的局限：为何外部记忆不能代替参数更新
在 ChatGPT 和各类大型语言模型普及后，业界普遍将焦点放在如何扩大上下文窗口（Context Window）上，从最初的 4K 一路攀升至数百万 Token。许多人认为，配合复杂的检索增强生成（RAG）、记忆文件与提示词工程（Prompt Engineering），就能让智能体拥有长期运作的能力。但张牧涵指出，这本质上是一种“治标不治本”的工程脚手架。
首先是计算复杂度的物理限制。传统全注意力机制的计算与内存开销伴随着输入长度呈现平方级或极高的线性负担，而在实际长上下文部署中，海量的显存往往被 KV Cache（键值缓存）消耗殆尽，推理成本随着交互历史呈指数级飙升。
更深层次的问题在于认知的本质。如果模型仅依靠将以往的交互轨迹堆叠在上下文中，它更像是电影《记忆碎片》中丧失长期记忆的主人公——必须依赖贴满全身的照片与便签来维系当前的逻辑推理。一旦上下文清空，模型依然是一片空白。真正的智能不仅需要临时的工作记忆，更需要通过“压缩”将经历内化为本能与普适规律。只有直接改动模型参数，才能彻底突破外部 Harness 的限制，让基础模型的能力上限持续向上生长。想要掌握各类前沿大模型与 Prompt 调优的演进动态，关注 AI新闻 是开发者把握行业脉搏的高效途径。
参数内学习与超网络：为大模型植入人脑“海马体”
既然修改参数是实现持续进化的必经之路，为何传统方法难以奏效？在过往的尝试中，直接利用监督微调（SFT）或参数高效微调（PEFT）来消化新数据，往往面临两大死结：一是计算成本高昂，传统的反向传播梯度下降不仅耗时久，还需占用巨大显存保存中间激活状态；二是致命的“灾难性遗忘”，模型在新任务的损失函数下降后，往往会丧失原有的通用泛化能力，退化为机械式的复读机。
为了破解这一僵局，张牧涵团队提出了颠覆性的“参数内学习”（IPL）构想，并将“如何更新模型参数”本身抽象为一种通用的元能力。他们设计了一种超网络（Hypernetwork）机制，其运作逻辑类似于人脑中负责整合长期记忆的“海马体”：
- 单次前向传播生成更新：超网络不依赖繁琐耗时的反向传播循环，而是直接通过一次前向推理，快速计算出基座模型应对新经历时所需的参数改变量。
- 大幅降低更新开销：将参数写入的时间与算力成本，从传统的百卡、千卡微调压缩至接近普通推理量级，实现秒级的实时知识吸收。
- 兼顾新旧知识平衡：通过元学习目标约束，使模型在写入增量知识的同时，自动规避灾难性遗忘，保持基座模型原有的推理与跨领域泛化水准。
这项突破性成果已被国际机器学习顶级会议 ICML 收录，标志着模型自我更新从理论探讨迈向了工程落地的坚实一步。
RSI的终局想象：重塑大模型商业化与个人专属智能
在张牧涵的视野中，参数内学习不仅是一次算法层面的颠覆，更是打破算力垄断、重塑 AI 产业分工的关键契机。在现有的商业模式下，大模型能力被少数持有超大规模算力集群的科技巨头牢牢锁定，中小企业与个人用户只能作为调用 API 或配置上下文的“租客”。
一旦参数更新的门槛从千卡级后训练骤降到单机甚至端侧即可完成的推理级开销，整个 AI 产业生态将迎来重构：
- 去中心化的模型定制权：基础大厂继续提供通用的底层基座，但定义与修改参数的权力将彻底回归到企业和个人手中。企业只要买得起推理设备，就能低成本打造出永不漂移、随业务持续生长的专属模型。
- 真正的自主智能体涌现：未来的智能体（Agent）将不再是碎片化、调用完即销毁的被动工具，而是具备稳定人格、行为模式高度一致且拥有连贯成长轨迹的数字生命。
- AI变现逻辑的迁移：围绕模型自进化的数据提炼、行业超网络定制等全新赛道将孕育而生，为全球的人工智能开发者打开全新的 AI变现 空间与产业蓝海。
结语
从早年定义图神经网络算法标准的青年学者，到如今率领顶尖技术团队勇闯递归自我改进（RSI）无人区的创业者，张牧涵的每一步都在试图打破现有范式的边界。参数内学习（IPL）与超网络技术的出现，宣告了大模型出厂即“脑死亡”、只能依赖外部检索拼凑记忆的时代正在发生动摇。
当模型学会在每一次对话、每一次任务执行中悄然进化，AI 与人类交互的深度将被重新定义。一个无需反复回炉重造、属于每一个个体的自进化 AGI 时代，或许正从这项底层架构的突破中加速到来。想要获取更多全球 大模型 的前沿观察与深度解读，请持续锁定权威科技平台，一同见证智能演进的下一个里程碑。
Loading...