AIGC.BAR 首页
ARTICLE SIGNAL

冻结大模型权重，Agent持续进化：ModularRSI深度解析

AI,AI资讯,大模型,Agent,ModularRSI,自我改进,冻结模型权重,AI新闻,LLM,AGI,探讨Agent如何在不更新大模型权重的情况下，通过演化Harness外围系统实现持续自我进化，提升多任务与跨模型泛化能力。

type
status
date
slug
summary
tags
category
icon
password
网址
在每天瞬息万变的AI资讯和AI新闻中，我们往往把目光聚焦于大模型（LLM）本身的参数规模和权重更新。然而，当像openai的chatGPT或claude这样强大的基础模型被固定下来后，AI智能体（Agent）还能否继续变得更聪明？
近日，一项名为ModularRSI的研究为我们揭示了通向AGI的新路径：在完全冻结大模型权重的情况下，Agent依然可以通过演化其外围运行机制（Harness）实现持续的自我改进。作为专业的AI门户，AIGC今天就带您深入解读这项突破性研究，探索Agent如何在不改变“大脑”的前提下，通过优化“行为模式”实现能力的飞跃。

突破权重依赖：Agent的Harness演化法则

传统的机器学习和人工智能发展往往依赖于海量数据的重新训练。但在实际的AI变现和应用场景中，微调大模型成本极高且容易引发灾难性遗忘。ModularRSI团队提出了一个极具启发性的公式：Agent = (Model, Harness)。
在这个公式中，模型（M）是始终冻结的，而Harness（H）——即决定模型如何查看环境信息、维护上下文、调用工具、处理失败恢复以及判断任务完成的外围系统机制——是可以随着执行经验不断发生变化的。这意味着，改善智能被组织和调用的方式，同样可能带来显著的性能增长。这种被称为Harness RSI（Recursive Self-Improvement）的机制，让Agent的“自我改进”拥有了全新的实现路径。

拆解Harness：五大核心模块的独立进化

如果让一个大模型直接阅读并修改完整的Agent代码库，搜索空间会迅速变大，一次失败可能源于无数个潜在的代码漏洞。为了解决这个问题，ModularRSI先将Harness巧妙地拆分为五个相对独立的模块：
  1. Agent Loop：负责“推理—行动—观测”的迭代过程。
  1. Observation Management：处理和筛选环境反馈。
  1. Tool Use：负责工具选择、调用和参数构造。
  1. Context Management：维护历史信息、任务约束和中间结果。
  1. Task Completion Detection：判断任务是否已经真正完成。
在实际执行中，Agent每完成一批任务，系统就会从轨迹中寻找反复出现的缺陷。如果所有轨迹都失败，系统会分析是否存在死循环或错误的工具调用；如果同一个任务既有成功也有失败，系统则直接对比两条轨迹，判断究竟哪些决策改变了执行结果。这种将“某一次任务失败”抽象成“某一种系统性缺陷”的能力，是Harness演化的核心动力。

严苛的验证门槛与强大的跨模型泛化

为了防止Agent仅仅是“死记硬背”特定测试集的答案（即过拟合），ModularRSI将Harness演化与最终评测进行了严格隔离，并引入了三道极其严苛的代码验证门槛：
  • Program Check：检查语法、接口契约等基本程序正确性。
  • Diff Review：重点寻找并剔除针对单一实例的特化解决方案或启发式规则。
  • Execution Validation：让修改后的Harness重新实际执行任务，确保没有新的运行时错误。
令人瞩目的是，这种基于Harness的进化不仅在Terminal-Bench 2.0上将准确率从47.57提升至52.43，其学到的通用机制还能完美迁移到未参与演化的跨领域任务（如SWE-Bench）中。更重要的是，无论是搭配哪种基础模型，这种外围经验都能生效。这证明了优秀的系统工程和高质量的提示词（Prompt）管理机制在高级Agent中具有普适性的巨大威力。

演化数据的“黄金法则”：中等难度的不可替代性

在探索AI自我改进的过程中，研究人员还发现了一个对未来数据构建至关重要的现象：用于演化的任务难度，直接决定了Agent能学到多少东西。
实验表明，包含极简单和极困难任务的数据集，对Harness的提升微乎其微（仅提高了0.6个百分点）；而以中等难度（成功率在40%—60%之间）为主的数据集，则带来了6.6个百分点的巨大提升。原因在于，只有在这些“半会不会”的任务边界地带，Agent才能同时产生成功和失败的轨迹。通过对比这些信息密度极高的轨迹，系统才能准确诊断出究竟是什么机制导致了不同的结果。

从单一修复到通用机制：Agent自我改进的未来

Harness相比模型权重有一个天然优势：它的演化过程是完全透明且可解释的。例如，在一次失败任务中，Agent连续八次执行同一条无效命令。ModularRSI最初只是加入了简单的重复检测机制；随着后续轨迹暴露出更多问题，系统逐步演化出了错误格式恢复机制，最终甚至发展出了追踪任务需求的“规划管理清单”（planning_checklist）。
这种将具体的失败转化为通用的错误恢复和规划机制的过程，正是Harness RSI与简单经验记忆之间最本质的区别。模型继续决定能力的理论边界，而Harness则决定了这些能力如何高效地进入真实的执行过程。

总结

ModularRSI的研究清晰地表明，Agent的迭代式能力提升并不必然伴随模型权重的更新。随着Agent开始承担越来越长、越来越复杂的真实任务，模型能力的提升与外围Harness系统的优化必然会相辅相成。这不仅为人工智能的落地应用提供了具体的工程实现路径，也为未来的系统级优化指明了方向。
如果您想获取更多关于大模型前沿技术、Agent开发技巧以及最新的AI日报，欢迎持续关注我们的AI门户 AIGC，与我们一起探讨和见证AGI时代的每一个重要突破。
Loading...

没有找到文章