解密预训练RSI：从40亿美元独角兽到801教室的AI范式革命

type

status

date

slug

summary

引言：通往超智能的关键胜负手

在通用人工智能（AGI）的演进路径中，大模型行业正经历一场从蛮力堆叠参数向智能自驱动生产的深刻变革。过去一年中，RSI（Recursive Self-Improvement，递归自我改进）迅速成为全球大模型核心圈层讨论最高频的概念。其终极蓝图令人神往：让 AI 自主提出改进方案、自主执行、自主评测，进而在更高智能水平上展开下一轮自我迭代，实现智能能力的复利飞轮。

然而，业界的喧嚣大多停留在后训练微调、Agent 编排与算子编写等周边环节。真正把 RSI 贯彻到从零开始的大规模基座预训练中，并公开工程与技术细节的团队，全球屈指可数。目前业内公开发表的仅有两股力量：一家是汇聚了 Google、Meta、OpenAI 顶尖科学家的硅谷独角兽 Recursive（估值约 40 亿美元，发布了 Flint 模型）；另一家则来自上海一间门牌号为“801”的普通教室，由上海创智学院与新序智能联手打造出对标第一梯队的 801-30B 开源基座。

为什么预训练 RSI 会成为大模型时代的胜负手？这间教室交出的成果又揭示了怎样的新型 AI 生产范式？关注最新 AI资讯与大模型前沿进展的从业者，必须厘清这场底层制造逻辑的剧变。

预训练 RSI：从“房屋精装”跨入“重塑地基”

长期以来，业内在讨论模型优化时，重心往往放在 RLHF（人类反馈强化学习）、DPO 以及特定领域的 SFT 数据微调上。但从第一性原理来看，预训练和后训练完全不在一个量级。

大模型绝大部分的世界知识、逻辑框架与泛化推理能力，在预训练阶段就已经锁定了上限。后训练的本质，是通过对齐和提示激发既有潜力，相当于给毛坯房做精装修；而预训练才是决定楼能盖多高的承重墙与地基。

若 RSI 只停留在后训练，AI 改进的仅仅是给现成模型做打磨的工具链，制造智能的最核心源头依然牢牢依赖人类工程师的盲试经验，闭环始终处于半脱节状态。只有当 RSI 深度介入预训练，让 AI 真正参与到从清洗万亿 Token、监控梯度异常到修正超参数的完整生产链条中，智能制造的复利机制才算正式启动。这一跃升，标志着大模型工艺从不可持续的人力堆砌，转型为可自迭代的工程系统。

极限挑战：为何全球只有两家敢公开下注预训练 RSI？

既然预训练阶段做自改进具有决定性意义，为何主流科技巨头与开源社区大多望而却步？根本原因在于工程试错成本与容错率存在质的代差。

首先是惊人的资源鸿沟。后训练阶段跑一轮自动化探索，往往只需几十到几百个 GPU 小时，失败了可以随时重新配置再跑一次；然而一次完整的大规模前沿预训练，涉及数十万卡时与数月连续运转，成本高达数百万甚至上千万美元。绝大多数机构都遵循“No Second Run（没有第二次运行机会）”的铁律，宛如高风险芯片流片，任何重大事故都会导致项目直接流产。

其次是缺乏即时可测的目标函数。后训练有明确的 Benchmark 分数可以追溯强化；但在预训练中，核心指标是为后续各种下游任务留下了多少“未被开发的潜力”，无法简单通过一个单一的验证集损失值予以衡量。面对上千个数据子集、百余项超参数和错综复杂的基础设施代码，传统 RSI 的“尝试-评估-更新”超大循环在长周期下极易中断崩溃。

破局之道：将不可行的大循环拆解为可控的小闭环

上海团队在 801 项目中展现出卓越的工程智慧。他们没有强行去硬碰耗时数月的无法闭合的超大循环，而是针对预训练体系的结构性痛点，设计了三套高度协同且能快速验证的短周期敏捷闭环，并通过一套全局共享的“生产记忆”串联起来：

调试闭环（Debugging Loop）：当训练指标出现微弱漂移时，系统由 Agent 自动顺着蛛丝马迹反向追踪至基础设施代码、调度策略或具体数据管线，快速定点排错。例如在某次试训中，整体损失曲线看似平稳，但 Agent 在分层扫描中捕捉到第 15 层和第 18 层的专家负载均衡发生异动，最终跨团队锁定了负载惩罚项实现与特定优化器状态之间的隐秘冲突。

潜力测量闭环（Potential Measurement Loop）：团队不以单一考试分数为导向，而是引入轻量级微调作为标准度量衡，以极低算力成本探测 base 模型隐藏的吸收弹性，从而验证当前的训练配方是否仍有后劲。

经验量化与数据清洗闭环（Experience Quantification Loop）：改变以往靠资深算法专家“凭直觉挑数据”的模式，将数千个数据子集的清洗、多样性配比和噪声剔除全部转化为带有量化目标的可演进工作流。

正是依靠这种系统级沉淀，失败经验与排错路径被固化为组织的通用记忆，使单位算力的智能产出效率呈几何级增长。

实力突围：轻量微调对决完整后训练

801 绝非停留在实验室小规模算力验证的玩具模型，而是直接向工业级最强开源基座发起冲锋的实战产品。根据披露的公开评测，该团队在多个严苛维度上展现了惊人战绩：

在 Base 模型同台竞技层面，801 的基础评测成绩与主流工业大厂最新发布的等尺寸前沿基座平起平坐，甚至显著拉开与常规开源模型的差距；在施加相同轻量 SFT 数据的控制变量测试中，其长文本理解与综合认知表现名列前茅，证明其预训练地基打得极其扎实。

更为抢眼的是跨量级挑战：在仅使用了极低 token 量的轻量微调、未引入强化学习的情况下，801 在多项严苛的 Agent 及代码推理基准（如 SWE-bench）测试中，其表现正面击败了部分经过高强度完整后训练的成熟商业版本，并在关键基准上大幅领先同样主打预训练 RSI 的 Flint。

这充分印证了一个底层逻辑：在强大的预训练基座面前，后训练的算法技巧固然重要，但底座所蕴含的认知容量与泛化潜力才是决定上限的关键。

结论：大模型制造范式正在发生永久性迁移

从加利福尼亚的 40 亿美元实验室，到上海一间充满极客精神的 801 教室，预训练 RSI 的突破向全行业证明了一件事：大模型竞争已经进入了深水区。未来的护城河不再单纯取决于手握多少万张算力卡，而在于能否打造出一套让 AI 自主迭代、自主排错、自我繁衍的智能化制造系统。

当预训练的工艺经验从“依赖少数天才脑中难以复制的灵感”，进化为“AI 自我沉淀且持续复利的数字资产”，属于 AGI 的指数级加速曲线才算真正拉开序幕。对于广大开发者、创业者以及持续追踪大模型动态的从业人员而言，紧盯这类底层范式变迁，及时获取一手前沿资讯与系统化认知，是立足于下一代智能技术浪潮的必修课。想要了解更多前沿 AI新闻与大模型深度研报，不妨持续关注业内领先的资讯与知识聚合平台，共同见证智能奇点的到来。