.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f){kind=small}
ARTICLE SIGNAL
打破训练与推理的壁垒：大模型参数与程序脚手架协同进化的后训练新范式
探讨最新AI前沿研究《Scaffold-Mediated Post-Training》，解析大语言模型如何通过发现、蒸馏与动态重编译机制，实现模型参数与程序推理脚手架的协同进化，显著提升复杂策略的内化能力。
type
status
date
slug
summary
tags
category
icon
password
网址
在大型语言模型（LLM）的发展进程中，我们常常面临一个隐蔽的割裂：模型的后训练阶段通常只专注于内部参数的优化，而推理时所依赖的程序化“脚手架”（Scaffolds，例如复杂的提示词链条、思维树等工具）往往是由人类开发者独立设计的。这种训练与推理策略的脱节，导致模型很难自动习得并真正“内化”复杂的问题解决策略。近日，由 Fei Ding 等研究人员发表在 arXiv 的最新研究《Scaffold-Mediated Post-Training: Co-Evolving Model Parameters and Procedural Scaffold Graphs》提出了一种突破性的解决方案，旨在让模型参数与外部推理框架实现协同进化。
传统后训练的瓶颈与新范式的引言
长期以来，为了让大模型完成复杂的逻辑任务，开发者们构建了各种各样的“脚手架”系统。这些外部系统在推理时引导模型一步步思考，但模型本身并没有将这些能力刻入其神经网络的权重中。当脱离了这些精心设计的外部框架时，模型的表现往往会大幅下降。这项最新研究敏锐地指出了这一痛点，并提出如果大模型想要实现更高阶的自主智能，就必须打破参数训练与外部脚手架设计之间的壁垒，让两者在统一的框架下共同成长。
事实梳理：什么是脚手架介导的后训练？
研究团队提出了一种被称为“脚手架介导的后训练”（Scaffold-Mediated Post-Training）的全新机制。该机制的核心在于，将原本固定的程序化脚手架组织成一个“可进化的图结构”（Evolvable Graph Structure）。这个图结构不再是静态的，而是通过三个关键步骤与模型参数同步进化：
- 发现（Discovery）：模型在与环境或数据的交互中，探索并识别出有效的新推理路径或节点。
- 蒸馏（Distillation）：将这些由复杂图结构带来的能力提升，逐步提炼并压缩到模型的内部参数中。
- 动态重编译（Dynamic Recompilation）：根据模型已经内化的能力，重新调整和优化外部的图结构，淘汰冗余节点，保留更高级的逻辑框架。
研究者将这种范式具体实例化为“技能训练”（Skill Training）。在 FeatureBench 测试基准上的实验数据充分证明了该方法的有效性：自动发现的新技能使得任务通过率显著提升了 8.1 个百分点。更令人瞩目的是，经过渐进式的蒸馏后，模型即使在剥离所有外部脚手架进行“裸跑”的情况下，依然能够保持 27.7% 的通过率。其蒸馏保留率（即蒸馏后与使用脚手架时的通过率之比）高达 85.2%，这一成绩远远超越了在相同数据集上进行的标准监督微调（SFT）。
影响或用法：重新定义大模型的自我进化
这项技术可能彻底改变未来 AI 系统的开发与部署方式。首先，它极大地降低了模型在部署阶段对复杂外部 Prompt 系统的依赖。通过将优秀的推理逻辑直接“固化”进参数中，不仅可以降低推理时的延迟和计算成本（即减少输入 token 的消耗），还能让系统更加健壮。
其次，这种协同进化机制赋予了模型类似于人类“熟能生巧”的学习过程。人类在初学一项技能时往往需要外部规则（脚手架）的指导，但熟练后这套规则就会变成肌肉记忆（内化为参数）。该框架让 AI 具备了自动获取复杂策略并将其转化为本能的能力，这对于打造自主化的高级 AI 智能体（Agent）具有深远的意义。
风险限制：应用过程中的潜在挑战
尽管前景广阔，但实施这种协同进化的后训练方法仍面临一些不可忽视的挑战。首先是计算资源的消耗问题。“可进化的图结构”意味着在发现阶段，系统需要在庞大的策略空间中进行搜索，这可能需要极其惊人的算力支持。其次，尽管实验中取得了 85.2% 的高蒸馏保留率，但仍有近 15% 的性能损失，这意味着如何实现无损的知识压缩和转移仍是一个技术难点。此外，动态重编译过程如果缺乏有效的约束，可能会导致图结构变得过度复杂，反而陷入局部最优解，影响模型的通用泛化能力。
结论
《Scaffold-Mediated Post-Training》一文为我们展示了一条跨越模型内部优化与外部策略设计鸿沟的新路径。通过发现、蒸馏和重编译的闭环，大语言模型不再是被动接受数据的容器，而是能够主动融合外部工具逻辑的进化体。在通往人工通用智能（AGI）的道路上，如何让模型更加高效地“内化”人类智慧，这套协同进化机制无疑提供了一个极具潜力的研究方向。
Loading...