纽约AI峰会深度回顾：RAG瓶颈与模型记忆的未来进化

type

status

date

slug

summary

从 Agent 到 Skill：大模型应用范式的转变

在本次峰会上，Anthropic 分享了一个引人深思的观点：不要只构建 Agent，而要构建 Skills。这一转变揭示了当前 大模型 应用开发的痛点。与其试图构建一个全能的、往往不可控的 Agent，不如扎实地通过 Prompt Engineering 搭建具体的 Skill，再将这些 Skill 组合起来。

与此同时，Netflix 的工程师展示了 人工智能 在企业级软件生产环境中的真实威力。他们利用 AI 进行大规模代码迁移，但这并非简单的代码生成，而是涉及如何压缩代码库上下文、如何精细化规划 Agent 任务。核心理念在于“Don’t outsource your thinking”（不要外包你的思考），即便使用 AI，工程师的架构思维依然是灵魂。这对于我们理解 AI变现 和落地具有重要的指导意义。

RAG 的局限性：为何通用嵌入不再够用

“RAG 已死”是近期技术圈的热门话题。虽然言过其实，但传统 RAG 的确面临严峻挑战。目前的标准流程——分块、嵌入、存入向量数据库、检索——存在深层缺陷。

核心问题在于传统的文本嵌入（Embedding）过于单一。现有的 LLM 嵌入模型假设存在一个通用的语义几何空间，但这在垂直领域往往失效。例如，在一个包含 Visa 和 MasterCard 文档的数据集中，通用模型会将两者视为极度相似的“信用卡”内容。当用户查询 Visa 相关信息时，系统很容易错误地检索到 MasterCard 的文档，因为它们在向量空间中“住”得太近了。

此外，向量数据库的安全性也常被高估。研究表明，嵌入向量并非不可逆的噪声，攻击者可以通过特定的解码器模型重建原始文本，这对于金融、医疗等敏感数据的 AI 应用构成了潜在风险。

上下文嵌入：让数据拥有领域意识

为了解决上述问题，一种名为“上下文嵌入”（Contextual Embedding）的技术路线正在兴起。这种方法不再孤立地嵌入每个文档，而是将目标文本与其周围的领域文档一同输入。

通过这种方式，模型能够从邻近文档中推断出特定的领域上下文。在上述信用卡的例子中，经过上下文嵌入处理后，Visa 和 MasterCard 文档之间的相似度显著降低，从而大幅提高了检索的精准度。这对于希望构建高质量 AI新闻 检索或专业知识库的开发者来说，是一个巨大的技术飞跃。它证明了在垂类领域，定制化的上下文理解远胜于通用的全局语义。

AI Memory：将知识真正“训练”进模型

除了外挂的 RAG，如何让模型真正“记住”知识？峰会深入探讨了 大模型 的训练与记忆机制。单纯的监督微调（SFT）虽然能让模型背诵数据，但往往会导致“死记硬背”而丧失泛化能力。例如，对财报进行过度 SFT 后，模型可能无法再写出一首关于该财报的诗，因为其通用智力被覆盖了。

目前更高效的路径包括：

强化学习（RL）： 相比 SFT 的密集信号，RL（如 GRPO）利用稀疏的奖励信号，仅需调整极少量的参数就能捕捉新行为，效率极高。

合成数据： 利用 ChatGPT 或其他 LLM 生成高质量的合成数据（如问答对、推理过程）进行持续预训练，已成为提升模型领域能力的秘密武器。

Post-training 的艺术：LoRA 与前缀微调

在模型训练的后半程（Post-training），如何在注入新知识的同时不让模型“遗忘”原有的能力，是 AI 工程的核心挑战。全参数微调成本高且易遗忘，因此业界转向了更轻量级的方案。

LoRA（低秩适配）： 通过插入低秩矩阵，只训练极少量的参数（约 1%）。实证发现，LoRA 虽然学得比全参数微调少一点，但它“忘”得更少，极好地保留了模型的通用能力。

Prefix Tuning（前缀微调）： 在注意力层前添加可学习的虚拟 Token。这种方法不改动原始权重，相当于为每个输入预置了一个隐式的上下文，非常适合需要快速适配不同任务的场景。

结语

从纽约 AI 工程师峰会的讨论中可以看出，人工智能 的发展正从单纯的 Prompt 调试走向深层的系统工程。无论是突破 RAG 的瓶颈，还是探索更高效的模型记忆机制，技术都在向着更精准、更高效、更垂直的方向演进。

对于开发者和企业而言，紧跟这些 AI资讯 和技术趋势至关重要。想要了解更多关于 大模型、提示词 以及最新的 AI日报 动态，欢迎持续关注 AINEWS，获取最前沿的行业洞察与技术干货。