VLM-NEO横空出世：华人团队重塑AI大模型训练范式

type

status

date

slug

summary

引言

在当前的人工智能（AI）浪潮中，视觉语言模型（Vision-Language Models, VLM）无疑是通往通用人工智能（AGI）的关键一环。然而，主流的VLM大多采用一种“拼接式”的模块化架构：将一个强大的预训练视觉编码器与一个大型语言模型（LLM）通过投影层连接。这种设计虽然功勋卓著，但也带来了训练流程复杂、跨模态对齐成本高昂等一系列瓶颈。近日，由南洋理工大学S-Lab领导的华人团队开源了一款名为NEO的原生VLM，彻底颠覆了这一传统范式，向业界提出了一个深刻的问题：我们能否构建一个从零开始的原生统一架构，用更少的数据追平甚至超越顶级模型？NEO的出现，为这个问题提供了响亮的肯定回答。

告别拼接：VLM-NEO的原生统一架构

传统VLM的核心痛点在于视觉与语言两大模块间的“代沟”。视觉编码器（如CLIP）采用双向注意力机制，擅长捕捉图像的全局空间信息；而大模型（LLM）则依赖因果注意力进行有序的文本生成。这种底层架构的不匹配，导致模型需要经历复杂的多阶段训练，并耗费海量数据来弥合两个模态之间的语义鸿沟，过程既昂贵又低效。

尽管此前已有如Fuyu、EVE等模型探索原生VLM路径，但它们普遍面临在LLM内部构建视觉表征效率低下、训练不稳定，甚至损害模型原有语言能力的难题。

VLM-NEO则从根本上解决了这个问题。它没有选择修补，而是选择重构，设计了一个统一的原生基元（Native VLM Primitive）。这个基元不再是简单的模块拼接，而是一个天生就具备视觉编码、跨模态对齐和多模态推理能力的单体架构。它标志着VLM设计思路的一次重大飞跃，从“组合创新”走向了“原生一体”。

三大核心创新：NEO如何化繁为简

NEO的卓越性能源于其在模型架构和训练策略上的三项关键创新，这些设计共同构建了一个高效且强大的原生多模态大模型。

1. 多头原生注意力 (MHNA) NEO巧妙地设计了一种混合注意力机制。在处理图像数据时，模型采用双向注意力，允许每个图像块（token）与所有其他图像块自由交互，完美保留了捕捉全局视觉关系的能力。而在处理文本数据时，则无缝切换回传统的因果注意力，确保了文本生成的逻辑连贯性。这种“帧级双向、词级因果”的混合策略，让NEO在同一个统一架构内实现了两种模态处理方式的和谐共存，无需任何额外的对齐模块。

2. 原生旋转位置编码 (Native-RoPE) 位置编码是区分图像空间和文本序列的关键。传统方法粗暴地将一维文本位置编码扩展到二维图像，常常会“污染”LLM预训练好的语言模式。NEO则开创性地设计了Native-RoPE，将时间（T，用于文本）、高度（H）和宽度（W，用于图像）三个维度的索引和频率完全解耦。处理文本时，空间维度索引为零；处理图像时，时间维度索引固定。这种设计既保持了与预训练LLM的完美兼容性，又精准地为图像引入了空间感知能力。

3. Pre-Buffer与Post-LLM两阶段训练 为了在保护LLM强大语言能力的同时高效学习视觉知识，NEO采用了创新的分离式预训练策略。 * Pre-Buffer：一个从头开始训练的模块，专门负责学习视觉感知。 * Post-LLM：继承自预训练LLM，在初始阶段参数被冻结，以保护其宝贵的语言知识和推理能力不被质量参差不齐的图文数据破坏。

在预训练后，两者合并为一个统一模型进行微调。这种设计不仅大大提升了训练的稳定性和效率，其训练好的Pre-Buffer模块还具有极高的复用价值，可以作为开源组件，帮助社区以更低成本将任何新的LLM适配为高性能的VLM。

惊人效率：用更少数据撬动顶级性能

NEO最令人瞩目的成就之一，是其无与伦比的训练效率。在整个预训练、中期训练和监督微调阶段，NEO总共仅使用了不到4亿的图文对数据。相较于业界主流模型动辄数十亿甚至更多的训练数据量，NEO堪称“节俭”的典范。

然而，更少的数据并未牺牲性能。在多个权威基准测试中，NEO的表现都极为出色： * 在MMMU（多学科多模态理解）测试中，NEO-2.2B得分超越了多个同类原生VLM竞品。 * 在MMBench和AI2D（文档理解）等任务上，更大的NEO-9B版本表现更是与使用数十亿数据训练的Qwen2-VL、InternVL2.5等顶级模型处于同一梯队，充分证明了其架构的先进性。

这一成就对于AI领域意义重大，它表明通过更优秀的架构设计，我们可以显著降低大模型的训练门槛，为更多研究者和开发者打开创新之门。

潜力与挑战：NEO的未来之路

当然，作为一个新兴模型，NEO也存在一些待完善之处。在知识密集型和OCR（光学字符识别）重度任务上，NEO的表现相较于一些顶级模型仍有差距。研究团队认为，这主要归因于当前训练数据的规模和领域覆盖度，而非架构本身的缺陷。

这恰恰揭示了NEO巨大的未来潜力。如果能获得更大规模、更高质量、更多样化的数据进行训练，其性能天花板无疑会更高。NEO的开源不仅提供了一个强大的模型，更提供了一套全新的、高效的VLM构建蓝图。它证明了原生统一架构的可行性与优越性，为未来多模态人工智能的发展指明了一个充满希望的方向。

结论

VLM-NEO的问世，是多模态AI领域的一次重要突破。它以优雅的架构设计和惊人的训练效率，成功挑战了主流的“拼接式”VLM范式，证明了“少即是多”的哲学在大模型训练中同样适用。NEO的开源为整个人工智能社区注入了新的活力，推动我们向着更高效、更强大、更接近AGI的未来迈进。

想要获取更多类似的前沿AI资讯、深度技术解读和实用的Prompt技巧，欢迎访问AI门户网站 AIGC.bar (https://aigc.bar)，与我们一同关注AI新闻，见证AI的演进与未来。