ViF终结多智能体视觉幻觉，AI协作新篇章

type

status

date

slug

summary

当前，大多数多智能体VLM系统在协作时，依赖于纯文本来传递视觉信息。这种设计看似简洁，实则隐藏着两大难以逾越的缺陷：

幻觉传播（Hallucination Propagation）：后续的智能体在接收到前一个智能体的文本描述后，往往会将其视为“先验知识”。如果前者的描述带有幻觉，这种错误信息就会被继承并进一步放大，导致视觉-文本转换过程中的损耗和偏差层层叠加。

这种“滚雪球”式的错误累积，使得智能体在长轮次协作中，性能不升反降，难以完成复杂、精细的视觉理解任务。以往的研究多聚焦于“单智能体幻觉抑制”，未能从根本上阻断跨智能体的错误信息传播链条。

新加坡国立大学LV-Lab及其他国内外研究机构的研究人员，通过对多智能体协作过程中的注意力机制进行了深入分析，从“轮次”、“层级”和“令牌（token）”三个维度，系统性地揭示了幻觉滚雪球的本质成因。他们发现：

视觉令牌注意力衰减：随着协作轮次的增加，视觉令牌（承载原始图像信息的关键单元）的平均注意力分配急剧下降。例如，在第20轮，视觉令牌的平均注意力分配相比初期暴跌62%，中层视觉注意力的关键峰值甚至直接消失。

关键信息被文本压制：这类承载关键视觉信息的令牌，其占比从首轮的1.22%骤降至第20轮的0.10%，意味着原始视觉信息在多轮文本传递中被严重稀释和压制，最终被文本信息所主导，导致“失真”。

这些发现为设计新的信息传递机制提供了最直接的科学依据。

针对上述痛点，研究团队提出了 ViF（Visual Flow）——一种轻量、通用且即插即用的视觉流范式。ViF的核心创新在于彻底抛弃了“纯文本传递视觉信息”的逻辑，转而构建一种“视觉流 + 注意力重分配”的全新智能体间视觉信息传递机制。

ViF的主要特点包括：

视觉直接传递：它不是简单地生成更准确的文本描述，而是通过重构信息流，让智能体能够更直接、更有效地传递和利用视觉信息，有效避免了文本编码带来的信息损耗和偏差。

无需改造基座模型：ViF是一种“即插即用”的范式，这意味着它不需要对现有的VLM基座模型进行任何修改，即可轻松集成到现有的多智能体系统中，大大降低了技术应用的门槛和成本。

轻量且兼容：该范式设计精巧，计算开销极小，并且能够无缝适配市面上主流的VLM模型和不同的多智能体系统结构。对于常使用FlashAttention（无法直接获取注意力分数）的现代模型，ViF还提供了FlashAttention兼容方案，采用Key-Norm替代策略，确保了效率和落地兼容性。

ViF在多项权威基准测试中展现了强大的性能。实验结果表明，ViF在8大基准、4种MAS结构以及10款主流VLM上实现了稳定且显著的性能提升。

与市面上5款SOTA（State-of-the-Art）的单智能体幻觉抑制方案相比，ViF在多智能体场景下实现了“断层式”领先。它并非仅仅从单个智能体内部入手，而是从底层切断了视觉幻觉在智能体间的传播路径，将多智能体幻觉滚雪球的效应降低了近40%。

ViF的出现，是业内首个从信息流重构层面解决多智能体视觉幻觉“滚雪球”问题的方案。它成功打破了多智能体协作中“越做越错”的魔咒，用相对较小的代价，建立了智能体间高效、可信的视觉流信息传递通道。

这项工作不仅在技术上取得了重大突破，更预示着未来多智能体系统在复杂视觉任务中的应用将更加可靠和高效。随着ViF等技术的不断发展，我们有理由相信，AI将在更广泛、更精密的协作场景中发挥出更大的潜力，推动人工智能向着更智能、更普惠的方向迈进。

--- AI资讯：关注前沿AI技术动态，洞察人工智能发展趋势。欢迎访问 aigc.bar 获取更多AI资讯、LLM大模型信息、ChatGPT、Claude等AI工具教程及Prompt技巧。