北大AI新突破：INP-CC模型重塑人机交互，让AI看懂复杂世界，欢迎访问AI门户AIGC导航(aigc.bar)获取最新AI资讯

type

status

date

slug

summary

引言：AI感知的新疆界

在人工智能（AI）飞速发展的今天，让机器像人一样理解世界，是无数科学家追求的终极目标。其中，理解“人与物体的交互”（Human-Object Interaction, HOI）是关键一环。想象一下，AI不仅能识别出“一个人”和“一辆自行车”，更能准确判断这个人是在“骑行”、“修理”还是“推着”自行车。这种细粒度的感知能力，是实现高级人机协作、智能监控和机器人自主操作的基础。

然而，传统的HOI检测方法长期受困于“封闭词汇”的局限，即只能识别预先定义好的、有限的交互类别。这在千变万化的真实世界中显得捉襟见肘。近年来，大模型（LLM）和视觉语言模型（VLM）的崛起为“开放词汇”HOI检测带来了曙光，但如何让习惯于“看图说话”的VLM精准聚焦于微小的交互细节，并理解无穷无尽的新交互概念，成为了新的技术瓶颈。

在此背景下，北京大学团队在计算机视觉顶会ICCV 2025上提出了一种名为INP-CC的创新模型，通过“交互感知提示”与“概念校准”两大核心技术，成功跨越了视觉与语言的边界，为开放词汇HOI检测树立了新的标杆。这不仅是一项技术突破，更预示着AI感知能力的一次质的飞跃。

HOI检测的瓶颈：从封闭世界到开放词汇

传统的计算机视觉任务，如物体检测，已经取得了巨大成功。但HOI检测的难度远超于此，它不仅要“看见”，更要“理解”两者之间的动态关系。过去的模型大多依赖于在HICO-DET等数据集上进行有监督训练，这些数据集包含了数百种固定的交互类别。这种方法的弊端显而易见：

泛化能力差：模型一旦遇到训练集中没有的交互，如“用平板电脑点餐”或“玩体感游戏”，便会束手无策。

数据依赖性强：为每一种可能的交互都收集和标注大量数据，成本高昂且不现实。

以CLIP为代表的视觉语言模型（VLM）的出现，让模型通过学习海量图文对，具备了零样本（Zero-shot）识别能力，从而叩开了“开放词汇”HOI检测的大门。然而，这些VLM生来是为了理解整张图像的宏观内容，当任务下沉到需要像素级精度的局部交互区域时，其“粗线条”的本性便暴露无遗。例如，模型可能很难区分“抚摸猫”和“抱着猫”这两个动作，因为从整张图来看，视觉特征非常相似。

核心创新一：交互感知提示（INP），让模型“聚焦”关键

为了解决VLM在细粒度感知上的不足，INP-CC模型提出了交互感知提示生成（Interaction-aware Prompting）机制。这是一种巧妙的引导策略，它不再使用一成不变的提示词（Prompt），而是为视觉编码器动态生成“量身定制”的提示，引导其注意力聚焦到最关键的交互区域。

该机制包含两类Prompt：

通用提示：捕捉所有交互类别共享的基础知识，构成理解交互的“常识”底座。

交互特定提示：针对具有相似模式的交互类别而设计。例如，“骑摩托车”和“骑马”在姿态和动态上高度相似，模型可以将它们归为一类，并共享同一个交互提示。这种设计利用低秩分解技术，在不显著增加计算量的前提下，高效地编码了交互的共性特征，极大地提升了模型的学习效率和泛化能力。

通过这种自适应的提示融合机制，INP-CC模型如同拥有了一副智能变焦镜头，能够根据不同的场景，自动调整焦点，精准捕捉到人与物交互的最核心区域，无论是阅读时聚焦的眼部，还是冲浪时伸展的双臂。

核心创新二：概念校准（CC），用语言模型精调视觉语义

仅仅让模型“看清”还不够，更要让它“看懂”。面对开放世界中无穷无尽、语义相近的交互概念，现有VLM的语义空间往往是模糊甚至混乱的。例如，在CLIP的原始语义空间里，“猛掷（hurling）”的视觉特征和“抛投（pitching）”的文本描述可能挨得非常近，导致模型频繁混淆。

为此，INP-CC引入了交互概念校准（HOI Concept Calibration）机制，巧妙地利用了LLM强大的语言理解和生成能力来“修正”VLM的语义空间。

其核心步骤如下：

丰富语义描述：首先，利用GPT等大模型为每一种HOI交互类型生成详尽、细致的视觉场景描述。这不仅仅是“一个人在扔球”，而是可能包含“投手扭转身体，挥动臂膀，将棒球高速掷向前方”等丰富细节。

构建结构化概念空间：接着，使用T5语言模型将这些丰富的文本描述转化为高质量的嵌入向量（Instructor Embedding）。通过对这些向量进行聚类，模型构建了一个层次分明、结构清晰的概念空间。在这个新空间里，语义相近的交互（如各种“投掷”动作）被拉近，而语义不同但视觉相似的交互（如“举手”和“投掷”）则被有效推开。

困难负样本挖掘：在训练阶段，模型会特意从那些视觉相似、但语义不同的类别中采样“困难负样本”。通过不断地进行这种高难度的“辨析题”训练，模型区分细微差别的能力得到显著强化。

通过这一系列操作，INP-CC成功地为视觉感知校准了“语义罗盘”，让模型在面对复杂多样的交互时，能够做出更精准的判断。

实验效果与未来展望：VLM与LLM的深度融合之道

INP-CC模型的卓越性能在HICO-DET和SWIG-HOI两大权威开放词汇HOI数据集上得到了充分验证。实验结果显示，该模型在所有关键指标上均全面超越了此前的最佳方法（SOTA），在SWIG-HOI数据集上的mAP相对提升了近10%，展现了压倒性的优势。

更重要的是，INP-CC的成功为人工智能领域，特别是计算机视觉，指明了一条VLM与LLM深度融合的康庄大道。它证明了，通过将LLM的结构化知识和推理能力引入视觉感知的底层，我们可以有效克服预训练VLM的内在局限，解锁前所未有的感知精度和泛化能力。这一范式为未来AI在机器人、自动驾驶、智能安防、AI变现等领域的应用打开了全新的想象空间。

想了解更多前沿AI资讯和深度解读，欢迎访问AI门户网站 AIGC导航 (https://www.aigc.bar)，获取最新的AI日报和行业动态。

结论：迈向更智能的感知时代

INP-CC模型不仅仅是一篇优秀的学术论文，它更像是一座桥梁，连接了视觉的具象感知与语言的抽象理解。通过创新的交互感知提示和概念校准机制，北大团队不仅解决了开放词汇HOI检测中的核心难题，也为如何将大模型的知识“注入”到特定视觉任务中提供了宝贵的范例。我们有理由相信，随着这类融合模型的不断演进，未来的人工智能系统将变得更加智能、更加通情达理，真正成为能够理解并融入人类社会的得力助手。