ICCV 2025突破：TRKT革新视频理解，AI新闻速递

type

status

date

slug

summary

引言：让AI看懂视频中的“故事”

在人工智能（AI）飞速发展的今天，让机器像人一样理解世界是我们追求的终极目标之一。不仅仅是识别静态图片中的物体，更高级的挑战在于理解视频中动态变化的场景——谁在做什么，物体之间发生了怎样的交互。动态场景图生成（Dynamic Scene Graph Generation, DSGG）技术正是为了解决这一核心问题而生，它旨在为视频的每一帧构建一个描述“实体-关系-实体”的结构化网络。

然而，训练这样复杂的模型需要海量的精细标注数据，成本高昂。因此，“弱监督”学习成为主流方向，即只使用简单的场景级别标签进行训练。但现有方法普遍面临一个严峻的瓶颈：它们依赖的外部预训练目标检测器，在处理复杂、动态且充满交互的视频场景时，表现往往不尽人意，导致物体漏检、错检，严重影响了最终场景图的质量。

近日，一篇被计算机视觉顶级会议 ICCV 2025 接收的论文 《TRKT: Weakly Supervised Dynamic Scene Graph Generation with Temporal-enhanced Relation-aware Knowledge Transferring》 提出了一种创新的解决方案。该研究直面痛点，通过一种“时序增强关系敏感知识迁移”方法，显著提升了在弱监督下动态场景中的目标检测质量，从而为生成更精准、更完整的动态场景图铺平了道路。这篇AI新闻领域的重磅研究，无疑为视频理解乃至通用人工智能（AGI）的发展注入了新的活力。

弱监督动态场景图生成的“阿喀琉斯之踵”

为什么传统的目标检测器在DSGG任务中会“水土不服”？核心原因在于“认知偏差”。

静态与动态的鸿沟：大多数强大的目标检测器，如YOLO、Faster R-CNN等，都是在以ImageNet、COCO为代表的静态图像数据集上训练的。它们擅长识别孤立、清晰的物体，却难以应对视频中常见的运动模糊、部分遮挡以及快速变化的场景。

缺乏关系上下文：传统检测器以“物体为中心”，它只关心“这是什么”，而不关心“它在干什么”或“它和旁边物体的关系是什么”。例如，检测器可能很容易识别出“人”和“杯子”，但如果人正在“举起”杯子，这个交互动作带来的姿态变化和遮挡，可能会导致检测器对“杯子”的置信度降低，甚至漏检。

弱监督下的信息缺失：在弱监督设定下，模型无法获得物体精确的位置（边界框）信息进行训练，只能依赖外部检测器生成的伪标签。如果检测器本身就不准确，就会产生“差生教差生”的恶性循环，从源头上限制了整个DSGG模型的性能上限。

正如TRKT论文中的分析所示，目标检测的质量是当前弱监督DSGG任务中最主要的性能瓶颈。解决了它，就等于牵住了问题的“牛鼻子”。

TRKT核心解法：时序增强与关系敏感的知识迁移

面对上述挑战，TRKT提出了一套精巧的知识迁移框架，其核心思想是：不直接修改外部检测器，而是从视频自身挖掘出“关系”和“时序”知识，用这些知识来“校正”和“增强”检测器的结果。

该框架主要由两部分构成：

1. 关系敏感的知识挖掘 (Relation-aware Knowledge Mining)

TRKT首先利用一个轻量级的解码器，仅根据图像中包含的物体和关系类别（例如，“人”、“桌子”、“人-坐在-桌子旁”），来生成“类别特定注意力图”。这些图能高亮显示与特定物体或关系最相关的图像区域。

物体注意力图：高亮显示图像中可能存在某个物体（如“人”）的区域。

关系注意力图：高亮显示交互发生的区域（如“坐”这个动作发生的区域）。

通过这种方式，模型学会了将视觉特征与语义关系联系起来，生成的注意力图天生就具备了“关系感知”能力。

2. 时序信息的融入 (Temporal Information Integration)

为了让知识具备动态感知能力，TRKT进一步利用光流（Optical Flow）信息来关联相邻帧的注意力图。光流能够捕捉物体的运动轨迹。通过融合邻近帧的信息，注意力图不仅能更好地处理单帧图像中的运动模糊，还能对被短暂遮挡的物体进行更鲁棒的定位。这就实现了“时序增强”，让挖掘出的知识既懂关系，又懂运动。

双流融合：精确定位与置信度提升的“双剑合璧”

挖掘出这些宝贵的“时序增强关系敏感知识”后，如何用它来优化外部检测器的结果呢？TRKT设计了一个巧妙的双流融合模块（Dual-stream Fusion Module, DFM），包含两条并行的优化路径：

定位修正模块 (Localization Refinement Module, LRM)：该模块利用关系感知的注意力图作为“热力图”向导，对外部检测器给出的物体边界框（Bounding Box）进行微调。如果检测框偏离了注意力图高亮的区域，LRM会将其“拉”回到更准确的位置，从而提升定位精度。

置信度提升模块 (Confidence Boosting Module, CBM)：对于那些被外部检测器赋予较低置信度，但又明确出现在注意力图高亮区域的物体，CBM会提升其置信度分数。这有效解决了因遮挡、姿态奇特等原因导致的漏检问题，让更多相关的物体能被“看见”。

通过LRM和CBM的“双剑合璧”，TRKT有效地将从场景上下文中提炼的知识，迁移并应用到了目标检测任务上，最终生成了质量远超以往的伪标签，为后续的场景图生成模型训练打下了坚实的基础。

实验验证：效果显著，性能全面超越

TRKT在权威的Action Genome数据集上进行了详尽的实验，结果令人瞩目：

目标检测性能大幅提升：与基线模型相比，TRKT在目标检测的平均精度（AP）和平均召回率（AR）上分别提升了惊人的13.0%和1.3%。这直接证明了其知识迁移策略的有效性。

场景图生成性能新高：得益于高质量的伪标签，最终的动态场景图生成性能（以Recall@K为指标）也获得了全面提升，在所有评估指标上均超越了现有的最优方法，包括PLA和利用视频字幕的NL-VSGG。

各模块贡献明确：消融实验表明，定位修正（LRM）、置信度提升（CBM）以及时序增强（IAA）三个模块都对最终性能有显著贡献，且它们之间存在互补效应，共同作用时效果最佳。

可视化结果也直观地展示了TRKT的优势。相比基线模型，TRKT生成的场景图不仅包含了更完整的物体和关系，而且对人和物体的定位也更加精准，使得生成的“故事”更加贴近真实场景。

总结与展望：迈向更懂视频的通用人工智能

TRKT的成功，为解决弱监督学习中的“数据-模型”循环依赖问题提供了一个全新的范式。它巧妙地绕过了直接改进庞大预训练模型的难题，而是通过挖掘任务内在的上下文知识（关系与时序），来赋能和优化上游任务（目标检测），最终实现了端到端性能的飞跃。

这项研究不仅对动态场景图生成领域意义重大，其核心的知识迁移思想也对其他依赖外部模块的复杂视觉任务，如视频问答、机器人导航、自动驾驶等，具有重要的借鉴意义。它让我们看到，未来的大模型和AGI系统，必然需要更深入地理解场景的动态性与实体间的复杂关系。

想了解更多前沿的AI资讯和大模型技术动态，欢迎访问 AIGC 导航站 (https://aigc.bar)，获取最新的AI日报和深度解析，与我们一同见证人工智能的未来。