.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f)
LeCun力荐VISReg：解密JEPA世界模型表征坍塌与最新AI资讯
type
status
date
slug
summary
tags
category
icon
password
网址
JEPA世界模型的底层是Yann LeCun自2017年起持续倡导的自监督学习（Self-Supervised Learning, SSL）。
SSL 无需人工标注即可从海量数据中学习通用表征，但普遍面临一个核心难题——表征坍塌（representation collapse）：模型倾向于把不同输入映射到相同或极少数几个向量上，看似完成了训练，实则未学到有判别力的表征。
为抑制坍塌，主流方法大多依赖一系列启发式技巧（EMA、教师-学生网络、停止梯度、冻结层等）。这些技巧使训练变得脆弱、难以调参，也削弱了方法的可解释性与可扩展性。
另一条路线是通过正则项直接约束表征分布。
LeCun团队提出的VICReg将学习目标拆为方差、不变性、协方差三项，用协方差约束各维度之间的相关性；但协方差仅刻画二阶统计量，无法区分「均值、方差相同，而分布形状迥异」的两种表征。
其后提出的SIGReg基于Cramér–Wold定理，用sketching技术将整个嵌入分布对齐到标准高斯，从而约束完整的分布形状。
然而SIGReg仍存在两个关键缺陷：
• 坍塌时梯度消失：当表征开始坍塌时，SIGReg的梯度随之衰减——坍塌越严重、修正信号越弱，模型难以自行恢复；
• 尺度与形状耦合：未将「幅度大小（尺度）」与「分布形态（形状）」两个独立属性分离，二者在优化中相互干扰，导致在长尾、低质量、低秩数据上适配性较差。
也就是说，在模型最需要梯度信号来逃离坍塌状态时，SIGReg的梯度恰恰趋近于消失。
这正是VISReg要解决的核心问题。
近日，自监督学习新工作VISReg（Variance-Invariance-Sketching Regularization）获图灵奖得主Yann LeCun连续转发并给予高度认可——他在转发时评价道「VICReg begat SIGReg which begat VISReg」（VICReg孕育了SIGReg，SIGReg又孕育了VISReg），一句话点明了这条正则化路线的技术传承。
能获得LeCun如此认可，VISReg究竟强在哪里？
答案在于：它精准命中了LeCun长期押注的JEPA世界模型的核心难题——表征坍塌（representation collapse）。
论文链接：https://arxiv.org/abs/2606.02572
代码 / 预训练权重：https://github.com/HaiyuWu/visreg
项目主页：https://haiyuwu.github.io/visreg/
VISReg将防止坍塌的正则项解耦为「尺度」与「形状」两个独立目标，在不依赖任何启发式训练技巧、也不依赖海量数据的前提下，于15个数据集上综合表现超过7种主流自监督学习方法；其中仅用约1/10的训练数据，即在分布外（OOD）基准上追平DINOv2。
图 2：不同正则方法在表征坍缩各阶段的梯度幅值‖∇ℒ‖模拟。VISReg在坍缩状态下仍能保持强梯度，而SIGReg的梯度几近消失。
核心方法
VISReg对VICReg与SIGReg取长补短：保留VICReg的方差项来控制尺度，同时用基于切片Wasserstein距离（Sliced Wasserstein Distance, SWD）的 sketching 目标替代协方差项来控制形状，并通过停止梯度将二者彻底解耦。整个正则目标由三部分组成。
1.尺度正则（Scale Regularization）
第一部分约束每一维的方差，防止幅值坍缩：
其关键性质在于：当模型坍缩时，该项的梯度趋近于一个常数，从而保证模型能够稳定地恢复——这恰好弥补了SIGReg梯度消失的缺陷。
2.形状正则（Shape Regularization）
第二部分先归一化以消除尺度影响，再单独约束形状。关键的一步是带「停止梯度」（stop-gradient, sg）的归一化：
这里对标准差 σσ施加停止梯度，使得形状损失的优化不会反过来改变尺度——这正是「尺度」与「形状」两个目标真正解耦、互不干扰的机理所在。
归一化之后，再用切片Wasserstein距离将分布的几何形状对齐到各向同性高斯：
其理论依据是Cramér–Wold定理（论文Lemma 3.1）：两个分布相等，当且仅当它们沿单位球面上所有方向的一维投影都相等。因此，只要把高维表征沿足够多的随机一维方向切片后逐一对齐到高斯，就等价于在高维空间对齐了整个分布——这使得可以用廉价的一维排序操作刻画完整的分布形状，而非仅仅二阶统计量。
3.合并目标
第三部分是一个将 batch 均值μ拉向原点的中心化损失
三个正则项按权重组合：
最后用单一超参λ在预测与正则之间平衡，得到完整目标：
与VICReg的对比：VICReg同样将正则解耦为方差 + 协方差，但协方差只刻画二阶统计量；VISReg用基于切片Wasserstein的sketching目标完整刻画了分布形状，同时保留方差项做尺度控制——既保留了VICReg的灵活性，又获得了分布层面的严格性。
仅需约15行PyTorch代码
该正则目标在实现上非常轻量，核心逻辑只需约15行：
def visreg(z, K=64):
1. 中心化损失
mu = z.mean(dim=0)
L_center = mu.pow(2).mean()
2. 尺度损失
z_cent = z - mu
std = z_cent.std(dim=0, unbiased=False)
L_scale = (1.0 - std).pow(2).mean()
3. 形状损失：切片 Wasserstein 距离
znorm = zcent / (std.detach())
W = torch.randn(D, K)
W /= W.norm(p=2, dim=0)
psorted = torch.sort(znorm @ W, dim=0).values
u = torch.arange(1, N+1) / (N+1)
target = Normal(0, 1).icdf(u)
Lshape = (psorted - target).pow(2).mean()
return Lscale + Lshape + L_center
计算复杂度与扩展性
在同等batch规模下，VISReg 在单块 H100 GPU 上的运行速度与显存占用均优于 SIGReg。
更重要的是，K个随机切片可以分摊到多块GPU上：在 M块 GPU 上每块各生成 K/M个切片，效果等价于单卡生成全部K个。
实验中，当单卡切片数不足时，改用8卡、每卡128个切片（合计1024），即可把与「单卡 1024 切片」之间的精度差距从约2.4%缩小到0.22%。这意味着扩大训练规模时 KK可保持常数，几乎不增加单卡负担。
图：在固定K与D时，增加GPU数量带来的线性探测精度变化。当K不足（K = ¼D）时，用8倍的GPU数量即可把精度补齐到K = 2D的水平——这使得在大规模训练中保持常数K成为可能。
实验结果
回到标题的问题——VISReg 到底强在哪里？研究团队在15个数据集（8个域内 + 6个分布外 + ADE20K稠密预测）上，将VISReg与MoCoV3、DINO、iBOT、I-JEPA、MAE、data2vec等7种主流自监督方法进行了对比，场景涵盖天文、医疗、遥感、纹理、花卉等。答案体现在从识别到分割、生成的多个维度上。
1.域内（In-Domain）线性探测
为保证比较公平，实验按是否使用启发式技巧分为两组。在不使用任何启发式技巧的一组中，VISReg领先：ViT-B/16的域内线性探测精度达75.7%，高于MAE（75.1%）；ViT-L/14 进一步提升至77.0%，高于LeJEPA（75.6%）。与使用启发式技巧的iBOT、DINO 相比，VISReg 在常规数据集上仅略低，但在纹理数据集DTD上反超全部方法——这表明其跨域泛化能力源于方法本身，而非人工技巧的堆叠。
2.分布外（OOD）泛化：全面最优
分布外泛化是比域内精度更严格的检验：依赖启发式的方法常在 ImageNet 域内被充分调优，却未必能迁移到差异较大的新分布。研究团队在覆盖医疗（ChestXRay、RetinaMNIST、OrganAMNIST）、天文（Galaxy10）、遥感（AID）、纹理（DTD）的 6 个 OOD 数据集上评测，这些数据集与 ImageNet 训练域完全无关。结果显示，VISReg 在所有方法、所有骨干规模上都取得了最佳的平均 OOD 精度，甚至超过部分使用启发式技巧、且骨干更大的方法。
图4：平均 OOD 线性探测精度。VISReg 全面优于 iBOT、DINO、MoCoV3、I-JEPA、MAE、data2vec 等方法。
如图4所示，ViT-B/16 的 VISReg 平均 OOD 精度为 70.19%，ViT-L/14 为 70.63%，明显高于 MAE（67.85%），并优于 MoCoV3（69.46%）、DINO（69.56%）、I-JEPA（68.55%）等方法。
3.数据效率：以 1/10 数据比肩 DINOv2
将 VISReg（ViT-L/14）在 ImageNet-22K（约 1400 万张图像）上预训练后，其 6 个 OOD 数据集的平均精度达72.94%，与在10 倍规模的 LVD-142M（1.42 亿张图像）上训练的DINOv2（72.93%）基本持平。也就是说，VISReg 以约1/10 的数据达到了同等水平。（作为对照，同为 ViT-L/14、但仅用 ImageNet-1K 预训练的 VISReg 平均精度为 70.63%。）这说明其学到的表征具有很强的通用性。
图5：在 ImageNet-22K 上预训练的 VISReg，在 OOD 基准上比肩用 10 倍数据（LVD-142M）训练的 DINOv2。
4.迁移微调：全面超过 DINO
尽管 VISReg 在部分域内数据集上的线性探测精度略低于 DINO，但经过微调后，它在 CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10 全部五个数据集上均超过 DINO 与有监督预训练——这表明其表征分布更均匀、冗余更低、可迁移性更强。
图：迁移学习对比。微调后，VISReg 在所有测试数据集（CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10）上都优于 DINO 与有监督预训练。
5.稠密预测与生成引导
VISReg 的优势不局限于分类。在ADE20K 线性语义分割上（ViT-B/16），其 mIoU 为30.16，高于 DINO（29.40）与 MAE（23.60），仅次于 MoCoV3（31.69）；在不使用任何启发式技巧的前提下，这一结果具有竞争力。论文亦坦言，稠密预测与最佳方法仍有差距，是后续优化的重点。
图 7：ADE20K 上的线性语义分割。在不使用任何启发式技巧的情况下，VISReg 取得了具有竞争力的 mIoU，仅次于 MoCoV3。
在生成引导上（SiT-B/2，iREPA 框架，10 万步训练），由 VISReg 特征引导的生成在四项指标中的三项优于 DINO：gFID40.36（DINO 41.15）、Precision51.38（DINO 50.51）、Recall61.26（DINO 60.70），IS 基本持平（33.48 vs 33.47）。这说明 VISReg 学到的表征作为生成引导信号同样更优。
图8：使用 SiT-B/2、分别由 VISReg 与 DINO 特征引导的图像生成。VISReg 在多数指标上都提供了更好的引导（更低的 gFID、更高的 Precision 与 Recall）。
6.低质量数据上的鲁棒性
在长尾分布（ImageNet-LT）与低秩（Galaxy10）等低质量数据集上，VISReg 能稳定地防止坍塌并学到有意义的表征，而 DINO 在缺乏精细调参时直接失败。
表 1：ImageNet-LT上的线性探测精度（ViT-S/8，从头训练 400 epoch；* 表示增大形状损失的权重）。DINO在长尾数据上几近完全失败（Overall仅5.13%），而VISReg*取得了全面最优。
表 2：Galaxy10 上的域内线性探测精度（从头训练，测试低秩任务；* 表示增大形状损失的权重）。SIGReg、SWD、VISReg 都能成功避免训练坍缩并取得良好精度，而 DINO 难以学到有意义的特征。
结论
VISReg 表明：将表征正则解耦为「尺度」与「形状」两个独立组件，可以得到一种比现有方法更稳定、更高效、泛化性更强的自监督学习方法。
在不使用任何训练启发式技巧的前提下，它在图像识别、分割与生成引导等多个维度上取得了领先或接近领先的结果，并以约 1/10 的数据达到了 DINOv2 的 OOD 水平。这为 JEPA 世界模型长期存在的表征坍塌问题提供了一种新的正则化解法。
参考资料：
https://arxiv.org/abs/2606.02572
文章来自于"新智元"，作者 "LRST"。
Loading...