AI资讯文章2026-7-25稀疏自编码器与几何弯曲:Gemma 2 研究推翻“活跃特征面携带更多整体性”预设一项针对 Google Gemma 2 2B 模型的预注册研究表明,稀疏自编码器(SAE)的活跃特征面所携带的整体性(Holonomy)实际上少于对照组,这一“反转”发现为理解大模型内部的语义聚集与几何结构提供了新的视角。
稀疏自编码器与几何弯曲:Gemma 2 研究推翻“活跃特征面携带更多整体性”预设
一项针对 Google Gemma 2 2B 模型的预注册研究表明,稀疏自编码器(SAE)的活跃特征面所携带的整体性(Holonomy)实际上少于对照组,这一“反转”发现为理解大模型内部的语义聚集与几何结构提供了新的视角。