DeepSeek mHC复现：8张H100揭秘万倍信号爆炸与架构救赎

type

status

date

slug

summary

传统残差连接的局限与超连接的诱惑

自 2016 年 ResNet 提出以来，x + F(x) 的残差连接设计几乎成为了所有现代 Transformer 模型（如 GPT-4、Claude、Llama）的标配。这种设计虽然简单稳定，确保了梯度能够顺畅地流向深层网络，但它本质上是一条单一的信息流。

DeepSeek 提出的“超连接”（Hyper-Connections, HC）试图打破这一限制。它不再局限于单一流，而是将残差流扩展为 n 条并行流，并通过可学习的混合矩阵来控制信息的路由。理论上，这大大增加了模型的表达能力，且计算开销极低。然而，这种自由是有代价的。不受约束的混合矩阵不仅能路由信号，还能放大信号。在 人工智能 模型训练中，这种微小的放大如果层层叠加，最终会导致数值系统的崩溃。

10M 到 1.7B：从“漂移”到“爆炸”

Kolasinski 的复现实验分为两个阶段，生动地展示了 大模型 训练中的“蝴蝶效应”。

在第一阶段，他使用 TinyShakespeare 数据集训练了一个 10M 参数的小型模型。结果显示，普通的超连接（HC）将信号放大了 9.2 倍。虽然这比标准残差连接不稳定，但在小规模下尚可接受，并未导致模型崩溃。

然而，当他在第二阶段租用 8 张 H100，将模型规模扩大到 1.7B（17 亿参数）时，情况发生了质变。Amax（衡量矩阵放大倍数的指标）不再是温和的增长，而是彻底失控。实验数据显示，HC 架构的信号放大了 10924 倍！

相比之下，DeepSeek 官方论文中提到的 27B 模型“仅”观察到了 3000 倍的放大。Kolasinski 的复现结果表明，这种不稳定性比预想的还要严重。这就好比原本应该平静流淌的小溪，突然变成了摧枯拉朽的洪水。对于追求稳定的 LLM 训练来说，这无疑是一颗定时炸弹。

mHC 的魔法：用 Sinkhorn 算法强制守恒

面对信号爆炸，DeepSeek 给出的解决方案既优雅又数学化：mHC（流形超连接）。

mHC 的核心思想是“限制”。它不再允许混合矩阵随意生长，而是通过 Sinkhorn-Knopp 算法，强制将矩阵约束为“双重随机矩阵”（Doubly Stochastic Matrix）。这种矩阵的行之和与列之和都必须为 1。这意味着，信息只能被混合、路由或加权平均，但绝不能被放大。

在 Kolasinski 的所有实验中，无论是 10M 还是 1.7B 参数，无论是何种随机种子，mHC 的 Amax 值始终稳定在 1.0。这不仅仅是数值上的胜利，更是一种物理学意义上的“守恒定律”回归。在 AI新闻 频出的今天，这种基础架构层面的稳健性创新，往往比单纯的模型参数堆叠更具价值。

第 0 层的“金丝雀”与 Scaling Law 的警示

复现实验中还有一个令人意外的发现：不稳定性并非在网络深层累积爆发，而是始于输入端。

在 HC 架构中，第 0 层（直接接收原始 Embedding 的层）率先变红，其混合矩阵在训练初期就失控了。这是因为第 0 层没有 LayerNorm 的保护，必须直接面对原始输入的冲击。如果尺度不匹配，它就会试图通过放大来补偿。

此外，Kolasinski 绘制的 Scaling Law 曲线令人担忧。从 10M 的 9.2 倍到 1.7B 的 10924 倍，如果按照这个趋势外推，当模型达到 100B（千亿参数）时，信号放大倍数可能接近 400,000 倍。这种指数级的增长再次证明，在通往 AGI 的道路上，简单的架构扩展是行不通的，必须引入像 mHC 这样的原则性约束。

结论：架构创新是 AI 变现与落地的基石

DeepSeek 的 mHC 及其复现工作告诉我们，残差连接不仅仅是一个工程技巧，它更像是一种必须遵守的物理定律。HC 打破了信号守恒，导致了潜在的灾难；而 mHC 通过数学手段强制恢复了这一守恒。

对于关注 AI变现 和 大模型 应用的开发者来说，这一发现具有重要的指导意义：在追求模型规模和性能的同时，底层的数值稳定性决定了训练的成败。Taylor Kolasinski 的工作不仅验证了 DeepSeek 的理论，也为社区贡献了宝贵的实战经验——只需不到 10 行代码的 Sinkhorn 投影，就能消除一种巨大的训练风险。

想要了解更多关于 ChatGPT、Claude 以及最新 AI日报 和技术干货，请持续关注国内领先的 AI门户 AIGC.BAR，我们致力于为您提供最前沿的 AI资讯 和 Prompt 技巧。