破解Token危机：扩散模型数据潜力3倍于自回归，重训480次性能仍攀升 | AI新闻

type

status

date

slug

summary

引言

随着人工智能（AI）技术的飞速发展，以ChatGPT、Claude等为代表的大语言模型（LLM）已经深入到我们工作和生活的方方面面。然而，在这场AI革命的背后，一个严峻的挑战正悄然浮现——“Token危机”。高质量的训练数据正以惊人的速度被消耗，数据枯竭已成为限制模型性能持续提升的关键瓶颈。当整个行业都在为“数据荒”而焦虑时，一项突破性研究为我们带来了新的曙光。

来自新加坡国立大学的科研团队发现，扩散语言模型（DLMs）在数据利用效率上远超传统的自回归（AR）模型，其数据潜力高达后者的3倍以上，并且在极端的数据重复训练下，性能依旧能持续攀升。这一发现不仅可能从根本上解决Token危机，也为未来大模型的发展指明了新的方向。想要获取更多前沿的AI资讯和深度解读，可以访问AI门户网站 https://aigc.bar。

Token危机：大模型发展的“数据墙”

Scaling Laws（缩放定律）告诉我们，更大的模型需要更多的数据才能发挥其全部潜力。然而，互联网上的高质量文本数据是有限的。经过清洗、去重后，可用于训练的优质“Token”更是稀缺资源。这意味着，当我们追求更强大的通用人工智能（AGI）时，我们首先撞上的可能不是算力墙，而是“数据墙”。这不仅是OpenAI等头部公司面临的问题，也是整个AI领域需要共同应对的挑战。

扩散语言模型（DLM）：数据潜力的新星

在这一背景下，扩散语言模型（DLM）作为一种新兴范式，展现出了惊人的潜力。研究团队通过从零开始预训练一系列DLM和AR模型（规模最高达80亿参数），得出了一个核心结论：

在数据受限的场景下，无论模型规模大小，DLM的表现都全面优于AR模型。

研究表明，DLM的最终数据潜力是AR模型的三倍以上。这意味着，用同样一份数据集，DLM能够“榨取”出比传统模型多得多的知识和能力，这对于缓解数据焦虑至关重要。

惊人发现：480次重复训练，性能为何不降反升？

为了探究DLM的数据利用极限，研究团队进行了一项堪称“疯狂”的实验：他们用同一份仅有10亿token的数据集，对一个10亿参数的DLM模型重复训练了480个epoch（相当于把同样的数据“喂”了480遍）。

结果令人震惊： * 在常识推理基准HellaSwag上，模型准确率达到了约56%。 * 在综合多任务语言理解基准MMLU上，准确率达到了约33%。

这两个成绩都显著优于使用同样数据训练的AR模型。更关键的是，即使在如此极端的数据重复条件下，模型的性能依旧没有出现饱和迹象，仍在持续提升！

这引出了一个有趣的“过拟合悖论”：通常认为，在验证集上反复训练会导致模型过拟合，性能下降。但在DLM的实验中，虽然验证集损失（loss）确实在上升（出现过拟合迹象），但模型在下游实际任务中的表现却越来越好。

研究人员通过可视化发现，尽管整体损失在增加，但模型区分正确答案与错误选项的能力（△NLL）却在持续增强。这表明，DLM能够从有限的数据中不断深化其底层的判别能力，这正是其强大的关键所在。

深度剖析：DLM为何如此强大？

DLM之所以能成为“超级数据学习者”，主要源于其两个核心优势：

1. 超越因果：双向建模的威力 传统的自回归模型（如GPT系列）采用的是单向因果建模，即根据前面的词预测下一个词。但现实世界的文本数据（尤其是网页数据）并非完全遵循严格的因果顺序。DLM借助其扩散目标和双向注意力机制，能够同时从前后文信息中进行学习和建模，从而更全面、更深刻地理解数据，从中提取更多有效信息。

2. “超密集”计算换取更高智能 DLM在架构上是“超密集模型”，它们在每个任务上需要更多的计算量（FLOPs）。这种计算上的“高密度”直接转化为了更强的智能和数据学习能力。相比之下，AR模型的设计更侧重于计算效率和GPU利用率，这在一定程度上限制了其建模能力的上限。随着未来算力成本的持续下降，数据可用性将成为更关键的瓶颈，而这正是DLM大放异彩的领域。

结论与展望

新加坡国立大学团队的这项研究，为整个AI领域投下了一颗重磅炸弹。它雄辩地证明了，面对迫在眉睫的Token危机，我们并非束手无策。扩散语言模型（DLM）以其超强的数据学习能力和对数据重复的鲁棒性，为我们提供了一条全新的、极具潜力的技术路径。

未来，训练顶级大模型的核心可能不再是疯狂地抓取和清洗海量新数据，而是转向如何更高效地利用现有数据。通过优化模型架构（如DLM）、改进训练方法和设计更高效的提示词（Prompt），我们可以从有限的数据中挖掘出无限的可能。

这项突破预示着一个新时代的到来，一个更加注重数据效率和模型内在能力的时代。想要持续追踪关于LLM、AGI以及AI变现的最新动态和AI日报，请保持关注 https://aigc.bar，与我们共同见证人工智能的下一次飞跃。