Transformer之父警告：AI创新已死，大模型内卷何时休？

type

status

date

slug

summary

资本与KPI下的“创新窘境”

Jones的核心观点尖锐而直接：海量的资金与顶尖的人才涌入，非但没有拓宽AI研究的边界，反而将其“收窄”了。这背后是“探索（Exploration）”与“利用（Exploitation）”的严重失衡。

当前的AI领域，尤其是大模型赛道，像一个将“利用”旋钮拧到最大的机器。资本追求快速回报，研究者为了发表论文、刷新SOTA（State-of-the-Art）指标而疲于奔命。结果就是： * 挤牙膏式创新：大家都在同一个Transformer架构上修修补补，通过堆叠参数、增加数据量来获得边际性能提升。 * 研究同质化：成千上万的论文标题和内容大同小异，真正敢于挑战底层架构、另辟蹊径的想法却寥寥无几。

Jones用一个生动的比喻来形容这种状况：这就像在Transformer诞生前，整个学术界都在费力地对RNN（循环神经网络）进行“徒手抛光”。当Transformer这艘飞船出现时，所有为马车打造的精致尾翼都瞬间失去了意义。我们是否正在重演历史，在为今天的“马车”疯狂打磨，而忽略了远处可能出现的“飞船”？

回忆Transformer的“黄金时代”：自由是创新的土壤

最具有讽刺意味的是，Transformer本身的诞生过程，恰恰是当前行业风气的反面。Jones回忆，当年在谷歌孕育Transformer的日子，充满了自由探索的氛围。

那是一个“午饭闲聊+白板涂鸦”式的自下而上的过程。没有严格的KPI考核，没有必须完成的论文指标，团队拥有充分的自主权去追随好奇心。正是这种看似“散漫”的环境，给了灵感生根发芽的空间。先有自由，后有创新——这个朴素的道理，在今天这个动辄七位数年薪抢人的人工智能时代，反而成了最稀缺的资源。

当绩效和短期回报成为首要目标时，低风险、见效快的项目自然成为首选。而那些需要长期投入、充满不确定性、甚至可能失败的颠覆性研究，则被束之高阁。

Sakana AI的实验：我们能否“买得起”更多探索？

离开谷歌后，Llion Jones在日本创立了Sakana AI，试图复刻并优化当年诞生Transformer的“配方”。他的目标很明确：将探索的旋钮重新调高。

在Sakana AI，他推崇一句研究格言：“你只应该做那些如果不是你来做就不会发生的研究。”

这种文化已经初见成效。公司一位研究员提出了一个在神经网络中融入类脑同步机制的大胆想法，这种想法在他之前的雇主那里可能会被视为“浪费时间”。但在Sakana，Jones给了他一周的时间去自由探索。最终，这个名为“连续思维机器”的项目取得了巨大成功，甚至登上了顶级AI会议NeurIPS的舞台。

这个例子雄辩地证明，对于顶尖人才而言，探索的自由远比高薪酬更有吸引力。聪明的大脑天然地向往能够让他们发挥创造力的环境。

Transformer的悖论：成功的受害者？

Jones的“分手信”并非要全盘否定Transformer。他承认，基于现有架构的重要工作仍将持续创造巨大价值。他的真正担忧在于，Transformer可能成为了自身成功的受害者。

正是因为现有技术过于强大和灵活，它极大地降低了人们去寻找更好替代方案的动力。如果当前的技术存在明显缺陷，或许会有更多人投身于下一代架构的探索。我们正处在一个“舒适”的局部最优解中，而忘记了去寻找可能存在的、更优越的全局解。以目前AI行业的人才与资源密度，我们完全“买得起”更多的探索性尝试。

结论：呼唤AI领域的“文艺复兴”

Llion Jones的疾呼，是对整个AI生态系统的深刻反思。从投资人、企业管理者到一线研究员，或许都应该停下来思考：我们是在真正地推动人工智能向着AGI（通用人工智能）迈进，还是仅仅在一条拥挤的赛道上进行着无休止的内卷？

平衡“利用”与“探索”，给予研究者更多的信任和自由，鼓励那些看似“不切实际”的奇思妙想，或许才是打破当前僵局、催生下一个“Transformer时刻”的关键。

想要获取更多前沿的AI资讯、深入的AI新闻解读，或是学习实用的Prompt技巧，欢迎访问AIGC导航站（https://aigc.bar），这里是连接你与未来人工智能世界的门户。