OpenAI失去「CUDA内核之神」：大模型算力与AI未来

type

status

date

slug

summary

category

icon

password

网址

今天，一条前两天的推文开始热传，内容只有 5 个词：Scott Gray 已离开 OpenAI。

这位有着「CUDA 内核之神、全球最强 GPU 程序员」称号的著名工程师成为了 OpenAI 今年流失的又一位重量级人才。他本人虽然没有发推确认，领英页面也尚未更新，但其在 𝕏 和 Bluesky 上的个人简介均已从「GPU Geek at @OpenAI」改成了「FormerGPU geek at @OpenAI」，并且还在前面增加了一句「目前独立，正在探索一些神经科学启发的 AI 方法」

一位在 OpenAI 待了十年的工程师，用一行简介宣布了自己的离开。

好巧不巧。刚好十年前的 8 月 16 日，OpenAI 发布了一篇题为《Team update》的博客，介绍当月加入的五位全职成员。名单上有 Dario Amodei、Filip Wolski、Jack Clark、Scott Gray和 Zain Shah。

https://openai.com/index/team-update-august/

十年后的今天，Dario 是 Anthropic 的 CEO，Jack Clark 在 Anthropic 负责政策，而 Scott Gray 把 OpenAI 标记成了「former」。

截至目前，OpenAI 没有就 Scott Gray 的离职发布任何声明，Gray 本人也没有发文具体说明。目前所有报道的共同信源，都是他社交账号简介的改动，以及随后在 X 上扩散的一条爆料帖。具体离职日期、去向、是否已有新公司，均无公开信息。

值得一提的是他账号上的另一个细节。Gray 最后一条原创 𝕏 推文停在 2023 年 11 月 20 日，内容是一句话：「OpenAI is nothing without its people.」那是 Sam Altman 被董事会解职后的第三天，超过七百名员工联署要求董事会辞职，这句话在当时的 OpenAI 内部被反复复制粘贴，算得上是一次集体效忠。在那之后，他虽然回复了一些推文（回复也已在 2025 年 2 月之后停止），但再未更新原创推文。

Scott Gray 简介

我们此前有一篇文章专门介绍过 Scott Gray，参阅《CUDA 内核之神、全球最强 GPU 程序员？OpenAI 的这位幕后大神是谁》。这里再简单盘点一下。

他的声名起于 Nervana Systems 时期。当时绝大多数开发者依赖 NVIDIA 的 CUDA C/C++ 和 cuBLAS、cuDNN 等官方库，多层软件抽象屏蔽了硬件细节，也构成了性能天花板。Gray 的判断是必须绕过这些抽象层，于是他写了 maxas，一个针对 Maxwell 架构的汇编器，让开发者可以直接书写 SASS 机器码，手动分配寄存器、管理内存延迟、控制指令流水线。

为了证明这条路走得通，他用 maxas 手写了一个 SGEMM 内核。在 GM204 GPU 上，该内核达到硬件理论峰值的 98%，并且比 NVIDIA 官方闭源、同样由专家手写的 cuBLAS 快 4.8%。随后的 maxDNN 把同一套方法论推广到卷积：在 AlexNet 的所有卷积层上稳定达到 93% 至 95% 的计算效率，而同期 cuDNN 的效率在 32% 到 57% 之间大幅波动。

这是他后来一切工作的方法论底色：不接受抽象层给定的性能上限。

2016 年 8 月的那篇 OpenAI 团队更新里，官方对他的介绍只有两句技术评价，大意是他此前在 Nervana 专注于优化深度网络在 GPU 上的性能，而他在稠密线性代数与卷积上的汇编级优化「至今仍是最快的」。同一段还提到，不写代码的时候，他通常在读神经科学及相关领域的最新研究。

看起来，十年后他的新方向「神经科学启发的 AI 方法」，其实是回到了那个一直没变的兴趣。

加入 OpenAI 后，他的角色从「优化者」变成了「使能者」。2017 年，他与 Alec Radford、Durk Kingma 一起发布了块稀疏 GPU 内核。不同于移除单个权重的非结构化稀疏，块稀疏把权重矩阵切成固定大小的块并整块置零，专门的内核在计算时完全跳过零值块，速度可以比处理稠密矩阵的 cuBLAS 或处理通用稀疏矩阵的 cuSPARSE 快上几个数量级。这套内核当时被开源，直接催生了后续一系列稀疏注意力工作。

OpenAI 块稀疏内核示意图，https://cdn.openai.com/blocksparse/blocksparsepaper.pdf

顺着这条线往下，2019 年的《Generating Long Sequences with Sparse Transformers》作者是 Rewon Child、Scott Gray、Alec Radford 和 Ilya Sutskever——把注意力的时间与显存开销从 O(n²) 降到 O(n√n)，论文明确把「快速注意力训练内核」列为三项贡献之一。

再往后，他的名字出现在 GPT-3 的作者名单、《Scaling Laws for Neural Language Models》的作者名单、DALL·E 的作者名单和 OpenAI Five 的技术报告里。

在这期间，他还收获了「CUDA 内核之神」的称号。那是在 2025 年 9 月，前 OpenAI 员工 Rohan Pandey 在 𝕏 上发帖称，公司里大约只有一个人负责推理侧的 CUDA 内核，同事们把他写的注意力内核叫作「the Bob kernel」，这个内核每天在数十万张 GPU 上执行数以万亿次计。帖子火了之后，评论区普遍猜测「Bob」就是 Scott Gray。

相关帖子还提到：全世界能为训练过程（尤其是反向传播）写出高性能 CUDA 内核的人，可能不到一百个。因为这项技能要求同时精通并行计算理论、GPU 硬件架构和深度学习算法，而大多数从业者停留在应用层或推理优化层。

而现在，Scott Gray 离开了。

2026 年，OpenAI 已流失不少人

OpenAI 今年流失了不少人才。据 𝕏 博主 Chubby 盘点，OpenAI 今年已有 12 位高级 leader 离职，覆盖运营、商业、产品、研究、安全、伦理和硬件。

前些天，在 OpenAI 工作八年、曾任 CFO 与 COO 的 Brad Lightcap 在 𝕏 上宣布离职，称要「start something new」；两天后，去年 12 月才上任的首席营收官 Denise Dresser 宣布离开，由 Wiz 前总裁兼 COO Dali Rajic 接任。

商业与产品线上，应用业务 CEO Fidji Simo 在 4 月因健康原因休假，7 月卸任全职转为兼职顾问；前 CMO Kate Rouch 在 4 月因治疗需要卸任；企业业务 CTO Srinivas Narayanan 同在 4 月宣布离开。研究与产品侧，主导 OpenAI for Science 的 Kevin Weil、Sora 负责人 Bill Peebles 在 4 月同日宣布离职，Weil 目前在做一家 AI 科学创业公司；Barret Zoph 今年 1 月从 Thinking Machines Lab 回归 OpenAI 带领企业级 AI 销售，6 月再度离开，公司未说明原因。

安全与伦理线的三人集中在 7 月：安全系统负责人 Johannes Heidecke 在安全团队重组中离开，职责并入 Mia Glaese 领导的研究部门；首席未来学家 Joshua Achiam 在近九年后离职，他此前领导的使命对齐团队已于今年 2 月被解散；伦理负责人 Chloé Bakalar 加入不到一年即离开。更早的 3 月，机器人与消费硬件负责人 Caitlin Kalinowski 因不认同公司与五角大楼的合作而辞职，她在 LinkedIn 上表示相关问题应当经过更充分的审议，后来又补充说自己的异议主要针对治理流程。

这份名单还遗漏了一个：今年 1 月，负责推理模型的研究副总裁Jerry Tworek 在近七年后离职创业，理由是想做一些「在 OpenAI 内部很难做」的研究方向。

结语

Scott Gray 的离开，或许不会立刻改变 OpenAI 的模型发布节奏。十年积累下来的工程体系不会因为一个人离开而停摆。但对一家越来越依赖规模、效率与成本控制的公司来说，失去这样一位能把硬件性能推到极限、又深度参与过多代核心模型的工程师，仍然不是一个可以轻描淡写的变化。

这次离职所处的时间点也值得关注：OpenAI 正准备上市，变成一家追求收入并参与全球基础设施竞赛的巨型企业。现在，最早塑造它的人，也在重新判断自己下一步想做什么。

Scott Gray 的选择并不是加入另一家前沿实验室或宣布创业，只是在个人简介里说自己正在独立探索「神经科学启发的 AI 方法」。从 2016 年官方介绍中那个业余时间阅读神经科学论文的工程师，到十年后重新把神经科学写进个人简介，这更像是一次绕行许久后的回归：在把现有计算范式压榨到极致之后，他开始寻找另一种可能。

2023 年，Gray 写下「OpenAI is nothing without its people」。今天回看，这句话既是对那场公司危机的表态，也像是一句迟来的注脚。OpenAI 不会因为某一个人的离开而失去一切，但一家公司的方向，终究由留下的人、离开的人，以及他们各自选择去探索的问题共同塑造。

文章来自于"机器之心"，作者 "Panda"。