ARTICLE SIGNAL
揭秘Grok背后的AI大佬盛颖:SGLang、xAI与Infra的浪漫
盛颖,xAI推理负责人,SGLang,RadixArk,Grok官网,Grok官方中文版,Grok国内使用,AI基础设施,大模型推理,开源平权,本文深入解读前xAI推理团队负责人盛颖的AI基建之路,探讨大模型时代的底层技术变革。
type
status
date
slug
summary
tags
category
icon
password
网址
她是xAI前推理团队负责人。
她研究并发起的开源推理引擎SGLang,已经成为众多大模型部署和推理的重要底层工具,也是目前AI infra领域最具影响力的开源推理框架之一。
她本科毕业于上海交通大学ACM班,之后先后在哥伦比亚大学、斯坦福大学取得计算机科学硕士和博士学位。她的研究经历横跨算法、形式化验证和大模型系统。
她就是我们此次的采访嘉宾——盛颖。
大模型浪潮兴起之后,盛颖作为LMSYS开源社区的核心成员,参与推动了一系列具有行业影响力的项目。
之后,盛颖加入xAI,共同领导Grok的推理团队,将开源研究带入全球最前沿的大模型工程实践。如今,她从SGLang开源生态中孵化出创业公司RadixArk,希望把只有少数科技巨头才能拥有的前沿AI基础设施,变成整个行业都可以使用的开放技术底座。
RadixArk创立之初便完成1亿美元种子轮融资,投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物。
这次对谈,我们从盛颖眼中的数学之美、论文和低谷,聊到SGLang、xAI与RadixArk,也聊到了一个人如何逐渐理解自己的天性,并决定不再与之对抗。
盛颖说,她在乎的不是“making impact”,而是那些她认为正确的事情,最终有没有发生。从“世界与我无关”,到“想要构建那个跟强力AI共存、且人类不会输的未来”。以下,是盛颖的故事。
陈茜:非常感谢盛颖,欢迎做客《硅谷101》。
盛颖:感谢你们的采访。
陈茜:我看你们是刚刚搬来这个新的办公室,你们现在大概多少人?
盛颖:对,6月1号刚搬过来,现在有40多人。
陈茜:扩张会非常迅速吗?
盛颖:我们扩张的规模增长得比想象中快,各个地方都需要人,能招进来的合格候选人也比我想象的多,所以我们也稍微有点压力,但已经在控制。
陈茜:今天我们会讲一讲你整个的学生时代,到之后的研究时代,再到你出来在xAI,还有你自己现在的创业公司。
你大学在上海交大上了ACM的荣誉班,2017年就来到了美国哥伦比亚大学读硕士学位。当时出国是因为大家都要出国吗?为什么选这条路呢?
盛颖:确实也是因为当时很多人要出国,但我其实对出国的概念知道得很晚。我从江西到上海读本科的时候,经历了一次很强的文化冲击。我身边的人更理解职业发展、人生发展,他们有更多的规划,而我其实处在一个无知状态。
我记得本科刚毕业的时候,一开始甚至没有申到什么(学校)。我申请了美国的大学,但很长一段时间都没有拿到录取通知。当时我拿到了香港中文大学博士的录取通知,甚至已经接了。但申请是有一个君子协议的,截止到4月15号。
君子协议过了的第二天,我突然收到哥大发来的一个很普通的硕士录取通知。它其实是个很普通的录取通知,很多人都能拿到。但我当时就觉得我想接触一些新的东西,因为那个时候的学术中心还是在美国。哪怕哥大的这个硕士项目不是一个特别顶尖的项目,我还是想出去看看。我当时给我爸打电话,问前面的博士录取通知能不能毁约,我还需要交一笔违约金。我犹豫了一下,但我爸非常快地回答,思考不到一分钟就说:“好,你去。”
陈茜:你说你从江西到上海,其实是有一段文化冲击的。那你从上海到美国,是不是也经历了文化冲击?
盛颖:也有吧。早期的经历里,我确实每一段都是舒适圈被打破。但我在纽约的感受不太一样,纽约是很包容的一个城市。我去纽约的这个冲击其实不太像冲击,我感到不一样,但我觉得自己极大地被包容了。
陈茜:具体体现在什么方面呢?
盛颖:当时纽约的文化让我觉得没有人盯着我看,没有人在乎我穿什么、想什么、做什么,我想要什么。我在纽约感受到的那个冲击,更多的是一个不需要被评判、也不需要评判别人的冲击。这个冲击是从一个被限制的状态到一个完全自由的状态,它虽然是个冲击,但其实是个更放松的过程。
陈茜:我看你在哥大硕士阶段发表的论文还是比较偏理论的,主要是测试函数、线性回归的数学性质。后来到了斯坦福读博士的时候,你选择了形式化验证方向。能不能先跟我们说一下,在哥大你从事的这些研究,对你后来的研究有产生任何影响吗?
盛颖:我刚上研究生的时候是没有想要做研究的。但第一学期上了一门计算复杂性的课,当时觉得很有趣。(注:计算复杂性理论(Computational complexity theory):理论计算机科学和数学的一个分支,它致力于将可计算问题根据它们本身的复杂性分类,以及将这些类别联系起来。)我又碰巧交了一些当时的博士生朋友,他们都是做理论的。我就觉得这个领域非常有意思,去找老师和这些同学问能不能有一些问题可以研究。研究了一段时间觉得很有趣,也有成果,所以自然而然地就到了斯坦福。
陈茜:你研究生毕业的时候,有考虑过要工作,还是说要申请博士吗?
盛颖:我一开始没有想要申请博士,或者说我也没有觉得我不会申请博士,但我没有盯着这个目标去,我觉得它是开放的,所以我保留了这个选项,探索了一下。后来我发现理论的问题非常有意思,自己也非常享受,当时觉得我甚至不需要赚很多钱,我想stay poor(保持清贫),想找一个没有人的地方。我有一次去普林斯顿参加一个workshop,当时被那个环境直接包围了。我进到普林斯顿那个校园环境里面,突然就觉得与世无争。
陈茜:非常学术,跟哥大不一样。
盛颖:它也不是学术,它就是与世无争。你进到那里的感觉就是,人世间很多大家所在乎的东西、你平时去挣扎沉浮的东西,都非常没有意义,我当时有这样一个感觉。
陈茜:是学校的环境给你这样的感觉,还是说那边的人的氛围是那样的?
盛颖:应该还是那个workshop给我带来的,那个环境加上workshop里的人讨论的氛围感。那个氛围感让我觉得所有事情都是不重要的,人的想法、七情六欲都是不重要的,甚至看上去有点荒诞。
陈茜:那什么是重要的?
盛颖:就是什么都不重要是重要的。这是一种虚无,你觉得虚无才是它真实的东西,只有真实是重要的。
数学在那个环境下就会显得特别美好、特别优美,因为它是确定性的,而且是绝对化的,你在跟它打交道的时候,没有什么其他东西需要思考。它可以让你非常沉浸和专注,或者说你可以在这个环境里面进入心流状态。这个心流状态与人无关,与其他所有事情都无关。大脑被完全调转起来的时候,进入了一种生理性愉悦,我有点描述不出那个感觉。
陈茜:我能理解你的意思,但这个状态我觉得非常纯粹,很像一个会成为数学家的人的状态,但你后来为什么没有成为数学家呢?
盛颖:我当时就是很想成为数学家,觉得我只想做数学。但事情的发展总是不是那么简单,毕竟我还是有生活上的各种干扰。到了斯坦福之后第一年,我就没有那个感觉了。
陈茜:你觉得斯坦福不如普林斯顿纯粹吗?
盛颖:普林斯顿那次只是一场旅行,我人在哥大,但在哥大的时候也能感受到这个氛围。我甚至现在觉得,是不是西海岸和东海岸其实有点这种文化的差异性在。在西海岸,你会慢慢感觉到更多关于成功与否的噪音,你想要参与世界的推动,我又开始觉得我跟世界有关,我不想跟世界无关了。但我在东海岸的时候,我希望我跟世界无关,希望被世人遗忘,是很不一样的一种感受。
我在斯坦福第一年的时候想做理论。那个时候斯坦福是有PhD rotation program(博士轮转项目)的,要配导师,配到了之后才决定你后面5年博士的旅程怎么走。
前面几轮因为各种各样的原因,比较复杂,我没有再遇到很让我觉得能够进入心流状态的问题,也没有跟哪个老师能够双向地都觉得很兴奋。可能老师们也觉得我对他的问题不是特别感兴趣,有时候我也觉得那个老师跟我没有完全匹配上。当我最后到了第四轮,跟我后来的导师Clark Barrett匹配上的时候,就已经进入到一个新的课题了。
Clark Barrett教授是做形式化验证方向的,这个领域也很大,我可以简单讲我当时做的那一部分课题。(注:形式化验证(Formal Verification): 用数学方法证明计算机系统正确性的技术,核心包含模型检查、定理证明和等价性检查。它不依赖随机测试,能从根本上排除逻辑漏洞。)
我们当时的课题是把人写出来的代码进行拆解和映射,映射到底层的数学逻辑上。你可以把代码映射到一阶逻辑,逻辑出来之后,你就可以从数学角度去证明,你写的这份代码是不是具备某一个性质。
更具体来说,我们有一个东西叫Spec,也就是specification(规范)。(注:形式化验证中的规范(Specification,简称 Spec)是指使用严格的数学逻辑语言,无歧义地描述计算机系统或软件硬件应该做什么、不应该做什么的预期行为标准。)Spec说明了这个代码应满足什么前置条件,它会有什么样的invariant(不变量),代码执行完之后要满足什么样的条件,你可以有这样一套语言去描述这个程序。你要证明的就是,在有这个Spec的情况下,你的代码是不是真的符合了这样一套逻辑。从代码映射到逻辑公式之后,公式之间的证明和推理,就是我做的那个研究领域SMT solver(SMT求解器)做的事情。
我的研究大部分是在SMT solver(SMT求解器)本身的优化。这个优化一方面跟效率有关,一方面跟正确性有关,但它更多的是跟你怎么定义语义有关,就是你定义什么样的语义空间,可以去表达一份代码所做的事情。
陈茜:可不可以简单理解成,用数学的方法来证明计算问题?
盛颖:我觉得可以这么说。
陈茜:在斯坦福,你开始深入形式化验证之后,我们看到你就开始哐哐出论文。2020年拿到了IJCAR(自动推理国际联合会议)的最佳论文奖,2022年拿到了IJCAR的提名,后来又作为cvc5的贡献者之一拿到TACAS的最佳工具论文奖。太高产了,你觉得这段时间你的研究状态是什么样子的?
盛颖:其实真实的过程比外面看到的简历上的内容要干瘪很多,要无聊很多。我在斯坦福前几年的经历并不顺利,一是刚进来第一年找导师就不是很顺利,我是被动地进入了形式化这个方向的领域。因为我要读博士,所以才需要在这个地方不停地做研究、产出论文,我其实是比较被动的状态。当然在做的过程中,我也慢慢欣赏到了它的美感,慢慢理解这件事情为什么有意思,以及后来有了更多的思考,我觉得它其实还有个很有意思的未来。
但最开始做politeness那篇论文的时候,也就是我第一次拿IJCAR最佳论文的那一篇,我非常非常意外。因为我当时是一个完全小白的状态,对这个领域并不了解,导师给了我一个问题,我去解决它而已。做完它的时候,我也没有任何认知说什么样是这个领域里最好的论文,因为我看的论文还不够多。所以这个奖出来的时候,我完全没有想到,是被别人祝贺的时候才得知拿到了这个奖。
那是我进这个领域发的第一篇论文。但发完之后,其实我又重新进入一个很低落的状态,还是没有找到我想做的下一个令人兴奋的问题在哪。在那篇文章做完之后,我记得有一段时间是进入疫情了。疫情期间我其实有长达一年的时间没有做任何事情,接近一年的时间处在一个低落的状态里。
但我遇到了非常好的导师,Clark非常支持我。他当时跟我说,他完全理解我,他只关心我是不是有一个好的精神状态,只关心我是不是能够走出来。他没有给我施加任何我需要继续产出论文或者做研究的压力。他说我可以去上一些课,做一下助教,做一些很轻量级的事情。我那段时间还回国待了半年,是一个疗愈期。我其实没有产出论文,但Clark从来没有断过我的经费,他真的是一个非常好的导师。
我一年之后才慢慢走出来,之后才又做了Sequences那篇论文 。我前面也有过很多挣扎,最后那篇论文的证明应该写了20多页,来来回回改了四五次,而且有两次我几乎是全部推翻重写。花了一两个星期推出来的十几页的证明,全部推翻,因为你从一开始的地方发现有个基点错了,那个错了之后后面所有的后续推理全部是错的,所以那个证明要从前面一直修正到全部重新推。
但这个过程走完之后很有成就感。最后这个证明完全写完之后,比一开始设想的要复杂很多,Clark和我们都觉得这段证明写出来和这段经历非常有满足感。我记得那个时候Clark自己也说,那篇论文里的证明是他过去一年的高光时刻。这篇论文当时也是最佳论文提名,大家讨论过,但最后没有被选上,不过很接近。如果说我在形式化验证的工作,这篇论文可能是我觉得最愉悦的一段时间。从这篇论文开始,我开始看见了形式化理论里面一些深刻的含义和它的优美之处。
陈茜:它的优美之处在哪里呢?
盛颖:它让我理解了程序语言设计的几个不同角度。形式化的方法去设计语言,其实是从数学的角度去理解程序语言。程序语言我打了20年的交道,但我从来没有以这样的角度去看待过它,它给了我一个全新的视角。你会发现,程序语言里面在不同角度上也有很多的取舍。
有一些语言更接近数学,有一些语言更接近硬件。你其实很难有一个支点,让一个语言离数学和硬件都很近。接近数学的语言更容易被验证、更容易被形式化,接近硬件的语言会更灵活、更高效,也更接近人的思维习惯。当你需要编程硬件里面的具体运算的时候,这样的mapping(映射)就更直接。
陈茜:最后你没有再往这个领域继续走下去,原因是什么呢?
盛颖:我看到了它有意思的地方,但我同时也看见了这个领域的局限性。它能够在现实中被实际应用的场景太少了,你要验证一个程序所需要付出的费用太贵了,但它能验证的又很少,所以不能产生足够大的影响。当时我觉得我想离世界更近一点,还是想要做更接近真实生活的东西,所以那个时候就开始探索AI,开始寻求双向转化。
但我想要开始探索AI这个过程其实也不太顺利,可能又有一年时间的空窗期。你看上去我的论文发表没有停,但其实我中间有很多的空窗期。
陈茜:外界看的空窗期跟你自己定义的空窗期是不一样的。
盛颖:我自己定义的空窗期,就是那段时间我其实没有取得任何进展。我转AI的时候,又有大概一年的时间没有任何新的想法和进展,实际上没有做任何事情。可能长达一年之后,我突然某个时间找到事情可做了,三个月就产出了一件事情。但在外人看来,你会觉得那个作品是我过去一年的成果,实际上它是我过去一年里最后三个月的成果,前9个月我都在一个归零的状态、完全不知道自己在干什么的状态里。
陈茜:我非常理解这个过程,就像我们记者写稿子也是一样的。给我一个月的时间,前面29天我都在做调研,或者是放空,或者是采访,其实这个稿子是用一天时间写出来的。
盛颖:对,所以你看上去,比如我做形式化验证发了3篇论文,分布在3年时间里面,但每篇论文真正推动其实都只花了3个月,然后这3年里面每年都有9个月不知道在做什么。
陈茜:其实也不叫在做什么,你可能是在找到你想解决的问题。因为我听下来,找到一个你真正感兴趣的问题并且解决它,真的是你的一个驱动力。
盛颖:是的。我确实有一些特点,就是我没有办法妥协,后来我服从了自己的这个特点。我原来不理解我自己的时候,我会尝试努力去适应一些规则,但后来发现我自己是不能被勉强的。我没有办法做我不感兴趣的事情,我能做,但其实我没有办法做好。只有这件事情让我觉得非常兴奋,我才有可能把它做好。
陈茜:这是一个特别纯粹的性格。你什么时候发现这个性格就是这样了,我必须要去服从我这个性格呢?
盛颖:这是一个缓慢发展的过程,倒也没有某一个时间点突然顿悟,它是一个我慢慢意识到、终于有一天我完全接受它的状态。我完全接受它,可能是在博士的最后一两年。
陈茜:你本身是一个喜欢intense(高强度)的人吗?
盛颖:我是一个必须intense(高强度)的人。
陈茜:从小就是这样,我觉得从你发论文的数量跟节奏就能看出来。
盛颖:对,我没有办法,我哪怕睡觉的时候也会一直做梦,我没有办法停下来。
陈茜:你做梦也会梦到跟你研究或者工作相关的事?
盛颖:那肯定会啊,我的梦都还是挺有关的。
陈茜:就说明你在睡觉的时候,你的潜思维其实还是在工作。
盛颖:也可能是生活,工作生活都有,但它一般来说都不是没有任何关系的东西。肯定会有虚假的成分,会有想象的空间,但它不会是毫无关联的。
我觉得我博士经历的那段低落时期,就是因为那段时间太无聊了。疫情的时候大家都放慢了,我根本没有办法在一个慢速的环境里面保持我精神的健康。
陈茜:所以就是一定要忙起来,才能让你健康地运作。
盛颖:我不一定要忙起来。我硕士做理论研究、做数学研究的时候是不忙的,那个时候你是很沉浸的。因为那个问题就是你除了看着这张纸在那想,其实没什么能做的。我看上去很闲,每天可能也就想4个小时、工作4个小时,然后我就去打游戏了。因为做理论非常不一样,做理论就是有很多灵感,你只能等它来。其实你没什么事情可做,只能在那等着那一刻来临,所以我有大量的时间去打游戏。所以我硕士期间打了好多游戏,因为那些问题都太难了,你没什么事可做,只能空想。
陈茜:在游戏中灵感来了,然后去写一写,是吗?
盛颖:有可能。其实我当时那个题目解出来,是在我看电视的时候想到的。我也不知道为什么看着电视,但确实那个情境是我看电视之前看了一篇论文,然后我就开始看电视去了。看到中段的时候,不知道为什么那篇论文里的东西突然回响出来,然后我突然又想到了论文里的那个点,突然意识到这个地方可能是一个解法的突破点,就是关键点。那个问题被解决的那一瞬间,真的是有一个phase transition(状态转变),是一瞬间的事情。然后你这个电视剧看到一半,突然想我怎么突然知道怎么解决这个问题了,暂停,去写证明。
陈茜:你还记得是什么电视剧吗?
盛颖:《甄嬛传》,我是真的记得。
陈茜:太神了。我一般是在洗澡的时候会有灵感突然击中,但是电视剧我觉得我很少,因为看电视剧还是要很沉浸的。看起来你看电视剧的时候,你的潜思维还是在一直思考一些事情。
盛颖:我确实是会这样。前面说到我跟我自己和解,是我以前不知道ADHD(注意力缺陷多动障碍)这个东西,后来有一天我慢慢地了解到有个东西叫做ADHD,然后我看完各种症状、深入理解之后,发现好多东西都可以被解释。
但ADHD它不是一个疾病,它是一个特点。当我了解到ADHD这个东西的时候,它给我带来最大的帮助不是别的,而是我通过理解它而理解了我自己,像是我找到了怎么使用我自己的一把钥匙。我突然知道了,我不应该逆着我的短处、逆着我的天性去做事情,我应该顺着我的天性去做事情。你一旦悟到了这个之后,很多事情就迎刃而解,其实很多事情你是不要勉强的,是没有必要勉强的。就像我前面说的,我只能做我喜欢做的事情,当你把这个当成真理的时候,你就不再跟它对抗了。
所以我看电视的时候也是不专注的,我看电视的时候会跟不上电视的内容,经常要往回拉,想刚刚讲了什么。比如30分钟的视频,我经常看四五十分钟才把它看完。
陈茜:比如说你自己在做研究,或者你在工作的时候,什么样的时候你会非常专注,什么样的时候你其实是没有办法专注的呢?
盛颖:我自己特别被它吸引的时候,我非常专注。这个是两极化的,我专注的时候会听不见别人叫我的名字,会不记得时间,不知道外面发生的事情,会错过很多个会议。不专注的时候就是根本没办法专注,哪怕这事情很重要我也无法专注。
可能《甄嬛传》对我来说不够吸引,所以没那么专注。打游戏的时候非常专注。有些竞技性运动也会。因为它要非常高强度、非常激烈,它要有竞争。游戏的话你是对打,有输赢,球类运动也是有输赢,这个时候我就会非常专注。
陈茜:所以你是一个好胜心很强的人。
盛颖:我觉得我不是真的很在乎输赢,但是我在乎那个高强度的感觉。我游戏可以输,打比赛也可以输,没关系,我不会觉得我非要赢。但是这个机制设计进去了之后,我会很享受心流状态。你的大脑被抓住、人非常专注的时候,那个应该就叫心流状态,是很享受的。
陈茜:所以打游戏、研究、学习,这些上面你都可以获得你的心流状态。
盛颖:对,学我喜欢的东西可以,所以我非常偏科。
陈茜:竞赛圈其实是一个很有天才标签的圈子,你觉得天才这个词在你身上安得多吗?很多人会跟你说:“你从小是个天才”吗?
...
Loading...