田渊栋Recursive首秀:AI自主研发GPU内核优化夺SOTA
type
status
date
slug
summary
tags
category
icon
password
网址
在人工智能领域,如何让AI突破现有的能力瓶颈,一直是科学家们攻克的难题。近日,由前Meta FAIR研究科学家总监田渊栋等人联合创立的AI初创公司Recursive Superintelligence(简称RSI),交出了其成立以来的首个研究成果。这套由AI完全自主运行的科研系统,在英伟达官方的GPU内核优化榜单SOL-ExecBench以及另外两个高难度基准测试上,全部夺得SOTA(当前最佳水平)。
什么是“AI研究AI”?Recursive的递归自我改进
当前,主流的大模型(LLM)如chatGPT和claude的升级,很大程度上依然依赖于人类工程师设计的提示词(Prompt)、微调数据以及人工排错。然而,Recursive的核心理念是“递归自我改进”(Recursive Self-Improvement)。
Recursive构建的这套系统,将整个科学研究的循环完全交给了AI。系统可以针对特定目标自主提出改进想法,将想法转化为代码并实现,自动运行实验验证效果,并根据实验结果决定下一步的研究计划。在运行过程中,系统还能同时开启多条研究线程,将不同线程中展现出潜力的改进方向进行合并,甚至能自动检测并排除“走捷径”(Reward Hacking)的无效提升。这种完全闭环的自主科研能力,为人工智能向AGI(通用人工智能)演进提供了新的路径。
三大Benchmark横扫SOTA:从GPU内核到极限训练优化
为了验证这套自主科研系统的实力,Recursive选择了三个对应AI进步核心杠杆的基准测试进行挑战:
- 英伟达SOL-ExecBench(硬件利用率优化):该测试要求为235个来自真实工作负载的GPU内核(如矩阵乘法、注意力机制组件、融合算子等)编写既快又准的实现。Recursive的AI系统在B200 GPU上进行评测,将平均SOL分数从此前排行榜最佳的0.699提升到了0.754,成功击败了由人类GPU专家以及其他AI系统打造的方案。
- NanoGPT Speedrun(训练速度优化):这是一个在单个8卡H100节点上,将小型GPT模型训练到指定验证损失所需时间缩到最短的极限挑战。在社区死磕两年、几乎被认为优化到极限的情况下,Recursive的系统将纪录从79.7秒进一步压缩到了77.5秒。
- NanoChat Autoresearch(算法与模型优化):任务是在单张GPU、五分钟固定时间预算内,将一个小语言模型训练到尽可能低的验证损失。Recursive的系统在排除社区方案的作弊漏洞后,取得了0.9109 BPB的优异成绩,达到基准水平所需的时间仅为社区最佳方案的77%。
在这些高难度的任务中,AI不仅展示了极强的代码生成能力,还展现出了严谨的科学态度,通过层层加严的自动化检查,确保每一次性能提升都是真实有效的。
豪华创始天团与46亿美元估值背后的野心
Recursive在今年早些时候刚刚结束隐身状态,便宣布完成了6.5亿美元的融资,估值高达46.5亿美元(约合人民币316亿元)。投资方包括谷歌旗下的GV、Greycroft,以及芯片巨头英伟达和AMD。
支撑起如此高估值的,除了其突破性的技术路线,还有其堪称AI界“梦之队”的创始团队。公司由8位联合创始人共同创办,他们此前分别在openai、Google DeepMind、Meta AI等顶尖机构担任重要职务:
- CEO Richard Socher是斯坦福大学博士,曾创办You.com;
- 田渊栋是前Meta FAIR研究科学家总监,在强化学习和神经网络领域深耕多年;
- Alexey Dosovitskiy是Vision Transformer(ViT)的作者之一;
- Josh Tobin曾负责OpenAI的Agents研究团队。
这群顶尖学者的共同目标,是首先训练出一个具备“5万名博士”能力的系统,实现AI科学研究的自动化,进而将该系统应用到药物研发、新材料发现和受控核聚变等更广泛的科学领域。
递归自我改进如何改变AI变现与未来产业格局
长期以来,大模型的算力消耗和研发成本高企,是制约AI变现的重要因素。Recursive的成功尝试表明,通过AI自主优化底层GPU内核和训练算法,可以显著提高硬件利用率并缩短模型训练时间。
这种技术一旦大规模推广,将直接降低企业训练和部署大模型的门槛。无论是云服务商还是垂直领域的AI应用开发者,都能以更低的成本、更快的速度迭代自己的模型,从而加速AI技术的商业化落地。
结论
田渊栋创业公司Recursive的首个研究成果,不仅是一次技术上的SOTA展示,更是对“AI自主科研”路线图的有力验证。当AI开始能够自己编写代码、优化硬件内核并改进自身算法时,技术迭代的速度将呈指数级增长。这或许正是通往AGI的关键钥匙。
Loading...
.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f)