AI资讯：美团5万国产卡炼成万亿大模型LongCat，打破算力瓶颈

type

status

date

slug

summary

破局算力荒：从不可能到5万张国产卡的豪赌

把时间拨回2023年初，随着大模型浪潮的爆发，算力供给进入极度紧缺状态。面对这一挑战，美团龙猫团队做出了一个大胆的决定：从基座模型建设伊始就同步布局国产算力。

彼时，国产算力生态尚不成熟，工具链薄弱，行业普遍认为用国产卡训练万亿级模型是天方夜谭。然而，技术团队认为，大模型训练并非玄学，而是一个复杂度极高的科学系统工程。只要硬件精度没有问题，通过算法与工程的联合优化，CUDA生态的壁垒并非不可逾越。

从2023年7月正式启动适配，到2024年春节前后首次跑通端到端训练，再到最终成功调度超过5万张国产算力卡，这支团队用实际行动证明了国产算力不仅能做训练，还能支撑起世界级大模型的研发。

跨越工程鸿沟：重构大模型基础设施

在5万卡级别的超大规模集群上进行训练，真正的挑战从来不是简单的算力堆砌，而是极其复杂的系统工程。随着规模的指数级扩大，各种意想不到的底层问题接踵而至。

例如，在万卡集群首次启动时，整个作业的内存总和甚至超过了系统整数的上限，导致调度系统直接崩溃。更隐秘的挑战来自于物理层面的“比特翻转”——在海量计算中，电路随机出现的微小错误会导致数值对不齐，这在小规模训练中几乎无法察觉。

面对这些在主流生态中很少遇到的硬骨头，团队选择了一条最艰难但也最彻底的路：重构基础设施。从核心算子、通信框架到调度系统和训练工具链，他们几乎在国产硬件上重新搭建了一遍大模型软件栈。为了保证计算顺序的固定和极高的效率，团队自研了高性能的确定性算子（如FlashAttention反向梯度算子），在未牺牲效率的前提下，将性能损失控制在极低水平，最终实现了“整网确定性训练”，使得每一次异常都能被快速定位和恢复。

架构创新与实测表现：LongCat-2.0的万亿级实力

LongCat-2.0的成功不仅在于工程上的突破，更在于其卓越的模型能力。作为一个总参数量1.6万亿、每token激活约480亿参数的MoE模型，它在设计之初就充分考虑了国产硬件的特性，实现了算法与工程的联合设计（Co-Design）。

模型提出了ScMoE架构和零计算专家等原创设计。零计算专家机制使得激活参数量能够动态变化，大幅提升了推理效率；而针对国产算力显存与带宽受限的特点，团队采用了大Expert Parallelism聚合访存带宽等优化手段。

在实际能力验证中，LongCat-2.0表现出了惊人的实力。在各大权威基准测试中，其在原生Agent能力、编程以及适配主流编程工具方面，已经接近全球第一梯队水平。在SWE-bench等编程评测中，它的成绩甚至超过了部分国际知名模型，在逻辑推理和复杂工具调用上展现出极高的可靠性。对于经常使用claude或GPT进行代码生成的开发者来说，LongCat-2.0不仅能完成复杂的协同编辑系统或可交互桌面生成，其Token消耗速度还远低于同尺寸模型，性价比极高。

国产AI基础设施的崛起与系统级竞争

LongCat-2.0的发布，其意义远超一个单一的模型。它沉淀下的是一整套可复用的国产大模型工程体系方法论。从千卡到5万卡的扩容路径，从算子重写到故障自动恢复机制，这些宝贵的经验证明了国产算力正在跨过一道关键门槛——从“能不能用”正式迈向“好不好用”的阶段。

虽然在单芯片工艺制程上，国产硬件与国际顶尖水平仍有客观差距，但通过系统集成、算法优化以及软硬件的深度协同设计，这一技术鸿沟正在被迅速填平。

结语

未来的人工智能竞争，不再仅仅是单一算法或算力的比拼，而是一场系统级全栈能力的全面较量。美团用5万张国产卡炼成万亿级大模型的壮举，为中国AI产业注入了一剂强心针。

在这个快速迭代的AI时代，掌握最新的技术动态和应用技巧至关重要。如果您希望每天获取精选的AI日报，学习如何编写高效的提示词（Prompt），或者探索AI变现的最新途径，欢迎持续关注 https://aigc.bar。作为专业的AI资讯平台，我们将为您提供最前沿的行业洞察和实用的AI工具指南。