国产LPU芯片震撼首秀！寒序科技颠覆大模型推理 | AI资讯

type

status

date

slug

summary

揭秘大模型推理的“搬运”痛点

在探讨寒序科技的技术突破前，我们需要先理解当前大模型推理面临的真实困境。在模型的Decode（解码）阶段，每生成一个新的Token，系统都需要反复读取巨量的模型权重。对于典型的内存受限型工作负载（如FFN/GEMV），限制推理速度的往往不是计算单元（乘法器）的数量，而是数据在存储与计算之间的传输带宽。

一颗FP4的权重虽然只有微不足道的4 bit，但当几十亿颗权重为了每一个Token被一遍又一遍地移动时，它最终转化为庞大的带宽需求、极高的功耗、难以忍受的延迟，以及高昂的电费账单。正如许多AI新闻和AI日报所指出的，过去十年间，从DDR到HBM3E，行业的解决思路一直是“把路修宽”，但寒序科技提出了一个直击灵魂的问题：如果权重根本不需要反复搬运呢？

颠覆性创新：uHBM与权重驻留计算

为了彻底解决这一痛点，寒序科技交出了自己的答卷——uHBM®（Ultra-High Bandwidth Memory）架构。与传统将存储与计算分离的设计不同，uHBM®将Persistent MRAM（持久性磁性随机存储器）与矩阵向量计算单元集成在同一颗Die（裸晶）内。

这种被称作“Weight-Resident Compute”（权重驻留计算）的全新模式，意味着模型加载完成后，权重将长期驻留在计算单元旁边。在每轮Decode过程中，系统只需要让激活向量流入，在Die内直接完成权重读取、矩阵向量乘法和局部归约，最后输出结果。首代uHBM®架构的片内读取带宽设计值高达24 TB/s。这种让“权重不上路，计算在身边”的设计，极大地降低了数据搬运带来的功耗与延迟，为人工智能底层的算力架构带来了革命性的突破。

从端侧到云端：uLPU的全场景布局

单颗芯片的突破只是起点，寒序科技的最终目标是构建完整的推理计算机。基于uHBM®，寒序进一步推出了uLPU™（Language Processing Unit）及其扩展形态，涵盖了从端侧到云端的全场景应用。

在端侧，uLPU™ Edge将四颗uHBM®与NPU集成，特别适合具身智能和机器人领域。对于需要实时交互的Physical AI（物理人工智能）而言，延迟等同于动作本身。寒序科技将目标设定在>2,000 Tokens/s的惊人速度，让机器人能够像人类一样实时思考与反应。而在云端数据中心，uLPU™ Cloud通过先进的互联技术（如UCIe）实现Scale-Up和Scale-Out，最终可组成机架级（Rack-Scale）的推理系统，为庞大的大模型提供源源不断的算力支持。

走向工程量产与未来展望

作为国内首家MRAM计算公司，寒序科技“三年磨一剑”，已经成功完成了高带宽推理验证芯片SpinPU-ED01的流片与测试，实测片上访存带宽密度达到了惊人的0.105 TB/(mm²·s)。目前，首代完整工程产品正处于流片前收敛阶段。

未来两年，寒序科技将把重心放在工程实现与量产上，包括先进封装、软件栈开发、系统集成以及客户验证。这不仅是国产芯片在底层架构上的一次勇敢探索，更是打破现有算力瓶颈、推动AGI加速到来的关键一步。随着硬件算力的不断进化，提示词工程师（Prompt）和AI开发者将拥有更广阔的施展空间，AI变现的路径也将变得更加丰富和高效。

结论

寒序科技全新国产LPU芯片的亮相，标志着我们在解决大模型推理“内存墙”问题上迈出了坚实的一步。通过让权重驻留、让计算靠近数据，这种全新的计算架构有望重塑未来的AI基础设施。想要获取更多关于大模型、openai前沿动态、提示词技巧以及最新的AI变现策略，欢迎访问专业的AI门户网站 https://aigc.bar ，每日为您精选最有价值的AI资讯与深度解读。