300美元端侧模型：具身智能革命，AI算力成本大降

type

status

date

slug

summary

告别云端束缚：具身智能的“风筝”与“鸟”

文章开篇以风筝与鸟的比喻，生动地阐释了当前具身智能面临的核心困境。风筝虽然能飞，但其方向和命运由地面的操控者决定，如同过去的具身智能，高度依赖云端的指令和反馈。这种“延迟”就像一根无形的线，使得机器人在面对突发状况时，如倾倒的杯子或骤雨，显得笨拙无力，因为信号往返云端的时间足以让现实世界发生变化。

X-Era Lab与星宸科技的联合创新，正是要将风筝变成鸟——让AI拥有自主决策和即时响应的能力。他们成功地将自研的世界动作模型（VWA），部署到一颗指甲盖大小的端侧芯片上，完成了从感知、预测到控制的全链路闭环。这意味着，机器人终于能够“长在自己的翅膀上”，在真实世界中实现更流畅、更自然的交互，而不再受制于云端的延迟。

世界模型必须走到端侧：成本、延迟与隐私的必然选择

将AI模型部署在云端，在大语言模型（LLM）时代似乎是顺理成章的。LLM处理的是文本信息，对带宽要求不高，且Tokens使用量相对可控。然而，世界模型（World Model）的核心在于理解物理世界的运行规律，需要处理多传感器、多模态的融合输入，如视觉、深度、触觉等。这些海量数据一旦全部上传云端，将急剧膨胀带宽需求，并带来高昂的Token费用。

文章深入剖析了世界模型走向端侧的必然性：

延迟问题：自动驾驶、工业自动化、家庭服务机器人等场景，对实时性要求极高。任何微小的决策延迟，都可能导致灾难性后果。例如，自动驾驶中“红灯”的判断，在云端往返一次可能早已错过最佳时机。

带宽瓶颈：相比于文本，理解物理世界的复杂性意味着巨大的数据传输量。将“世界”打包传到云端，在物理上是不可行的。

商业成本：当前云端方案多以Token使用量计费，理解物理空间所需Token量巨大，商业化落地成本难以预测，导致厂商和客户望而却步。而端侧方案，一次性硬件投入后，使用成本趋于固定和可控。

隐私安全：家庭环境、生产线等场景涉及大量敏感的视觉和空间信息。将这些数据上传云端，本身就带来了巨大的隐私风险，许多应用场景因此将无法开展。

因此，无论是物理约束（延迟、带宽）还是商业约束（成本、隐私），都将世界模型推向了端侧。端侧部署，是世界模型走向成熟和大规模应用的关键，它带来了“确定性”。

VWA：为端侧而生的原生世界动作模型

市场上不少“世界模型”方案，要么基于多模态大模型微调，要么以视频生成模型为内核。但它们往往停留在语言表征（估算距离不够精确）或2D像素空间（3D信息丢失），且需要先生成视频再做动作，成本高昂且精度受损。

X-Era Lab的VWA模型，则另辟蹊径，从底层架构上进行了创新：

4D联合建模：将物理与动作向量，结合时序维度，构建成4D数据进行联合建模。这使得模型能直接理解和预测三维空间随时间的变化。

专用预训练网络：不依赖通用多模态大模型，而是专门为几何与动作设计了预训练网络，将对物理世界的理解深度灌注模型。

统一预训练与后训练目标：避免了后训练阶段的“打补丁”，从预训练阶段就确立了对物理世界的理解，保证了模型的一致性和高效性。

VWA通过预测未来的4D世界来建模物理现实，它学习的不是“世界长什么样”，而是“世界会怎样变化”。它绕过了对纹理、光影等弱相关视觉细节的算力消耗，将资源集中于与机器人行动最相关的空间、时间和物理规律上。这使得VWA在模型参数和算力需求上远低于通用大模型，具备了在端侧芯片上高效运行的潜力，并保留了Scaling Law的增长空间。

软硬协同：将“大脑”成功装进指甲盖芯片

再好的模型，也需要强大的硬件承载。X-Era Lab选择星宸科技作为硬件合作伙伴，并非偶然。星宸科技在图像信号处理、AI处理器和音视频编解码方面拥有深厚积累，尤其在机器人视觉AI SoC领域已占据全球领先地位。

双方的合作是软硬一体的深度协同，而非简单的模型适配。从模型训练的第一天起，双方就紧密合作，共同解决将模型压缩至极端精度（如4位量化）以适应端侧芯片的挑战。通过全栈联合优化，包括底层工具链、算子实现和内存调度策略，星宸科技为VWA架构量身定制了高效运行的芯片解决方案。

星宸科技的IPU算力覆盖广泛，其自研推理框架支持先进的量化技术，并针对VWA的独特算子进行了芯片级优化，带来了软件级无法比拟的效率提升。此外，星宸在3D感知硬件（如双目3D成像与Lidar SoC）的布局，与X-Era Lab对“理解3D物理世界”的需求高度契合，形成了感知与理解在物理层的深度咬合。

这次合作的成果，不仅在于将世界模型成功部署到成本可控（200-300美元级别）的端侧芯片上，更在于构建了一个开放的生态体系。星宸科技提供的统一软件底座、开发者社区、开发板和全栈AI工具链，正加速具身智能的产业化落地，形成“开发者赋能→产品化落地→生态规模放大”的正向飞轮。

回归“做事”的本质：具身智能的寻常未来

机器人最初诞生的目的，是为了“做事”，是为了增强人类的能力。大模型将AI的“脑”托举上云，带来了智慧的飞跃，但有时也让我们忽略了它“动手”的能力。X-Era Lab与星宸科技的合作，正是这场关于“回归”的实践——将一度被放逐到云端的智能，重新唤回到机器人本体之中，让它的感知、计算和决策重新长在一处。

技术成熟的标志，往往是它的消失于无形，成为日常。未来，我们不会再惊叹于机器人“居然能自己想”，就像今天不会惊叹电灯会亮一样。扫地机器人会主动绕开水渍，割草机器人会感知草地的湿软，服务机器人能精准预判行人轨迹。它们将安静地融入我们的生活，以一种寻常的方式，完成一件件“应该做”的小事。

X-Era Lab与星宸科技所做的，正是将这些曾经的“不可想象”，转化为未来触手可及的“寻常”。这场300美元跑通世界模型的革命，正为具身智能开启一个更普惠、更强大的新时代。