云端模型落地物理世界：LiOS如何驱动招商局狮子山AI实验室的具身智能全链路

type

status

date

slug

summary

叠衣难题：具身智能的“硬骨头”

对人类而言，叠衣服是一个再日常不过的动作，但对于机器人来说，这却是一项极其复杂的挑战。衣物作为典型的无定型柔性物体，其形态变化多端，极易受到微小干扰。机器人不仅需要宏观判断衣物的朝向、展开程度和折叠路径，还需要在微观层面处理布料的摩擦、厚薄、弹性、静电吸附，以及标签、拉链等细节对抓取和操作的影响。

这项任务的难度呈现出清晰的梯度：从简单的对折，到面对褶皱、翻折、朝向未知、局部遮挡的任意初始状态，再到处理不同类型、尺寸和复杂度的衣物（如儿童T恤、成人长裤）。每增加一个维度，机器人需要处理的状态空间、接触不确定性和长程误差都会迅速放大。长期以来，行业内的方案大多局限于理想仿真环境或标准化初始状态，在真实复杂的家庭场景中，极易出现抓取落空、折叠错位、流程中断等问题，难以实现稳定落地和规模化应用。

虚实迁移的挑战与LiOS的破局之道

为了应对这一挑战，实验室团队参加了聚焦家庭场景衣物操作的LeHome Challenge竞赛。在利用官方仿真环境进行策略迭代训练时，团队引入了包括轨迹扰动、增广以及Real2Sim遥操作等多种技术，构建了高效的数据迭代管线，显著提升了模型在仿真中的表现。

然而，仿真世界的优异表现并不能直接等同于真机落地能力。当模型部署到SO101实体机器人上时，由于打印件刚性、装配精度、夹爪稳定性、控制误差以及本体5 DoF（自由度）的特性，仿真中的稳定动作在真机上可能变得不稳定，极大地放大了真实场景的状态多样性和随机性。每一次真机执行都暴露了模型算法、硬件本体之外的系统性问题，尤其是在机器人技术栈与大模型技术栈交叉带来的系统复杂性，以及具身智能对计算、数据和模型规模的持续需求方面。

正是在这样的背景下，实验室提出了LiOS——一套面向具身智能的OS级统一基础设施。LiOS的核心理念是将分散的系统集成推向统一的平台，一方面统一纳管模型、数据、算力、硬件、仿真、网络与人机协同组件，提供稳定开发接口并适配各类机器人系统；另一方面，构建基于低延迟图传与状态同步的端云协同链路，使云端大模型、数据湖仓和训练推理资源能够充分服务于端侧实时执行任务。

LiOS架构：连接云端智能与物理执行

LiOS由云侧、端侧和端云协同三个核心部分构成，共同支撑具身操作模型的迭代：

* 云侧：智能规模化基座 LiOS云侧负责具身大模型的能力上限。它涵盖了多模态大模型分布式训练与推理优化、多模态数据湖仓管理、高并发仿真评估等模块，支持模型参数向百亿规模扩展，并能高效处理海量数据。在此基础上，LiOS能够构建各类具身基础模型，提升语义理解、视觉感知和动作精细度。

* 端侧：真实机器人稳定执行 LiOS Runtime是具身智能在物理世界的“神经末梢”。它接入异构机器人本体、传感器、末端执行器和边缘计算单元，负责传感器同步、运动控制、安全执行、本地状态管理以及将大规模模型指令转化为可实时执行的动作序列。端侧系统强调严格的实时性与安全边界，确保云端能力可靠落地。

* 端云协同：释放云端资源的关键 这是LiOS最具创新性的部分，它负责将真实机器人现场以低延迟、可计算的数据流接入云端，形成一个完整的闭环。LiOS的低延迟图传组件尤其关键，它将多路视觉、机器人状态、动作过程和接管信号通过WebRTC/GStreamer等技术稳定传输至云端，并进行GPU编码/解码优化，使视觉输入能更快地进入模型推理链路。这种设计目标是让“画面直接进入云端模型”，而非通用视频流。通过近网中继方案和多路相机并发上云能力，LiOS在相同任务和模型设置下，云端部署的推理频率显著高于端侧，极大地释放了云端算力。

真实任务检验：LiOS赋能多维度的具身智能

基于LiOS系统，实验室在真实世界中成功完成了多项具身智能任务的检验，展现了其强大的跨平台、跨衣物、抗干扰能力：

1. 多双臂平台并列叠衣 LiOS通过统一的接入、任务编排与控制执行框架，屏蔽了不同机器人本体（如自由度、控制接口、运动范围差异）之间的差异，使得上层策略能够无缝部署到多种硬件平台，充分体现了LiOS对多本体接入与运行适配的支撑能力。

2. 多类衣物折叠（短袖、长袖、裤子） 实验室成功展示了机器人对短袖、长袖上衣和裤子等不同结构特征衣物的折叠能力。这要求模型能够根据衣物类型动态调整关注区域、操作顺序和折叠方式，而LiOS则为这些复杂策略在真机上的稳定部署和连续执行提供了系统支撑。

3. 大形变整理（从褶皱到可折叠状态） 面对真实场景中常见的褶皱、翻折、遮挡等状态，机器人需要先通过大幅度的动作（如甩、拖、拉直）将衣物整理成可折叠状态。这一过程考验了模型对衣物关键部位的识别与决策，以及LiOS将大幅度动作稳定执行到真机上的能力。

4. 精细整理动作（翻腕、拉平、对齐、压边） 完整的叠衣流程还包括对柔性物体局部状态的持续判断与精细调整，例如裤腿卷曲、边缘错位、裤腰双层等细节。LiOS承载了策略推理、动作调度和双臂控制链路，使得这些细粒度动作能够稳定地在真实机器人上执行。

5. 连续叠衣（长程稳定运行） 系统能力还需要体现在连续、稳定地完成多件衣物的折叠任务上。这检验了LiOS在各类真机任务中的稳定性，以及上层策略在连续任务中的泛化和异常恢复能力。

开源赋能：加速具身智能生态发展

为了推动柔性机器人操作领域的技术迭代与生态共建，招商局狮子山人工智能实验室宣布逐步开放LiOS的基础组件与数据资源。近期，实验室将开源LiOS的低延迟图传模块和LeFold数据集。

* LiOS低延迟图传模块 该组件能够将多视角画面稳定传入云端显存并转为模型可用张量，极大地加速了“本地相机到云端显存”的端到端延迟，为云端推理、远程观察和真机强化学习等流程提供了核心支持。相关代码已在GitHub（cmriat/LiOS）开源。

* LeFold数据集 围绕SO101机器人平台，实验室将持续整理和开源叠衣服场景相关的真机执行数据，包括不同衣物、不同初始状态、不同操作阶段下的全流程记录，涵盖多视角视觉观测、机器人关节状态和人工接管标注。这些高质量的真实世界数据，对于研究者复现实验、训练策略和评估算法至关重要，有效缓解了具身智能领域高质量真机数据稀缺的瓶颈。

招商局狮子山人工智能实验室的这一系列举措，不仅展示了其在具身智能领域的深厚技术实力，更体现了其推动行业发展的开放决心。当机器人能够从容面对一团凌乱的衣物时，标志着具身智能正从实验室走向更广阔的物理世界，一步步走进千家万户。相信通过LiOS这样的基础设施和开放的数据生态，将为具身智能的未来发展注入新的强劲动力。