深度AI资讯：机器人触觉爆发前夜，具身大模型技术解析

type

status

date

slug

summary

category

icon

password

网址

你敢让机器人给你按摩吗？在今年的WAIC上，我们体验了一把之后，发现居然还挺舒服的。而这台按摩的机器人，很大的不同在于，它搭载了触觉传感器。

黄仁勋说，“触觉”是具身智能的最后一块拼图，真是如此吗？机器人有了触觉后，真的能更强大吗？干活会更聪明吗？如果答案是肯定的，那么为什么目前大多数机器人都还没有触觉？市场上有哪些路线与冲突呢？

这篇文章，跟我们一起走进实验室，去看看触觉传感器的前线研究。也来聊聊，如今机器人的触觉，发展到什么程度了。

本文为视频改写，欢迎大家收看以下视频

第一个问题是，机器人为什么需要触觉呢？我们不妨先看一个案例。

在一堆花生中，有几个是假的，如果只能看，不能摸，人是非常难分辨出来的。而搭载了触觉传感器的机器手，却能将假花生都挑出来。

只要能上手摸，人也能很快分辨出来。因为假花生是石头做的，表面更冰凉、更光滑，重量更重，还是实心的，摇起来没有真花生中果粒的振动感。

这就是触觉的重要性，因为现实中有很多任务，无法单纯的通过视觉来完成。

你可能会疑惑，一些没有触觉的机器人，不是在很多任务上的成功率都很高了吗？但业内人士指出，成功率高，并不等于可用性强。

触觉到底是什么呢？它听起来是一种感觉，但我们把它拆开看，会发现它包含两种不同维度的信息：一类是对“力”本身的感知，另一类是对“形态学”的感知。

其中，力的感知还分为静态力和动态力。静态力，是抓握物品时，手指持续施加的压力，它告诉你：捏得够紧吗？物体有多硬？动态力，是物体滑动时产生的高频信号，它告诉你：是不是要掉了？摩擦力够不够？

而形态学的感知，就是对不同材料的分辨，比如通过触摸分辨苹果和橘子，就得判断表面是光滑还是粗糙，摩擦时的振动频率等等。这么多复杂的维度，放在机器身上该如何识别呢？

▍五种路径

目前市面上的方案主要有五种：压阻式、压电式、电容式、光学式和磁感应。

第一种是压阻式，这是最传统、最成熟的一条路线，材料受力后发生形变，电阻值发生变化，通过测量电阻变化来反推压力，常用的电子秤就是这个原理。

它最大的优势是成熟、便宜、技术门槛低，但是它只能测垂直方向上的力，而且会随着温度、湿度产生漂移。

第二种是压电式，一些特殊材料，比如石英、PZT陶瓷受力时，内部正负电荷中心发生偏移，从而产生电压信号，就像打火机的放电器。

它最大的特点是，只对变化的力敏感，就是你按下去的一瞬间，它会产生一个电压信号，但如果你一直按着不动，信号会慢慢衰减到零，松开的时候，又会产生一个反向的电压信号。所以压电式非常适合检测振动、冲击这类高频动态信号，却难以测量静态力。

前面两种都是直接把“力”转化成“电信号”，后面三种则是把“力”转为了“形变量”，然后测形变程度。这样做的一大好处就是，不再只局限在垂直方向，而是能检测出三维的力。

电容式的原理就是平行板电容器，当材料受力时，弹性材料会形变，比如按下去的时候，上下两层更近了，电容变大，此时就能测量垂直方向的力；或者滑动的时候，板面积变化，电容也变化，能感受到平面上的力。它的优点是灵敏度极高、响应速度快，而且成本相对较低，但问题在于动态范围有限，同时容易受到电磁干扰。

第四种是光学式，也叫视触觉。它是在传感器最上层覆盖一层柔性材料，接触到物体时会产生形变，材料背面有照明层，而藏在最底下的摄像头会实时检测材料的状态，通过算法反算出形变量，再换算成力的分布，因此这是一种可以同时解算接触形貌和接触力的传感器。这是目前行业最热门的方式，也是精度最高的方式，但成本较高。

第五种是磁感应，这种方式结构和光学式类似，只是表面的弹性材料加入了磁性颗粒，去掉了中间的照明层，底部的摄像头变成了磁传感器，这样表面弹性体变化时，磁场也变化，底部传感器捕捉变化后，反算出形变量，同样能推算出三维力。但磁感应容易受电磁干扰，周围的磁场环境会影响精度，而且分辨率有限。

还有一些其他不太常用的方式，比如磁流体、超声等我们就不详细说明了。以上不同方式各有优劣，我们采访嘉宾认为，对于机器人的触觉来说，多传感器结合或许是更好的方案。

▍多传感器结合

我们除了手指外，其他每一寸肌肤，都是有感知的，如果机器人想做到人类的水平，是不是也需要全身布满触觉呢？

但如果全身都用最好的技术，那成本就很难控制了，而且不同部位的要求不一样，同一种技术路径也难以适用全身。比如指尖的精度要求非常高，使用光学式的方案就能达到更高分辨率，但如果是手掌、手臂等其他部位，精度要求没那么高时，用昂贵的光学式就不划算了。

在一些比较简单的应用场景下，也可以选择精度不那么高的路径。比如我们在WAIC展会上，就看到一些采用电容式的触觉传感器，已经被批量用于工厂的产品分拣与检测，原因就在于成本相对较低，与精度最高的光学式相比，采购价只有四分之一到二分之一。

而且，即使是同一个部位，未来也有机会融合多种技术，但前提是技术足够成熟。

除了力的感知，广义的触觉还包括振动、材质感知等等，这就得依靠其他传感器来补足。比如人类想分辨丝绸和棉布时，会通过触摸加滑动的方式来产生振动，来感知材质的细粒度，到了机器人身上该怎么做呢？

所以完整的触觉方案，不是只选一种技术路线就完事了。

目前行业里最前沿、精度最高的，就是光学式，我们的采访嘉宾Eric所创办的公司一目科技，也是选择了这个方向，接下来，我们就走进他的实验室，探究下光学式的原理。

2000年前后，一批研究人员开始尝试一个大胆的想法：触觉，能不能也像视觉一样，被摄像头“看见”？

其中最具代表性的探索之一，是来自MIT教授Edward Adelson领导的团队，他们在2009年提出了GelSight，让机器人第一次拥有了类似“视觉”的触觉能力。

光学式最显著的优势是分辨率高，甚至已经超过了人类。

但是呢，代价也不小，接下来我们从材料、结构、算法、成本四个方面详细说说。

▍材料

首先是材料，有三大要求：

第一是特别软，业内称为“杨氏模量”低，这样才能通过细致的形变，精确反映物体硬度和力度；

第二得耐磨，不然日常执行任务久了，就会出现性能漂移或者破损；

第三要尽量薄，才能尽可能缩小整个传感器尺寸，扩大应用场景。

而这三点却天然对立，无法同时满足。

接下来，我们到材料实验室看看新材料的研发过程。

Eric告诉我们，现在行业出现一种很有意思的材料，叫“可恢复性材料”，就像人一样，就算不小心划破了，过段时间就能自愈。

▍结构

而在结构方面，手指肯定是越小越灵活，这就要求触觉传感器也尽可能做得小。

要做得小，一方面就是前面提到的材料要尽可能薄，另一方面得从摄像头上下功夫，尽可能降低摄像头的对焦距离，同时还要扩大视场角（FOV），来覆盖更多感应区域。

在结构上，照明层的光路设计也是一大难点。因为手指的形态不是完全平面的结构，左右两边有些弯曲的弧度，这就需要精细设置照明灯珠的排布，保证不同位置照明的一致性。

另外，照明的灯珠，在市场上有两种方案，一种是单色，另一种是多色，之所以这么做的原因，就要说到第三点：算法。

▍算法

光学式具体是怎么识别触觉的呢？主要有三种方式。

第一种是标记点法。在皮肤层上，会印很多微小的标记点，摄像头跟踪这些点的位移变化，来计算皮肤层的形变。优点是算法简单、制造容易，但缺点是精度上限很低。

第二种是纹理分析法。皮肤表面不再需要规则的点阵，而是随机喷涂的细小颗粒，或者利用材料本身自带的不规则纹理。受力时，摄像头通过追踪光影纹理的流动来计算形变。它的优点在于硬件制造简单，因为不需要做标记点了。

大家手里的光学鼠标，原理就是简化版的纹理分析法，为什么是简化版呢？因为鼠标检测的是二维平面上的变化，而触觉传感器需要检测的是三维，这也是它的缺点所在：算法复杂，计算量更大，相对的响应延迟也较高。

前面两种算法主要关心的是亮度、对比度这些信息，所以用单色照明方案就够了，而第三种光度立体法，就必须用多色光了。

这种方式不需要任何标记点和纹理，皮肤比较均匀，照明层用红绿蓝三种颜色的光，从不同方向打光。发生形变时，由于皮肤表面凹凸变化，不同颜色光线打到同一个点的距离不同，相机捕捉到的就不再是均匀的颜色，算法会分析图像中每个像素点的RGB颜色值，来计算形变。

▍成本

光学式的第四个挑战，就在于成本。通过前面的解析，相信大家也能看出来它的结构有多复杂，相应地成本也更高。

而且不光是制造本身，后续的算法、算力要求也更高。

当然，高成本也对应着高上限，在实验室里，我们也看到了直观的对比。

一个没有触觉的灵巧手，在没有视觉的辅助下，夹起薯片时，因为掌握不好力度，很容易就夹飞了。而带有视触觉的夹爪，不仅可以轻轻夹起薯片，当从它手中抽离时，它还会感知到轻微的晃动和摩擦，慢慢卸力。

还有更好玩的，就是夹树叶。相比薯片，树叶缺少了刚性，稍微多一点力就会发生形变，但我们看到，夹爪依然能精准感知到，树叶发生微小形变后，因弹性而对两边释放的微小力。

不过业内人士认为，现阶段更应该优先考虑的不是成本，而是验证路径的可行性。所以接下来，我们先来说说应用路上的第一道障碍，也就是数据采集。

机器人最稀缺的，就是训练数据，而到了触觉领域，已经不仅仅是“少”了。

对于“触觉”这种强调实感的维度，普通的视频、文字等互联网数据，无法反映出“力”的大小和方向的，所以这个领域尤其强调真机数据。

但真机数据在获取上，存在着三大难点。

▍真机采集三大难题

我们再来做个简单的小实验哈，我们戴上这个很厚的手套，然后试图拿起一块豆腐，真的很难掌控力度，要么就是它会滑下去，要么可能稍微一用力，它就破了。

最主要的原因，就是厚重的手套完全屏蔽了触觉，无法判断豆腐和手指之间的摩擦力够不够、是不是快掉下去了，以及豆腐的形变程度、是不是快破了，这也是触觉数据采集时要面临的最大悖论。

我们看到一目科技的数采设备，把整个传感器放到了手指前面，操作起来就像用筷子一样。

所以最大的问题就是：要采集触觉，就得先屏蔽触觉，但是屏蔽触觉后，又难以采集触觉。而且采集设备本身也比较复杂，一定程度上，也会影响采集员的操作。

要解决这个问题，一方面需要行业做出更薄的传感器，尽可能减少对采集员触觉的屏蔽。

另一方面，行业需要设计出更舒适、更符合人体工学的采集设备，而这需要的多学科领域交叉。

行业里也有一些对采集员影响较小的织物采集手套，但这就牵扯到第二个问题：数据密度不够。

于弢团队和MIT去年合作了一个项目，用这类手套采集触觉数据。结果发现，大部分有效数据都是，用整个手掌抓取一个较大的东西，因为这种任务对密度的要求最低，一旦涉及到精细操作，数据就失效了。

行业面临的第三个问题是，由于触觉还是非常早期的行业，各家公司的数据采集格式不统一，难以形成大规模训练集。比如有的采集设备是两指的，就只适合用在工业场景的机器夹爪上，不适用于灵巧手的训练。

设备不够成熟，就采不到高质量数据，然后训练不出好模型，就没人愿意投资这个领域，这将是一个恶性循环。

既然真机采集这么难，那如何才能规模化呢？这就得用到仿真合成了。

▍仿真合成的原理与局限

仿真是在虚拟的环境中，模拟真实场景，可以同时、批量采集不同的数据。到了这一步，就不得不说到大家比较熟悉的英伟达了，这条是老黄重点押注的路线，他们为此也搭建了非常完善的框架Isaac Lab。

实际训练时，触觉公司会利用各种公有的模型，并对不同的模型加入一些真实的物理特性，比如一个螺母，它就是刚性的、比较重、表面光滑，或者是一个毛线球，它有多软、多重、表面粗糙程度如何等等。同时还要在系统里输入触觉传感器的特征，比如表面的弹性体的物理特征、手指内的光源分布等等。

有了这些数据后，就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度、光路变化，推算出最终采集到的数据。仿真的结果，还会和现实表现做对比，通过数据标定来进一步修正。

今年五月，有一篇名为《Tabero》的论文还提出了一种方法，那就是复用已有机器人数据，把这些轨迹重新放入Isaac Lab中，并加入触觉传感器模拟，最终生成完整的“视觉-触觉-语言-动作”数据。这其中最大的难点是：计算量太大了。

所以学术界提出了很多简化的计算方式。比如英伟达在2025年发布的《TacSL》论文，就介绍了一种用于视触觉的仿真方式。它的核心思路是：用软接触模型代替有限元计算。

所谓软接触，就是把物体和皮肤都当作刚体处理，但它们之间可以“互相穿透”，接触的力越大，穿透的越多，这样算出来的形变虽然不是最精确的，但也能大致模拟，而且在计算速度上更快。

但不可否认，仿真和现实之间，永远会有差距。Eric告诉我们，他们仿真的准确率，大概在90%以上，而其中10%的差距主要在于柔性物体的模拟，这也是目前的挑战所在。

这个思路和《TacSL》论文的策略是一致的。《TacSL》在训练策略时做了两件事：一是随机化物理参数，让策略适应不同的刚度、阻尼；二是在触觉图像上，做大量的数据增强，让策略对摄像头差异、光照变化鲁棒。这样，他们在真机上实现了零样本迁移，在插拔销钉任务上，TacSL在真机上达到了82.7%的成功率。

所以仿真意义，更多是作为真机数据的补充，两者需要搭配训练。

那到底需要多少数据，才能训练出较好的模型呢？在这点上，业内人士给出的答案比我们想得更乐观点。

▍数据量要多少

这是我们采访做具身模型的人时，Physical Intelligence的嘉宾Kay她给我们的答案，但到了触觉领域，数据量却只要十分之一。

这背后的原因其实不难理解。因为机器人的行为模型，其实包含了大量操作的“过程”信息，比如转身、伸手、移动等，并不是说这些信息不重要，但真正对训练有效的部分，往往是那些“拿起”、“放下”等等关键的操作。

而对触觉数据来说，平时在没有操作时，输入的信息基本为零，相当于这10万小时已经减掉了无效操作的部分。

说完数据采集，我们再来聊聊触觉的第二个障碍：算法模型的应用。有意思的是，如果直接把触觉信号输入到行为模型中，机器人任务的成功率反而会下降，这是为什么呢？

▍应用挑战

今年6月，伯克利、英伟达、斯坦福集结了李飞飞、Jim Fan等众多知名学者，联合发布了一篇名为《T-Rex》的论文，其中一项实验结果表明：如果把触觉信号，直接输入到π0.5的模型中，各项任务的成功率反而下降了。

这反映出一个问题，加了一个模态，不等于模型表现就变好，所以如何利用触觉信号，就是目前最大的挑战。

我们先来简单说说，此前触觉应用的三大挑战。

第一个问题是，触觉没法用规则定义。一个东西到底是软还是硬、是脆还是弹，超过多大的力会破坏物品、物品能不能被破坏，我们没法单纯地设置一个数值、写一个规则，这样在执行任务时，模型会难以判断。

比如，拿起纸杯这件事，力气小点能拿起，稍微再夹紧点、杯子有点形变，也可以接受，但到了鸡蛋上，就绝不能让蛋壳有形变。

第二个问题是，触觉信号维度太多，直接输入到模型中反而成为了噪声。我们前面说过，触觉包含了纵向的压力、横向剪切力和摩擦力、还有表面材质感知的温度、振动、音频等等数据，这些数据不加处理地输入到大脑中，模型将难以分解。

第三个问题是，触觉和其他模态的频率不匹配。触觉信号天然是高频的，而视觉语言模型通常运行在低频率，这就意味着两者难以直接结合，会出现计算资源浪费、反应速度慢、触觉噪声干扰高层规划等问题。

到了今年，由于AI的进步，业界看到了触觉应用的范式。

▍模型算法

端到端就是直接把信号输入给神经网络，让模型自己学习，不需要人为定义规则，这就解决了第一个挑战。

第二个挑战的解决思路，就是利用编码器（Encoder），前置处理触觉信号，将这些数据打包后输出完整的语义理解。

再来说说如何解决频率不匹配的问题，在《T-Rex》论文中，就提出了MoT的方式。这个MoT架构，借鉴了MoE的思想，由不同专家处理不同类型的信息，为此构建3个不同的专家（Expert）。

Latent Expert（潜在专家），负责处理视觉和语言观察，预测未来的视觉表征，提供“上下文理解”，这是慢速的、认知层面的。

Action Expert（动作专家），负责根据视觉语言上下文生成动作序列，比如往哪里走、手臂大概怎么摆等，但它输出的只是粗略的动作，最具创新的是第三个专家。

Tactile Expert（触觉专家），它就像机器人的反射系统，在动作执行过程中，通过实时触觉反馈，对力度、角度和接触状态进行快速修正。

听上去好像也不算什么创新，毕竟MoE架构早就有了，只是额外设置了个触觉专家而已。但这套系统最重要的思想，在于“异步执行”。意思是在推理时，动作专家生成动作规划，同时触觉专家以更高的频率独立运行，不断对动作进行修正。

这样机器人在利用触觉时，可以复用已经算好的上下文缓存，只进行快速的触觉推理，这样既保留了大模型的理解能力，又获得了类似人类触觉反射的快速响应能力。

这也类似我们之前聊基础模型的双系统架构：System 2负责慢思考、长程规划，System 1负责快反应、本能动作，而触觉也不例外。

我们在采访过程中，也发现了业界的一点分歧，那就是触觉模型，是单独训练，还是要结合摄像头、激光雷达等其他传感器来一起训练呢？

Eric认为，触觉模型可以单独训练，这样才能更好地平衡权重，就像《T-Rex》这篇论文的思路。

来自北美的于弢认为，两者必须要同时进行，这样才能判断每个“力”在空间中的分布，让模型更好的理解：“我是拿了什么东西，才会有这样的感知”。

于弢的思路，也对应着我们前面提到的《Tabero》这篇论文。他认为触觉应该参与到高层决策中，理解“轻一点”和“重一点”的语义。

简单来说，《Tabero》主打前置的“语义力控”，而《T-Rex》是执行过程时的“高频修正”。由于触觉这个行业目前处于非常早期的阶段，多条路线同时探索，没有绝对的优劣之分，我们只是向大家展示不同路径。

最后，我们来说说触觉的第三个障碍，规模化。量产的最大的难题，就在于性能的一致性。

因为手指的调整动作都是非常微小的，在做精密操作时，输出的力稍微有点偏差，就可能导致任务失败。而触觉传感器又太精密了，但凡表面的弹性体厚度相差太大、弹性系数不一致、传感器间距不同，都会导致参数偏差，算法就难以计算出正确的数值。

接下来，我们就去一目科技的试产车间看看，他们是如何验证新工艺的。

第一步，是先把凝胶材料放到模具内固化，作为手指的表面弹性体，这一步得注意，不能有任何灰尘和气泡。

这一步需要在提供局部100级超洁净空间的超净工作台操作，会更有利于凝胶制备。

制备完成后，还得先检验是否合格。工作人员会通过拍摄，来视觉筛选掉内部有气泡、杂质的情况，并且所有的数据会经过上位机的判断，再筛选一次。

最后就是将其他地方制备的零部件，集中到一条产线上进行组装。

当然，每个批次的试产样品还得经过自动化测试，用来验证工艺参数的稳定性。

目前在试产阶段，很多步骤依然依赖手工操作，因为触觉传感器是一个比较新品类，现成的标准化自动化设备暂时还没统一。

一方面是自动化量产线稳定交付标准品，另一方面是试产线承接定制化需求和新工艺验证，两条线协同运转，正是这个行业走向成熟的标志。而到了2026这个时间点，我们采访的几乎所有嘉宾都表示，触觉已经处于爆发前夜了。

在今年的WAIC展会上，我们也在一目科技的展台，看到了某大型汽车电池装配工厂，将他们的触觉传感器搭载到了机械臂上，实现了工业级的应用。

未来，还将应用到实验室里，做更多精密操作的项目。

根据美国银行的预测，到2030年，人形机器人的出货量将达到120万台，假设都装配了触觉传感器，每个机器人10根手指，那么触觉的市场需求将提升到千万级别。

在采访时Eric提到，...