摸花生、夹薯片、拧螺丝：机器人触觉的五条路线与它卡住的三道关｜硅谷101 (2026)

《硅谷 101》是一档由媒体人泓君创办的科技播客与视频栏目，用记者式的现场采访拆解技术行业正在发生的变化。这一期《机器人触觉的爆发前夜：五大技术路线、数据困局与模型之争》2026 年 9 月 4 日上线，片长 42 分 45 秒，主持人是陈茜。1

这期节目在做什么：它带着摄像机进实验室和试产车间，回答一个具体问题——机器人为什么需要触觉、现在有哪几条技术路线、卡在哪里。三位受访者分别是：一目科技创始人兼 CEO 李智强（Eric）、一目科技联合创始人兼执行副总裁陈天一，以及亚德诺半导体（美国）人工智能总监、灵巧 AI 负责人于弢。节目给出的判断是：触觉传感器的需求在 2026 年出现了明显上涨，行业处在「爆发前夜」，但真正决定它能不能落地的不是传感器有多灵敏，而是数据、算法和量产一致性这三道关。

这期节目想回答的问题：一个比视觉基础模型更省数据的新模态，为什么反而卡住了整个具身智能行业？

先弄明白几个词

触觉传感器：装在机器手指尖、手掌上的器件，把接触时的力、形变和振动变成电信号。它是节目里「具身智能」讨论的核心零件之一。
视触觉（光学式触觉）：把一层柔性材料盖在传感器表面，材料受力形变，藏在下面的摄像头拍下形变，再用算法反推出力的大小和分布。目前精度最高，也最贵。
GelSight：视触觉这条路线公认的起点，由麻省理工学院爱德华·阿德尔森（Edward Adelson）的实验室在 2009 年首次提出，用一层涂了金属漆的透明弹性体和一台内嵌相机测量接触面的三维形貌。2 麻省理工学院的官方报道称，即便是后来为机械臂做的低分辨率版本，灵敏度也大约是人的手指的一百倍。3
VLA 模型：视觉—语言—动作模型，机器人领域当前的主流基础模型。触觉要解决的问题，正是这类模型在「手碰到东西以后」的失灵。
仿真到现实（sim-to-real）：先在虚拟环境里训练策略，再迁移到真机上。触觉之所以依赖它，是因为真机触觉数据极难采集。

为什么机器人需要触觉（00:00–04:11）

节目用一个小实验开场：一堆花生里混了三个石头做的假花生，只能看不能摸——主持人挑错了。换成一只装了触觉传感器的机械手，它全部分对：假花生更凉、更滑、更重，摇起来也没有真花生的振动。

接着节目给了一个更硬的证据：有实验把人的手部触觉神经短暂麻醉，人被麻醉之后拧东西、抓握、系扣子这类动作就开始失灵。这说明视觉无法替代触觉。

业内对这种替代有一个明确的说法。 节目中受访者的表述是：一些没有触觉的机器人任务成功率看起来很高，但这并不等于可用性强——只靠视觉的做法可以「动得非常非常慢，每次微调一毫米，不断去试」，最终总能成功；如果只看成功率，这个指标本身就是个伪命题。拧螺丝就是典型场景：等视觉发现螺丝已经拧花，已经太晚了。

五条技术路线（04:11–07:10）

节目把市面上的方案分成五类，各自的原理与代价如下。1

路线	原理	优势	局限
压阻式	材料受力形变、电阻变化，反推压力	最成熟、便宜、门槛低	只能测垂直方向的力，受温度湿度影响会漂移
压电式	石英、PZT 陶瓷等材料受力产生电压	对振动、冲击等高频动态信号敏感	只对变化的力敏感，持续按住的静态力会衰减到零
电容式	平行板电容器，形变改变电容	灵敏度高、响应快、成本相对低	动态范围有限，易受电磁干扰
光学式（视触觉）	柔性材料形变，内嵌摄像头拍摄后反算形变与力分布	精度最高，可同时解算接触形貌与接触力	成本高，结构复杂，做小很难
磁感应	弹性体里加入磁性颗粒，底部磁传感器测磁场变化	同样能推算三维力	易受电磁干扰，分辨率有限

节目给出的工程结论是：没有哪条路线通吃。人的每一寸皮肤都有感知，机器人要做到同样的事，全身都铺最贵的方案成本控制不住，而不同部位的精度要求本来也不一样——指尖需要光学式的高分辨率，手掌和手臂用压阻式或电容式覆盖更大面积更划算。在 WAIC 现场，采用电容式触觉传感器的方案已经批量用于工厂的分拣与检测，采购价只有光学式的四分之一到二分之一。受访者的判断是：多传感器结合更可能是最终的完整方案，前提是各自的工艺、良率和量产能力跟得上。

光学式的四个难点（09:47–18:51）

节目的后半段把镜头对准了精度最高的那条路线，也让这一期有了最有信息量的部分。一目科技选择的就是光学式，他们带节目组看了材料实验室、结构设计、算法与试产车间。

材料有一个「不可能三角」：软、薄、耐磨三者天然对立。 软（业内叫杨氏模量低）才能通过细致形变反映硬度和力度；耐磨才能长期执行任务不漂移；薄才能缩小传感器尺寸、扩大应用场景。三点很难同时满足，只能找平衡。节目里展示了他们正在研发的「可恢复性材料」——类似皮肤自愈，靠特定官能团的分子键断裂后恢复。

结构上的物理约束来自光路。 视触觉本质上是微距摄影，镜头和感光芯片之间必须留出距离，这是它做不小的底层原因。他们通过自研的超表面与芯片技术压缩视距，把厚度做到和 SIM 卡差不多、不到 16 毫米。照明层的光路设计同样是难点：手指表面不是平面，两侧有弧度，灯珠排布要做大量光路仿真，才能做到 270 度覆盖且不串扰。节目里还讲了一个细节：测量材料光学特性的 BSDF 设备专业款要百万元级，他们的团队自己搭了一台。

算法有三条路。 标记点法是在皮肤上印微小标记点，跟踪位移算形变，简单但精度上限低（标记点数量就是分辨率上限）；纹理分析法用随机喷涂的颗粒或材料自带纹理，硬件简单、算力需求更高，原理相当于光学鼠标的三维版；光度立体法用红绿蓝三色光从不同方向打光，通过每个像素的 RGB 值反算形变，这是目前兼顾精度与制造复杂度的折中方案，也是三种里算力要求居中、精度更优的一种。

成本的量级是单指千元级，也就是说比压阻、电容路线贵一个档次。受访者给出的降本路径是随量下降，未来有可能降到小几百元；同时高成本对应高上限——节目里做了对比：没有触觉的灵巧手夹薯片会夹飞，带视触觉的夹爪不仅夹得稳，当你从它手里抽走薯片时它还会感知到轻微晃动与摩擦，慢慢卸力；夹树叶时它能感知树叶的微小形变与弹性反力。

数采悖论：要采集触觉，先得屏蔽触觉（18:51–23:53）

这一段是整期节目最反直觉的部分。机器人训练最缺的是数据，而触觉领域「可用的数据基本为零」——原因是高保真的触觉传感器此前一直缺失，用传统方法采来的数据跟人的差距很大。

真机采集的难点被节目归纳成一个悖论：要采集人的触觉，就得在人手和物体之间加一层传感器，这层传感器会屏蔽掉人自己的触觉；操作者的手变笨了，示范质量下降，训出来的机器人也就没有人的灵巧。节目组做了一个实验：戴上厚手套拿豆腐，要么滑落，要么按碎——判断摩擦力够不够、形变到什么程度，全靠触觉。

此外还有两个现实问题：数采设备本身笨重，影响操作者的动作；以及各家采集格式不统一——两指设备只适合工业夹爪，不适合灵巧手。行业已经有人在用织物触觉手套降低干扰，但最好的织物手套一只手也只有约 500 个感知点，抓一颗 M2 螺钉在上面就是一个点，连方向都测不出来。节目把这种状态描述成一个恶性循环：设备不成熟采不到高质量数据，数据上不去算法就无从演进，算法不进步就没人愿意投这个领域。

仿真补位，以及它补不上的一段（23:53–28:37）

既然真机采集这么难，行业把希望放到了仿真上，英伟达是这条路线最重要的押注者，用 Isaac Lab 这类框架批量生成数据。做法是：给不同物体赋予刚重、软硬、表面粗糙度等物理属性，再输入触觉传感器自身的特征（弹性体的物理特性、手指内的光源分布），推算出接触时的形变与光路变化，最后用真机数据标定修正。

障碍是算力。如果按有限元方法精细计算弹性体形变，可能一帧要算一个小时，无法用于实时训练。因此学术界提出各种简化：英伟达 2025 年的 TacSL 论文用「软接触模型」代替有限元，把物体和皮肤都当作刚体，但允许它们按接触力的大小互相穿透，速度比此前方法快两百倍以上，并配合随机化物理参数与触觉图像增强，实现零样本迁移，在插拔销钉任务上真机成功率达到 82.7%。4

节目里 Eric 给出的实际数字是：他们仿真的准确率在 90% 以上，剩下那 10% 主要差在柔性物体的模拟上，而这一段可以用少量后训练数据补回来。他也给出了数据量的判断：训练一个带触觉的基础模型所需的数据远低于视觉基础模型，从十万小时往上一路走，泛化能力会开始显现——原因不难理解，触觉在没有操作时输入基本为零，这十万小时里已经减掉了大量无效部分。

加了触觉反而更差：模型怎么用触觉（28:37–36:10）

这一段是本期最新的内容，指向 2026 年 6 月的一篇论文。伯克利、英伟达、斯坦福等机构联合发布的 T-Rex（全称 Tactile-Reactive Dexterous Manipulation）报告了一项实验：如果把触觉信号直接输入 π0.5 模型，各项任务的成功率反而下降。5 节目用这件事说明一个道理：多接一个模态不等于模型表现会变好。

T-Rex 给出的解法是架构层面的。它用「Transformer 专家混合」（MoT）搭了三个专家：潜在专家负责视觉与语言观察、预测未来的视觉表征，提供慢速的上下文理解；动作专家根据这些上下文生成动作序列，输出的是粗略动作；触觉专家则像机器人的反射系统，在执行过程中以更高频率用触觉反馈修正力度、角度和接触状态。三者的关键在异步执行：推理时动作专家生成规划，触觉专家独立高频运行，可以复用已算好的上下文缓存，只做快速的触觉推理。节目把它类比成基础模型的双系统结构——一个负责慢思考与长程规划，一个负责快反应与本能动作。

论文之外，节目还摆出了业界的路线分歧：一目科技的 Eric 主张触觉模态单独训练，理由是触觉自身的语义理解可以先形成闭环，之后再与其他模态融合，这样每个模块可以独立训练、测试，也能像插件一样插到不同系统；来自亚德诺半导体的于弢则认为必须同时训练，因为视觉是全局的、触觉是极度局部的，同一个传感器在手形变化时，力在空间上的分布也跟着变，只有结合视觉才能让模型理解「我拿了什么东西才会有这样的感知」。节目给出的对照是：T-Rex 走的是执行过程中的高频修正，另一篇名为 Tabero 的论文主打的则是前置的语义力控，两条路目前没有绝对优劣。

节目也列出了触觉在模型侧的三道坎：触觉很难用规则定义（纸杯可以捏出形变，鸡蛋绝不能）；触觉信号维度太多，直接输入会变成噪声；触觉天然高频，而视觉语言模型跑在低频，两者频率不匹配。这三道坎的解法分别是端到端学习、用编码器把触觉信号整理成语义理解（节目里提到「触觉 Transformer 编码器」），以及前面说的异步架构。

量产卡在一致性（36:10–39:25）

节目最后进了试产车间，看的是最不性感但最要命的一环：一致性。手指的调整动作本来就非常微小，做精密操作时输出力稍微偏差就可能导致任务失败，而触觉传感器太精密——弹性体厚度相差太大、弹性系数不一致、传感器间距不同，都会让参数出现偏差，算法就算不出正确数值。上周在维也纳的 ICRA 2026 上，节目组亲手测了多家触觉传感公司的产品，多数做不到一致。

车间里的流程包括：凝胶材料在超净工作台里固化成型（不能有灰尘和气泡）、用视觉筛选剔除带气泡与杂质的样品、再进入粘接、预总装、壳体与灯带相机芯片的精密组装、总装前的成像检测，最后每个批次的试产样品还要过自动化测试。受访者承认，现阶段很多步骤仍依赖手工，因为触觉传感器是新品类的上下游，标准化和自动化设备尚未统一；他们的做法是让自动化量产线交付标准品、试产线承接定制化需求与新工艺验证，两条线协同运转。

爆发的判断（39:25–42:45）

节目结尾给出的行业信号有三条：2026 年需求出现明显上涨，行业逐渐意识到触觉数据对训出更好的物理 AI 模型很关键；灵巧手、上下游和具身整机都在拼命出货，反过来带动触觉传感成熟；在 WAIC 上已经有汽车电池装配工厂把触觉传感器装上机械臂，用于适应频繁调度的柔性装配。

市场规模上，节目引用美国银行的预测：到 2030 年人形机器人出货量将达 120 万台；如果都装上触觉传感器、每台十根手指，触觉的市场需求会提升到千万级别。受访者按量产周期倒推，认为下一个里程碑就在 2026 年或 2027 年初。Eric 在节目里的说法是，「触觉是让机器人类人甚至超越人的最后一块拼图」，因为它让机器人掌握的是一种「人类的第一语言」——婴儿睁眼之前，先伸手去摸。

完整中文逐字转录稿

本逐字稿取自本期官方视频的中文字幕全文，按语意分段、每 10 分钟标注一次时间轴（官方字幕不带时间码与讲话人标记，段落顺序与时间轴按字幕字数对 42 分 45 秒的片长线性换算，可能与实际画面有偏差）。除一处广告口播的标注外，文字未加工、未删减。本片由主持人陈茜的旁白串起实验室与工厂的实拍，并夹有三位受访者的原声：一目科技创始人兼 CEO 李智强（Eric）、一目科技联合创始人兼执行副总裁陈天一，以及亚德诺半导体（美国）人工智能总监、灵巧 AI 负责人于弢；官方字幕未标注每句由谁说出，本稿因此统一按旁白体例收录，未对受访者原声单独拆分。

00:00 - 00:10

陈茜（旁白）：

你敢让机器人给你按摩吗它刚才是在找我的穴位说实话以前我是不敢万一它用力过猛真的有点吓人…但在今年的 WAIC 上我体验了一把之后发现...还挺舒服的啊这台给我按摩的机器人很大的不同在于它搭载了触觉传感器有人说“触觉”是具身智能的最后一块拼图真是如此吗老黄也提出来触觉其实是机器人有了触觉后真的能更强大吗干活会更聪明吗如果答案是肯定的那么为什么目前大多数机器人都还没有触觉市场上有哪些路线与冲突呢大家好欢迎收看硅谷 101 我是陈茜这期视频跟我们一起走进实验室

陈茜（旁白）：

去看看触觉传感器的前线研究我们来聊聊机器人的触觉到底发展到什么程度了第一个问题是机器人为什么需要触觉呢我们不妨先玩一个游戏这一堆花生中有三个是假的只能看不能摸你能够最快挑出假的吗这个这个然后这个好难选这个吧这个很遗憾可能三颗都没选对全错吗先别着急嘲笑我大家也可以跟着来“云挑战”一下接下来我们降低一点难度把这一堆花生变成六个其中有两个是假的大家来盲猜一下哪两个是假的呢我们也同时让机器手做一下这个挑战看一下它能否分辨得出来看一下它的准确率这个是真的这个是假的

陈茜（旁白）：

是的看一下最后一个全对厉害厉害怎么样你猜对了吗猜错了也没有关系毕竟两个假花生做得实在是太真了为什么机器手能猜对呢就因为它搭载了触觉传感器相信我只要能够上手摸你也能够很快分辨出来因为假花生是石头做的表面更冰凉、更光滑重量也更重还是实心的摇起来没有真花生中果粒的振动感通过这个案例相信你也明白了触觉的重要性现实中有很多任务是无法单纯通过视觉来完成的行业界有一些实验就比如说专门把有一些正常人的手我们打一些麻药就触觉感知神经给它短暂地麻醉掉

陈茜（旁白）：

这个时候的人其实对一些操作是就已经失灵了拧一些东西、抓握或者甚至系扣子等等你可能会疑惑一些没有触觉的机器人不是在很多任务上的成功率都很高了吗但是业内人士就指出成功率高并不等于可用性强只用视觉我动得非常非常慢每次微调一毫米我不断地去试总归我是能完成这些任务的所以如果我们只是去看这个成功率的话其实它是一个伪命题那么在这种情况下力就变得非常重要比如说我握一个东西握得多紧两个物体有没有咬合上比如说我要去拧一个螺丝那我不能只靠视觉说螺丝拧花了我才会认为这个力过大了

陈茜（旁白）：

那太晚了就比如说我柔性的操作我每根线的软硬度、它的材质都很重要那么触觉到底是什么呢它听上去是一种感觉但我们把它拆开来看会发现它其实包含两种不同维度的信息一类是对“力”本身的感知另一类是对“形态学”的感知其中力的感知还分为静态力和动态力静态力是抓握物品的时候手指持续施加的压力它告诉你捏得够紧吗物体有多硬动态力是物体滑动时候产生的高频信号它会告诉你是不是要掉了、摩擦力够不够而形态学的感知就是对不同材料的分辨比如说通过触摸分辨苹果和橘子就得判断表面是光滑还是粗糙

陈茜（旁白）：

摩擦时候的振动频率等等这么多复杂的维度放在机器身上该如何识别呢目前我们看到市面上的方案主要有五种分别是压阻式、压电式、电容式、光学式还有磁感应我们先来说一下压阻式这是最传统、最成熟的一条路线材料受力之后发生形变电阻值发生变化通过测量电阻变化来反推压力我们常用的电子秤就是这个原理它最大的优势是成熟、便宜、技术门槛低但是它只能测垂直方向上的力并且会随着温度、湿度产生漂移第二种是压电式一些特殊材料比如说石英、PZT 陶瓷受力时内部正负电荷中心发生偏移

陈茜（旁白）：

从而产生电压信号就像打火机的放电器而它最大的特点是只对变化的力敏感什么意思呢就是你按下去的一瞬间它会产生一个电压信号但是如果你一直按着不动信号就会慢慢地衰减到零松开的时候又会产生一个反向的电压信号所以压电式非常适合检测振动、冲击这类高频动态信号却难以测量静态力前面两种都是直接把“力”转化为“电信号”后面三种就不太一样了是把“力”转为了“形变量”然后测形变的程度这样做的一大好处就是不再只局限在垂直方向而是能够检测出三维的力电容式的原理就是平行板电容器

陈茜（旁白）：

当材料受力的时候弹性材料会形变比如按下去的时候上下两层更近了电容变大此时就能够测量垂直方向上的力或者滑动的时候板面积变化电容也变化能够感受到平面上的力它的优点是灵敏度极高、响应速度快而且成本相对较低但问题在于动态范围有限同时容易受到电磁干扰第四种是光学式也叫视触觉它是在传感器最上层覆盖一层柔性材料接触到物体时会产生形变材料背面有照明层而藏在最底下的摄像头会实时检测材料的状态通过算法反算出形变量再换算成力的分布因此这是一种可以同时解算接触形貌和接触力的传感器

陈茜（旁白）：

这就是目前行业最热门的方式也是精度最高的方式但是成本较高其中的细节点我们稍后来说我们先聊完最后一种方式也就是磁感应这种方式结构和光学式类似只是表面的弹性材料加入了磁性颗粒去掉了中间的照明层底部的摄像头变成了磁传感器这样表面弹性体变化的时候磁场也变化底部传感器捕捉变化之后反算出形变量同样能够推算出三维力但磁感应容易受电磁干扰周围的磁场环境会影响精度而且分辨率有限还有一些其他不太常用的方式比如说磁流体还有超声等等我们就不详细说明了以上不同的方式各有优劣

陈茜（旁白）：

我们的采访嘉宾就认为对于机器人的触觉来说多传感器结合也许是更好的方案你看我们除了手指之外其他的每一寸皮肤都是有感知的如果机器人想做到人类的水平是不是也需要全身都布满触觉呢但如果全身都用最好的技术那么成本就很难控制了而且不同部位的要求也不一样同一种技术路径也难以适用全身比如指尖的精度要求非常高使用光学式的方案就能达到更高分辨率但是如果是手掌、手臂等其他部位精度要求没那么高的时候用昂贵的光学式就不划算了同时它的面积也比较大比如说我们去考虑视触觉的话

陈茜（旁白）：

那我们这个光学模块的设计就会非常非常的困难但是如果我们使用比如说压阻式或者电容式的那它就会比较容易去覆盖这么大的面积在一些比较简单的应用场景下也可以选择精度不那么高的路径比如说我们在 WAIC 的展会上就看到一些采用电容式的触觉传感器已经被批量用于工厂的产品分拣还有检测了原因就在于成本相对较低与精度最高的光学式相比采购价只有四分之一到二分之一而且即使是同一个部位未来也有机会融合多种技术但前提是技术得足够成熟电容其实它的灵敏度非常高但这个问题就在于

陈茜（旁白）：

当你把这个材料已经压紧了之后它对于力的感知范围就会非常有限但压阻其实是一种必须硬碰硬的技术所以在这种情况下其实结合两者是一个可行的方案但是问题就在于到底这个制造的工艺和它的良率和它的量产能力是否能够跟上我们的需求但是现阶段可能大家都还在尽可能地去完善单一技术路线本身的一些缺陷除了力的感知广义的触觉还包括振动、材质感知等等这就得依靠其他的传感器来补足比如说人类想分辨丝绸和棉布的时候会通过触摸加滑动的方式来产生振动来感知材质的细粒度那么到了机器人身上该怎么做呢

陈茜（旁白）：

我们会加入像加速度计或者像麦克风这种传感器能够更有效地捕捉到高频振动产生的信号所以完整的触觉方案不是选一种技术路线就完事了目前行业里面最前沿、精度最高的就是光学式我们的采访嘉宾 Eric 所创办的公司一目科技也就是选择了这个方向那么接下来我们就走进他的实验室探究一下光学式的原理 2000 年前后一批研究人员开始尝试一个大胆的想法触觉能不能也像视觉一样被摄像头“看见”其中最具代表性的探索之一是来自 MIT 教授 EdwardAdelson 领导的团队

陈茜（旁白）：

他们在 2009 年提出了 GelSight 让机器人第一次拥有了类似“视觉”的触觉能力光学式最显著的优势就是分辨率高甚至已经超过了人类人的一个指尖大概 1 平方厘米上面布了 3000 个触觉的感知点上面布了 3000 个触觉的感知点感知点对每一个点下面有四个不同的 nerve（神经元）就相当于 12000 个不同的神经元在去做感知我们的传感器现在可以做到 24 万个点就已经超过人了但是代价也不小接下来我们从材料、结构、算法、成本四个方面详细来说说首先是材料有三大要求第一就是得特别软

00:10 - 00:20

陈茜（旁白）：

业内称为“杨氏模量”低这样才能够通过细致的形变精确地反映物体的硬度和力度第二是得耐磨不然日常执行任务久了就会出现性能漂移或者破损第三是要尽量薄才能尽可能缩小整个传感器尺寸扩大应用场景而这三点却天然对立无法同时满足我们一直讲它是个不可能三角但我们只能找平衡以及说找一些新的方法能不能把某些的变量给的约束条件去掉或者说减弱接下来我们去到材料实验室看看新材料的研发过程这边是我们自己做配方研究的一个实验台可以看到其实这边我们这些原材料大部分都是这种液态的材料

陈茜（旁白）：

其实种类很多感觉是个化学实验室对通过我们自己研究要把这些不同的原材料给它混到一起从而能够使它在成型之后达到我们想要的这种性能这个事情的难点在哪里就是配方的各种不一样的配比 Ratio（比例）还是它其实还不仅仅是这种配方我们从底层的一些化学基底开始研究单体然后到我们的配方 Eric 告诉我们现在行业出现了一种很有意思的材料叫做“可恢复性材料”就像人一样就算不小心给划破了过段时间就能够自愈它恢复性一般来自于一些特殊的官能团就比如说我们会发现有一些分子

陈茜（旁白）：

它的分子键断裂之后还会恢复就是这种特殊的一些官能团我们（做配方时）要去保留这是我们新型的、非常新颖的一种材料能做到跟人皮肤很接近吗很接近这个就是你可以上手试一试这超软的比刚才那个软很多对像婴儿摸起来它也没有任何伤害的感觉我们再来聊聊结构手指肯定是越小越灵活对吧这就要求触觉传感器也尽可能做得小我们的产品体积是最小的我们的厚度和 SIM 卡的大小基本上是一致的不到 16 毫米为什么做得薄是一个技术领先的事情光触觉它背后需要有一个感光的芯片要么用摄像头要么用一些感光芯片

陈茜（旁白）：

但是你为了达到把整个视场都能看到的相当于我们微距摄影一样它总是需要有一定距离的这个距离就是它最底层的一个物理的制约因素要做得小一方面就是前面我们提到的材料要尽可能地薄另一方面就得从摄像头上下功夫了尽可能去降低摄像头的对焦距离同时还要扩大视场角来覆盖更多的感应区域我们通过自研的一些超表面和芯片的技术能够去压缩它的视距不再用一些传统的这种 lens（透镜）这种镜头的方式来做了在结构上照明层的光路设计也是一大难点因为手指的形态不是完全平面的结构

陈茜（旁白）：

左右两边都有一些弯曲的弧度这就需要精细设置照明灯珠的排布保证不同位置照明的一致性照射的光路这里边是非常有讲究的所以我们要做大量的仿真我们叫光追踪看到每一个光子在传播的路径里边会怎么去做传播在设计的时候我们就要把它做到一方面是覆盖最广这样我才能在 270 度都能覆盖到另外一方面就是说它精度和轨迹是可预测的否则的话可能光和光之间就打架就会产生了串扰这是一台 BSDF 测试装置用于我们不同产品的表面材料的光学特性的测量可以将测得的光学特性输入到仿真模拟中

陈茜（旁白）：

使我们的仿真更加准确有个小故事之前如果买一套这种设备好像很贵我记得大概多少专业一点的设备要百万级百万级这个是我们胡博士自己搭的是吗对他们当时说我们买一台吧胡博士说我们来自己试试能不能搭一台而且精度各方面挺好的你们这个有点 SpaceX 的味道了自己搭了一个百万级的设备另外照明的灯珠在市场上有两种方案一种是单色另一种是多色为什么呢这就要说到第三点也就是算法光学式具体是怎么去识别触觉的呢主要有三种方式第一种叫做标记点法在皮肤层上会印很多微小的标记点

陈茜（旁白）：

摄像头跟踪这些点的位移变化来计算皮肤层的形变优点是算法简单、制造容易但缺点是精度上限很低 Marker（标记点）我能点多少个一般可能顶多就几十个 Marker 点它就是你 resolution（分辨率）的上限了顶多我中间做一些插值但这都不是真值所以它的问题就在于相对来说精度低一些第二种是纹理分析法皮肤表面不再需要规则的点阵而是随机喷涂的细小颗粒或者利用材料本身自带的不规则纹理受力时摄像头通过追踪光影纹理的流动来计算形变它的优点在于硬件制造简单因为不需要做标记点了

陈茜（旁白）：

其实大家手里面的光学鼠标原理就是简化版的纹理分析法为什么是简化版呢因为鼠标检测的是二维平面上的变化而触觉传感器需要检测的是三维这也是它的缺点所在算法复杂计算量更大相对的响应延迟也较高前面两种算法主要关心的是亮度还有对比度这些信息所以用单色照明方案就够了而第三种光度立体法就必须用多色光了这种方式不需要任何标记点和纹理皮肤比较均匀照明层用红、绿、蓝三种颜色的光从不同方向打光发生形变的时候由于皮肤表面凹凸变化不同颜色光线打到同一个点的距离不同

陈茜（旁白）：

相机捕捉到的就不再是均匀的颜色算法会分析图像中的每一个像素点的 RGB 颜色值来计算形变第三种其实是兼顾了这两者优缺点的比较好的一个折中方案制造方面来说也没有那么复杂但是它在解算的时候通过预训练的一些模型就可以快速地去做分析了所以它算力要求比第一种大比第二种小精度也是比较优的而光学式的第四个挑战就在于成本通过前面的解析相信大家也能够看出来它的结构有多复杂相应的成本也更高单价来讲的话（单指）还是千元级的这么一个价格可能会比别的技术路线稍微贵一些其实我们也看到了

陈茜（旁白）：

把整个的成本降到小几百可能性随着它的量上升而且不光是制造本身后续的算法、算力要求也更高视触为什么现在大家比较流行因为大家发现我可以比较好地用这种视觉的模型就直接可以处理但它的问题是什么这个视觉的模型一般都会比较大所以它对于算力的要求相对来讲会是更高当然高成本也对应着高上限在实验室里面我们也看到了直观的对比这是一个没有触觉的灵巧手在没有视觉的辅助下夹起薯片的时候因为掌握不好力度很容易就夹飞了而这是带有视触觉的夹爪不仅可以轻轻夹起薯片当我想从它手中抽离时

陈茜（旁白）：

它还会感知到轻微的晃动和摩擦慢慢卸力还有更好玩的就是夹树叶相比起薯片树叶缺少了刚性稍微多一点力就会发生形变但我们看到夹爪依然能精准感知到树叶发生微小的形变之后因弹性而对两边释放的微小力不过业内人士认为现阶段更应该优先考虑的不是成本而是验证路径的可行性所以接下来我们先来说说应用路上的第一道障碍也就是数据采集机器人最稀缺的就是训练数据了而到了触觉领域已经不仅仅是“少”了现在触觉的数据基本为 0 就可用的数据基本为 0 高保真的这种传感器其实之前是缺失的

陈茜（旁白）：

然后我们通过传统的一些方法采集来的数据跟人不太接近且没有那么高保真的能力你看对于“触觉”这种强调实感的维度普通的视频还有文字等互联网数据是无法反映出“力”的大小和方向的所以这个领域尤其强调真机数据但是真机数据在获取上存在着三大难点我们再来做个简单的小实验哈我们戴上这个很厚的手套然后试图拿起一块豆腐真的很难掌控力度要么就是它会滑下去要么我可能稍微一用力它就破了最主要的原因就是厚重的手套完全屏蔽了我们的触觉我们无法判断豆腐和手指之间的摩擦力是否够是否快掉下去了

陈茜（旁白）：

以及豆腐的形变程度是不是快破了也是触觉数据采集时要面临的最大悖论采集人的触觉也就意味着我们会需要在人手和物体之间做一个隔离那也就是说在某种程度上我们屏蔽了人自己的触觉如果人手被传感器覆盖导致人本身的触觉没有办法被有效利用导致人本身的触觉没有办法被有效利用那么操作者的手变笨了那我的这个 demonstration（示范）其实质量会下降那我这个数据其实训练出来的结果就没有办法让机器人能具有像人一样的灵巧的能力这是一目的数采设备把整个传感器放在了手指前面

陈茜（旁白）：

操作起来就像用筷子一样我认为它确实跟真实世界有 gap（差距）通过一些算法能把它回退回来可以去做一些 gap 的弥补但是我不可否认它跟人是不一样的所以最大的问题就是要采集触觉就得先屏蔽触觉但是屏蔽触觉之后又难以采集触觉这个好绕口而且采集设备本身也比较复杂一定程度上也会影响采集员的操作其实大多数数采设备都非常的笨重就是它尺寸大穿戴比较麻烦都会在某种程度上影响操作员采集数据本身的一些行为要解决这个问题一方面需要行业做出更薄的传感器尽可能减少对采集员触觉的屏蔽

00:20 - 00:30

陈茜（旁白）：

我们下一代的触觉传感器是超薄型的 3 毫米你不需要戴一个非常复杂的手套只在某些关键的地方贴一些触觉点另一方面行业需要设计出更舒适、更符合人体工学的采集设备而这需要多学科领域交叉（人体工学设计）这个其实是和设计一个触觉传感器和灵巧手是完全不相干的东西这个是我觉得接下来一年非常重要的一个课题行业里也有一些对采集员影响较小的织物采集手套但是这就牵扯到第二个问题了数据密度不够最好的织物的触觉手套我们看到的也就 500 个点一个手我如果想把这个数据应用在比如说我们的传感器上

陈茜（旁白）：

那其实这个 gap（差距）还是挺大的那其实这个 gap（差距）还是挺大的也就是说如果我戴着这个手套去抓一个 M2 的螺钉其实在这个上面就是一个点我是没有办法去检测到这个螺丝的方向或者它的大小的即使模型再强也没有办法有效地让它去学习到这样的一些信息于弢团队和 MIT 去年合作了一个项目用这类手套采集触觉数据结果发现大部分有效数据都是用整个手掌抓取一个较大的东西因为这种任务对密度的要求最低一旦涉及到精细操作数据就失效了行业面临的第三个问题是由于触觉还是非常早期的行业

陈茜（旁白）：

各家公司的数据采集格式不统一难以形成大规模的训练集比如有的采集设备是两指的就只适合在工业场景的机器夹爪上不适用于灵巧手的训练在数据的存储和对齐方面我觉得现在还做得不够好它们之间的一致性好不好触觉和其他模态的对齐好不好比如说我同时采了触觉、视觉、本体信息这些模态是不是能从时间轴到它数据本身的对齐能力做得更好就这块其实也是缺失的或者做得不够好硬件其实现在是相对不成熟的不同的技术也好不同的传感方式、数采设备各自的数据格式、各自的数据形态其实都不一样

陈茜（旁白）：

算法就没有办法去演进因为数据的量上不去设备不够成熟就采不到高质量数据然后训练不出好模型然后就没人愿意投资这个领域这会是一个不断的恶性循环既然真机采集这么难那如何才能够规模化呢这就得用到仿真合成了仿真是在虚拟的环境中模拟真实场景可以同时、批量采集不同的数据到了这一步就不得不说到大家比较熟悉的公司英伟达了这条是老黄重点押注的路线他们为此也搭建了非常完善的框架 IsaacLab 实际训练的时候触觉公司会利用各种公有的模型并对不同的模型加入一些真实的物理特性

陈茜（旁白）：

比如一个螺母它就是刚性的、比较重、表面光滑或者是一个毛线球它有多软、多重、表面粗糙程度如何等等同时还要在系统里输入触觉传感器的特征比如说表面的弹性体的物理特征手指内的光源分布等等而有了这些数据之后就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度、光路变化推算出最终采集到的数据仿真的结果还会和现实表现做对比通过数据标定来进一步修正这边图上面就是展示的我们在某一个确定的条件下实际上的图像采集后面蓝色的点就是仿真的形变红色的点就是标定的

陈茜（旁白）：

我们暂时的这部分修正是在解算层面最后做一个映射的矩阵去修正输出后续会在模型输入的层面去做修正另外在今年五月有一篇名为 Tabero 的论文还提出了一种方法那就是复用已有机器人数据把这些轨迹重新放入 IsaacLab 当中并且加入触觉传感器模拟最终生成完整的“视觉-触觉-语言-动作”数据这其中最大的难点就是计算量太大了如果说要精细地进行弹性体变形的计算的话如果说我们用一些有限元的方法来进行精细的计算的话可能一帧就需要一个小时的时间这对于需要快速实时地获取数据而言

陈茜（旁白）：

是不能接受的所以学术界提出了很多简化的计算方式比如说英伟达在 2025 年就发布了 TacSL 论文就介绍了一种用于视触觉的仿真方式它的核心思路是用软接触模型代替有限元计算什么叫做软接触呢比如说我们把物体和皮肤都当作刚体处理但它们之间可以“互相穿透”接触的力越大穿透得越多这样算出来的形变虽然不是最精确的但也能大致模拟而且在计算速度上更快但不可否认仿真和现实之间永远都会有差距 Eric 就告诉我们他们仿真的准确率大概是在 90%以上而其中 10%的差距主要在于柔性物体的模拟

陈茜（旁白）：

这也是目前的挑战所在（针对柔性物体）我们也可以去补充一些后训练数据比如说我们已经有一个 80 分的模型了我再加一点点后训练很快就可以到 90 分以上这个思路和 TacSL 论文的策略是一致的 TacSL 在训练策略的时候做了两件事一是随机化物理参数让策略适应不同的刚度、阻尼二是在触觉图像上做大量的数据增强让策略对摄像头差异、光照变化鲁棒这样他们在真机上实现了零样本迁移在插拔销钉的任务上 TacSL 在真机上达到了 82.7%的成功率所以仿真的意义更多是作为真机数据的补充

陈茜（旁白）：

两者需要搭配训练我到底真实的（数据）多一点和仿真的多一点每家可能不太一样我们的判断可能至少 1 比 1 甚至 1 比 1 以上仿真可能会占多数在短期之内到底需要多少数据才能够训练出较好的模型在这点上业内人士给出的答案比我们想象的更乐观一些什么时候我们能够收（集）到 100 万小时等同于一个人一生的物理经验的数据我觉得可能我们才开始后面的探索这是我们采访做具身模型的人时 PhysicalIntelligence 的嘉宾 Kay 她给我们的答案但到了触觉领域数据量却只要十分之一

陈茜（旁白）：

训练一个带有触觉的基础模型所需要的数据应该是要远低于基于视觉的基础模型当你有 10 万小时的数据往上走你会发现它逐渐就开始有一定的泛化能力这背后的原因其实不难理解因为机器人的行为模型其实包含了大量操作的“过程”信息比如说转身、伸手、移动等等并不是说这些信息不重要但真正对训练有效的部分往往是那些“拿起”、“放下”等关键的操作而对于触觉数据来说平时在没有操作时输入的信息基本为零相当于这 10 万小时已经减掉了无效操作的部分说完数据采集我们再来聊聊触觉的第二个障碍

陈茜（旁白）：

算法模型的应用有意思的是如果你直接把触觉信号输入到行为模型当中机器人任务的成功率反而会下降这是为什么呢今年 6 月伯克利、英伟达、斯坦福集结了李飞飞、JimFan 等众多知名学者联合发布了一篇名为 T-Rex 的论文其中一项实验结果表明如果把触觉信号直接输入到π0.5 的模型当中各项任务的成功率反而下降了这反映出一个问题加了一个模态不等于模型表现就能够变好所以如何利用触觉信号目前是最大的挑战之一我觉得最大挑战其实是大家对于触觉这个模态还是比较陌生

陈茜（旁白）：

以及它真的怎么融入到我们模型训练里边其实大家还没有一个完整跑通 cycle（闭环）的这么一个好的 SOTA（最先进的）模型出来我们先简单来说说此前触觉应用的三大挑战第一个问题是触觉没法用规则定义一个东西到底是软还是硬、是脆还是弹超过多大的力会破坏物品物品能不能被破坏我们没法单纯地设置一个数值写一个规则这样在执行任务的时候模型会难以判断比如拿起纸杯这件事力气小一点能够拿起来稍微再夹紧点杯子有点形变也可以接受但是到了鸡蛋上就绝不能让蛋壳有形变

陈茜（旁白）：

第二个问题是触觉信号维度太多直接输入到模型当中反而成为了噪声我们前面说过触觉包含了纵向的压力横向剪切力和摩擦力还有表面材质感知的温度振动、音频等等数据这些数据不加处理地输入到大脑中模型将难以分解第三个问题是触觉和其他模态的频率不匹配触觉信号天然是高频的而视觉语言模型通常运行在低频率这就意味着两者难以直接结合会出现计算资源浪费、反应速度慢触觉噪声干扰高层规划等问题到了今年由于 AI 的进步业界是看到触觉应用的范式之所以触觉最近两年开始火并不是因为触觉这个技术本身

00:30 - 00:40

陈茜（旁白）：

这两年才存在而是在很久以来大家并不知道怎么样去用触觉其实像最近这些 AI 算法的演化和这种端到端模型的实现其实对于触觉的利用是非常大的促进我们知道端到端就是直接把信号输入给神经网络让模型自己学习不需要人为定义规则这就解决了第一个挑战第二个挑战的解决思路就是利用编码器（Encoder）前置处理触觉信号将这些数据打包后输出完整的语义理解就是用这种 Self-supervisedlearning（自监督学习）的方式去 trainEncoder（训练编码器）

陈茜（旁白）：

我们可以很容易地把不同类型的触觉模态甚至视觉结合在一起然后利用现有的一些比较常见的这种 Attention 的 mechanism（注意力机制）就可以比较好地去抓取不同模态的触觉之间的这种相互的关系然后从模型训练的角度这个能够比较有效地把这样的一个信息集成到更大的一个 Backbone（主干网络）里面我们叫 TactileTransformerencoder（触觉 Transformer 编码器）然后通过编码器对它进行一个语义理解比如说到底是软的、硬的有没有摩擦

陈茜（旁白）：

包括形态上来说像什么等等这些语义理解它做完这个编码之后再进到这个 backbone（主干网络）大模型里面去做一个判断再来说说如何解决频率不匹配的问题在 T-Rex 论文当中就提到了 MoT 的方式这篇论文提出的“MoT”架构借鉴了 MoE 的思想由不同专家处理不同类型的信息为此构建三个不同的专家 LatentExpert 潜在专家负责处理视觉和语言观察预测未来的视觉表征提供“上下文理解”这是慢速的、认知层面的 ActionExpert 动作专家负责根据视觉语言上下文生成动作序列

陈茜（旁白）：

比如说往哪里走、手臂大概怎么摆等等但是它输出的只是粗略的动作而最具创新的是第三个专家叫 TactileExpert 触觉专家它就像机器人的反射系统在动作执行过程当中通过实时触觉反馈对力度、角度和接触状态进行快速修正听上去好像也不算啥创新毕竟 MoE 架构早就有了只是额外设置了一个触觉专家而已别着急这套系统最重要的思想在于“异步执行”什么意思呢在推理时动作专家生成动作规划同时触觉专家以更高的频率独立运行不断对动作进行修正这样机器人在利用触觉的时候

陈茜（旁白）：

可以复用已经算好的上下文缓存只进行快速的触觉推理这样既保留了大模型的理解能力又获得了类似人类触觉反射的快速响应能力这也类似我们之前聊基础模型的双系统架构它的 System2 负责慢思考、长程规划而 System1 负责快反应、本能动作触觉也不例外所以我们就觉得它应该是两个不同的系统以及它可以去打通就比如说在触觉在边缘端我其实应该有一个快速响应机制比如碰到了我们就应该做什么动作同时我觉得触觉信息也应该能回到大脑去对我一个相对长程的这个过程里边做一定决策的影响

陈茜（旁白）：

但是它就偏 reasoning（推理）我们在采访过程当中也发现了业界的一点分歧那就是触觉模型是单独训练还是要结合摄像头、激光雷达等其他传感器来一起训练呢 Eric 就认为触觉模型可以单独训练这样才能够更好地去平衡权重就像 T-Rex 这篇论文的思路我们会更倾向于触觉模态的单独训练因为触觉模态它本身的语义理解就可以完成一定的闭环了当它的语义理解结束之后再和其他的模态进行融合让大脑去判断会更好一点因为它每一个模块可以去单独地做训练、测试、闭环

陈茜（旁白）：

然后同时这些模块可以像即插即用一样去插到不同的系统里面去做应用它还能跟其他模态更好对齐不然的话你这个眉毛胡子一把抓都混在一起到底模态之间的数据怎么去平衡其实是个挺难的问题而来自北美的于弢就认为两者必须要同时进行这样才能够判断每个“力”在空间中的分布让模型更好地理解“我是拿了什么东西才会有这样的感知”视觉它是一个全局的而触觉它真的是一个非常局部的事情我的手的形态动的时候同一个传感器对应的在空间上的分布是不一样的当大家做视觉和触觉的模态融合的时候

陈茜（旁白）：

其实并不是一个简单的 Latentspacerepresentation（表征空间）你在同一个 embodiment（载体）做同样一件事情的时候是可以的但一旦这样做完之后你的 transfer（迁移）非常难比如像哥大李昀烛（YunzhuLi）老师是把这种触觉的力的分布是结合到这种三维点云上的那么也就是说这个力并不只是一个力而是它在这个空间中力的一个分布那么在这种情况下其实是需要触觉和视觉的结合的于弢的思路也对应着我们前面提到的 Tabero 这篇论文

陈茜（旁白）：

他认为触觉应该参与到高层决策中理解“轻一点”和“重一点”的语义简单来说 Tabero 主打前置的“语义力控”而 T-Rex 是执行过程的“高频修正”由于触觉这个行业目前处于非常早期的阶段多条路线在同时探索没有绝对的优劣之分我们也只是向大家来展示不同的路径最后我们来说说触觉的第三个障碍就是规模化量产的最大的难题就在于性能的一致性上周在 ICRA2026 在维也纳我们看到非常多的触觉传感的公司我们亲手去测了一下这个事它是否一致其实大多数是做不到的

陈茜（旁白）：

因为手指的调整动作都是非常微小的在做精密操作的时候输出的力稍微有点偏差就可能导致任务失败但触觉传感器又太精密了但凡表面的弹性体厚度相差太大弹性系数不一致、传感器间距不同都会导致参数偏差算法就难以计算出正确的数值接下来我们就去一目科技的试产车间看看他们是如何验证新工艺的我们现在穿上了无尘服接下来会去到他们的试产车间大家先摸一下这个防静电球去除身上的静电第一步是先把凝胶材料放到模具内固化作为手指的表面弹性体这一步得注意不能有任何的灰尘和气泡这是一个超净工作台

陈茜（旁白）：

它可以提供一个局部 100 级的超洁净空间有利于我们的凝胶制备制备完成之后还得先检验是否合格这边会做一些拍摄如果发现里面有气泡、杂质的情况我们是可以通过视觉来筛选的并且我们所有的数据会经过上位机的判断再筛选一次最后就是将其他地方制备的零部件集中到一条产线上进行组装大家刚才看到的材料会在这里进行分步组装从第一个粘接工位到这边的预总装工位到这边的预总装工位包括壳体、灯带、相机、芯片等各个零部件的精密组装然后我们会到总装前的预检测工位我们的触觉传感器会在这里

陈茜（旁白）：

进行一个成像的检测可以拉近看一下我们电脑里显示的画面可以拉近看一下我们电脑里显示的画面它展示了我们触觉传感器的一些精密动态它是力学的反馈里面有很多的 AI 算法在里面经过检验的成品最后就变成了我们的成品经过检验的成品最后就变成了我们的成品当然每个批次的试产样品还得经过自动化测试用来验证工艺参数的稳定性相信大家都能看出来在试产阶段很多步骤依然依赖于手工操作因为触觉传感器是一个比较新的品类现成的标准化、自动化设备暂时还没有统一这个（触觉的）量产

陈茜（旁白）：

它不是脱离了你的上下游自己去生产你的上下游比如说是数采或者是灵巧手其实它有不同的协议、有不同的接口有不同的关于它手的适配所以来讲你的量产还是要跟着它的需求有一些定制化的操作一方面是自动化量产线稳定交付标准品另一方面是试产线承接定制化需求和新工艺验证那么这两条线协同运转正是这个行业走向成熟的标志而到了 2026 年这个时间点我们采访的几乎所有嘉宾都表示触觉已经是处于爆发的前夜了今年我们确实是看到了说整个需求有一个大幅度的上涨大家慢慢认识到了触觉的数据

陈茜（旁白）：

其实对于物理 AI 最后训出更好的模型来讲是非常重要的今年来讲的话灵巧手、上下游包括具身的整机大家都在去拼命地做、拼命地出货自然也会带动整个触觉传感更加成熟在今年的 WAIC 展会上我们也在一目科技的展台看到了某大型汽车电池装配工厂将他们的触觉传感器搭载到了机械臂上实现了工业级的应用不同的电池包这样的一些形态、它的一些变化如果我们依赖传统的自动化纯去做每次的预编程和大量的开发是没有办法去做适应这种产线的频繁调度和变化的这样的一个过程所以基于这个触觉

00:40 - 00:42:45

陈茜（旁白）：

就得到了一些柔性装配的能力而未来还将应用到实验室里做更多精密操作的项目比如说像滴管去做精准的取液我恰好要把它控制到毫克级的这样一个精准程度有了触觉的一个精准反馈我可以精准地去控制对于滴管施加的一个力形变这样的一些变化根据美国银行的预测到 2030 年人形机器人的出货量将达到 120 万台假设都装配了触觉传感器每个机器人 10 根手指那么触觉的市场需求将提升到千万级别如果那个时候是量产我们倒推一年或者一年半到两年这么一个研发的周期或者测试的周期

陈茜（旁白）：

也就是说下一年（要开始上量）（触觉的）下一个里程碑节点会在什么时候发生我觉得就是今年或者明年年初应该就这个时间段在我们采访的时候 Eric 就提到触觉是让机器人类人甚至超越人的“最后一块拼图”因为这不仅是多了一个维度的数据更是让机器人掌握到了“人类的第一语言”人类的婴幼儿他刚出生之后他第一个会的其实并不是看和听小朋友都是靠触觉我摸这个世界甚至可能用舔、用舌头这个其实是我们人类对于这个世界的第一语言 Adelson 也提到启发 GelSight 的灵感是源于观察小孩时

陈茜（旁白）：

发现触摸对他们更有吸引力是啊如果我们想想我们的小孩刚出生的时候他不会说话、不会走路连看都看不太清楚想感知世界就只能够伸手去摸妈妈的脸、摸床单的材质摸脚趾头的形状等等而今天我们正在教机器人做同样的事情让它摸花生、摸树叶、摸鸡蛋每摸一次对物理世界的理解就多一点或许很多年之后机器人走进我们的生活那个时候我们回望可能会发现转折点就在触觉普及时因为那一刻机器人才开始真正地理解了世界好了这就是这期视频的全部内容非常感谢大家看到这里你们的留言、点赞还有转发

陈茜（旁白）：

是支持我们《硅谷 101》做好深度科技和商业内容的最佳动力我是陈茜那我们就下期再见啦拜

References

1
本期官方视频
youtube.com
2
GelSight：面向机器人的高分辨率触觉传感器（Sensors, 2017）
pmc.ncbi.nlm.nih.gov
3
麻省理工学院脑与认知科学系：指尖传感器让机器人获得前所未有的灵巧度
bcs.mit.edu
4
TacSL：视触觉传感器仿真与学习库（arXiv）
arxiv.org
5
T-Rex：触觉反应式灵巧操作（arXiv）
arxiv.org

这期节目想回答的问题：一个比视觉基础模型更省数据的新模态，为什么反而卡住了整个具身智能行业？

先弄明白几个词

触觉传感器：装在机器手指尖、手掌上的器件，把接触时的力、形变和振动变成电信号。它是节目里「具身智能」讨论的核心零件之一。
视触觉（光学式触觉）：把一层柔性材料盖在传感器表面，材料受力形变，藏在下面的摄像头拍下形变，再用算法反推出力的大小和分布。目前精度最高，也最贵。
GelSight：视触觉这条路线公认的起点，由麻省理工学院爱德华·阿德尔森（Edward Adelson）的实验室在 2009 年首次提出，用一层涂了金属漆的透明弹性体和一台内嵌相机测量接触面的三维形貌。2 麻省理工学院的官方报道称，即便是后来为机械臂做的低分辨率版本，灵敏度也大约是人的手指的一百倍。3
VLA 模型：视觉—语言—动作模型，机器人领域当前的主流基础模型。触觉要解决的问题，正是这类模型在「手碰到东西以后」的失灵。
仿真到现实（sim-to-real）：先在虚拟环境里训练策略，再迁移到真机上。触觉之所以依赖它，是因为真机触觉数据极难采集。

为什么机器人需要触觉（00:00–04:11）

五条技术路线（04:11–07:10）

节目把市面上的方案分成五类，各自的原理与代价如下。1

路线	原理	优势	局限
压阻式	材料受力形变、电阻变化，反推压力	最成熟、便宜、门槛低	只能测垂直方向的力，受温度湿度影响会漂移
压电式	石英、PZT 陶瓷等材料受力产生电压	对振动、冲击等高频动态信号敏感	只对变化的力敏感，持续按住的静态力会衰减到零
电容式	平行板电容器，形变改变电容	灵敏度高、响应快、成本相对低	动态范围有限，易受电磁干扰
光学式（视触觉）	柔性材料形变，内嵌摄像头拍摄后反算形变与力分布	精度最高，可同时解算接触形貌与接触力	成本高，结构复杂，做小很难
磁感应	弹性体里加入磁性颗粒，底部磁传感器测磁场变化	同样能推算三维力	易受电磁干扰，分辨率有限

光学式的四个难点（09:47–18:51）

数采悖论：要采集触觉，先得屏蔽触觉（18:51–23:53）

仿真补位，以及它补不上的一段（23:53–28:37）

加了触觉反而更差：模型怎么用触觉（28:37–36:10）

量产卡在一致性（36:10–39:25）

爆发的判断（39:25–42:45）

完整中文逐字转录稿

本逐字稿取自本期官方视频的中文字幕全文，按语意分段、每 10 分钟标注一次时间轴（官方字幕不带时间码与讲话人标记，段落顺序与时间轴按字幕字数对 42 分 45 秒的片长线性换算，可能与实际画面有偏差）。除一处广告口播的标注外，文字未加工、未删减。本片由主持人陈茜的旁白串起实验室与工厂的实拍，并夹有三位受访者的原声：一目科技创始人兼 CEO 李智强（Eric）、一目科技联合创始人兼执行副总裁陈天一，以及亚德诺半导体（美国）人工智能总监、灵巧 AI 负责人于弢；官方字幕未标注每句由谁说出，本稿因此统一按旁白体例收录，未对受访者原声单独拆分。

00:00 - 00:10

陈茜（旁白）：

你敢让机器人给你按摩吗它刚才是在找我的穴位说实话以前我是不敢万一它用力过猛真的有点吓人…但在今年的 WAIC 上我体验了一把之后发现...还挺舒服的啊这台给我按摩的机器人很大的不同在于它搭载了触觉传感器有人说“触觉”是具身智能的最后一块拼图真是如此吗老黄也提出来触觉其实是机器人有了触觉后真的能更强大吗干活会更聪明吗如果答案是肯定的那么为什么目前大多数机器人都还没有触觉市场上有哪些路线与冲突呢大家好欢迎收看硅谷 101 我是陈茜这期视频跟我们一起走进实验室

陈茜（旁白）：

去看看触觉传感器的前线研究我们来聊聊机器人的触觉到底发展到什么程度了第一个问题是机器人为什么需要触觉呢我们不妨先玩一个游戏这一堆花生中有三个是假的只能看不能摸你能够最快挑出假的吗这个这个然后这个好难选这个吧这个很遗憾可能三颗都没选对全错吗先别着急嘲笑我大家也可以跟着来“云挑战”一下接下来我们降低一点难度把这一堆花生变成六个其中有两个是假的大家来盲猜一下哪两个是假的呢我们也同时让机器手做一下这个挑战看一下它能否分辨得出来看一下它的准确率这个是真的这个是假的

陈茜（旁白）：

是的看一下最后一个全对厉害厉害怎么样你猜对了吗猜错了也没有关系毕竟两个假花生做得实在是太真了为什么机器手能猜对呢就因为它搭载了触觉传感器相信我只要能够上手摸你也能够很快分辨出来因为假花生是石头做的表面更冰凉、更光滑重量也更重还是实心的摇起来没有真花生中果粒的振动感通过这个案例相信你也明白了触觉的重要性现实中有很多任务是无法单纯通过视觉来完成的行业界有一些实验就比如说专门把有一些正常人的手我们打一些麻药就触觉感知神经给它短暂地麻醉掉

陈茜（旁白）：

这个时候的人其实对一些操作是就已经失灵了拧一些东西、抓握或者甚至系扣子等等你可能会疑惑一些没有触觉的机器人不是在很多任务上的成功率都很高了吗但是业内人士就指出成功率高并不等于可用性强只用视觉我动得非常非常慢每次微调一毫米我不断地去试总归我是能完成这些任务的所以如果我们只是去看这个成功率的话其实它是一个伪命题那么在这种情况下力就变得非常重要比如说我握一个东西握得多紧两个物体有没有咬合上比如说我要去拧一个螺丝那我不能只靠视觉说螺丝拧花了我才会认为这个力过大了

陈茜（旁白）：

那太晚了就比如说我柔性的操作我每根线的软硬度、它的材质都很重要那么触觉到底是什么呢它听上去是一种感觉但我们把它拆开来看会发现它其实包含两种不同维度的信息一类是对“力”本身的感知另一类是对“形态学”的感知其中力的感知还分为静态力和动态力静态力是抓握物品的时候手指持续施加的压力它告诉你捏得够紧吗物体有多硬动态力是物体滑动时候产生的高频信号它会告诉你是不是要掉了、摩擦力够不够而形态学的感知就是对不同材料的分辨比如说通过触摸分辨苹果和橘子就得判断表面是光滑还是粗糙

陈茜（旁白）：

摩擦时候的振动频率等等这么多复杂的维度放在机器身上该如何识别呢目前我们看到市面上的方案主要有五种分别是压阻式、压电式、电容式、光学式还有磁感应我们先来说一下压阻式这是最传统、最成熟的一条路线材料受力之后发生形变电阻值发生变化通过测量电阻变化来反推压力我们常用的电子秤就是这个原理它最大的优势是成熟、便宜、技术门槛低但是它只能测垂直方向上的力并且会随着温度、湿度产生漂移第二种是压电式一些特殊材料比如说石英、PZT 陶瓷受力时内部正负电荷中心发生偏移

陈茜（旁白）：

从而产生电压信号就像打火机的放电器而它最大的特点是只对变化的力敏感什么意思呢就是你按下去的一瞬间它会产生一个电压信号但是如果你一直按着不动信号就会慢慢地衰减到零松开的时候又会产生一个反向的电压信号所以压电式非常适合检测振动、冲击这类高频动态信号却难以测量静态力前面两种都是直接把“力”转化为“电信号”后面三种就不太一样了是把“力”转为了“形变量”然后测形变的程度这样做的一大好处就是不再只局限在垂直方向而是能够检测出三维的力电容式的原理就是平行板电容器

陈茜（旁白）：

当材料受力的时候弹性材料会形变比如按下去的时候上下两层更近了电容变大此时就能够测量垂直方向上的力或者滑动的时候板面积变化电容也变化能够感受到平面上的力它的优点是灵敏度极高、响应速度快而且成本相对较低但问题在于动态范围有限同时容易受到电磁干扰第四种是光学式也叫视触觉它是在传感器最上层覆盖一层柔性材料接触到物体时会产生形变材料背面有照明层而藏在最底下的摄像头会实时检测材料的状态通过算法反算出形变量再换算成力的分布因此这是一种可以同时解算接触形貌和接触力的传感器

陈茜（旁白）：

这就是目前行业最热门的方式也是精度最高的方式但是成本较高其中的细节点我们稍后来说我们先聊完最后一种方式也就是磁感应这种方式结构和光学式类似只是表面的弹性材料加入了磁性颗粒去掉了中间的照明层底部的摄像头变成了磁传感器这样表面弹性体变化的时候磁场也变化底部传感器捕捉变化之后反算出形变量同样能够推算出三维力但磁感应容易受电磁干扰周围的磁场环境会影响精度而且分辨率有限还有一些其他不太常用的方式比如说磁流体还有超声等等我们就不详细说明了以上不同的方式各有优劣

陈茜（旁白）：

我们的采访嘉宾就认为对于机器人的触觉来说多传感器结合也许是更好的方案你看我们除了手指之外其他的每一寸皮肤都是有感知的如果机器人想做到人类的水平是不是也需要全身都布满触觉呢但如果全身都用最好的技术那么成本就很难控制了而且不同部位的要求也不一样同一种技术路径也难以适用全身比如指尖的精度要求非常高使用光学式的方案就能达到更高分辨率但是如果是手掌、手臂等其他部位精度要求没那么高的时候用昂贵的光学式就不划算了同时它的面积也比较大比如说我们去考虑视触觉的话

陈茜（旁白）：

那我们这个光学模块的设计就会非常非常的困难但是如果我们使用比如说压阻式或者电容式的那它就会比较容易去覆盖这么大的面积在一些比较简单的应用场景下也可以选择精度不那么高的路径比如说我们在 WAIC 的展会上就看到一些采用电容式的触觉传感器已经被批量用于工厂的产品分拣还有检测了原因就在于成本相对较低与精度最高的光学式相比采购价只有四分之一到二分之一而且即使是同一个部位未来也有机会融合多种技术但前提是技术得足够成熟电容其实它的灵敏度非常高但这个问题就在于

陈茜（旁白）：

当你把这个材料已经压紧了之后它对于力的感知范围就会非常有限但压阻其实是一种必须硬碰硬的技术所以在这种情况下其实结合两者是一个可行的方案但是问题就在于到底这个制造的工艺和它的良率和它的量产能力是否能够跟上我们的需求但是现阶段可能大家都还在尽可能地去完善单一技术路线本身的一些缺陷除了力的感知广义的触觉还包括振动、材质感知等等这就得依靠其他的传感器来补足比如说人类想分辨丝绸和棉布的时候会通过触摸加滑动的方式来产生振动来感知材质的细粒度那么到了机器人身上该怎么做呢

陈茜（旁白）：

我们会加入像加速度计或者像麦克风这种传感器能够更有效地捕捉到高频振动产生的信号所以完整的触觉方案不是选一种技术路线就完事了目前行业里面最前沿、精度最高的就是光学式我们的采访嘉宾 Eric 所创办的公司一目科技也就是选择了这个方向那么接下来我们就走进他的实验室探究一下光学式的原理 2000 年前后一批研究人员开始尝试一个大胆的想法触觉能不能也像视觉一样被摄像头“看见”其中最具代表性的探索之一是来自 MIT 教授 EdwardAdelson 领导的团队

陈茜（旁白）：

他们在 2009 年提出了 GelSight 让机器人第一次拥有了类似“视觉”的触觉能力光学式最显著的优势就是分辨率高甚至已经超过了人类人的一个指尖大概 1 平方厘米上面布了 3000 个触觉的感知点上面布了 3000 个触觉的感知点感知点对每一个点下面有四个不同的 nerve（神经元）就相当于 12000 个不同的神经元在去做感知我们的传感器现在可以做到 24 万个点就已经超过人了但是代价也不小接下来我们从材料、结构、算法、成本四个方面详细来说说首先是材料有三大要求第一就是得特别软

00:10 - 00:20

陈茜（旁白）：

业内称为“杨氏模量”低这样才能够通过细致的形变精确地反映物体的硬度和力度第二是得耐磨不然日常执行任务久了就会出现性能漂移或者破损第三是要尽量薄才能尽可能缩小整个传感器尺寸扩大应用场景而这三点却天然对立无法同时满足我们一直讲它是个不可能三角但我们只能找平衡以及说找一些新的方法能不能把某些的变量给的约束条件去掉或者说减弱接下来我们去到材料实验室看看新材料的研发过程这边是我们自己做配方研究的一个实验台可以看到其实这边我们这些原材料大部分都是这种液态的材料

陈茜（旁白）：

其实种类很多感觉是个化学实验室对通过我们自己研究要把这些不同的原材料给它混到一起从而能够使它在成型之后达到我们想要的这种性能这个事情的难点在哪里就是配方的各种不一样的配比 Ratio（比例）还是它其实还不仅仅是这种配方我们从底层的一些化学基底开始研究单体然后到我们的配方 Eric 告诉我们现在行业出现了一种很有意思的材料叫做“可恢复性材料”就像人一样就算不小心给划破了过段时间就能够自愈它恢复性一般来自于一些特殊的官能团就比如说我们会发现有一些分子

陈茜（旁白）：

它的分子键断裂之后还会恢复就是这种特殊的一些官能团我们（做配方时）要去保留这是我们新型的、非常新颖的一种材料能做到跟人皮肤很接近吗很接近这个就是你可以上手试一试这超软的比刚才那个软很多对像婴儿摸起来它也没有任何伤害的感觉我们再来聊聊结构手指肯定是越小越灵活对吧这就要求触觉传感器也尽可能做得小我们的产品体积是最小的我们的厚度和 SIM 卡的大小基本上是一致的不到 16 毫米为什么做得薄是一个技术领先的事情光触觉它背后需要有一个感光的芯片要么用摄像头要么用一些感光芯片

陈茜（旁白）：

但是你为了达到把整个视场都能看到的相当于我们微距摄影一样它总是需要有一定距离的这个距离就是它最底层的一个物理的制约因素要做得小一方面就是前面我们提到的材料要尽可能地薄另一方面就得从摄像头上下功夫了尽可能去降低摄像头的对焦距离同时还要扩大视场角来覆盖更多的感应区域我们通过自研的一些超表面和芯片的技术能够去压缩它的视距不再用一些传统的这种 lens（透镜）这种镜头的方式来做了在结构上照明层的光路设计也是一大难点因为手指的形态不是完全平面的结构

陈茜（旁白）：

左右两边都有一些弯曲的弧度这就需要精细设置照明灯珠的排布保证不同位置照明的一致性照射的光路这里边是非常有讲究的所以我们要做大量的仿真我们叫光追踪看到每一个光子在传播的路径里边会怎么去做传播在设计的时候我们就要把它做到一方面是覆盖最广这样我才能在 270 度都能覆盖到另外一方面就是说它精度和轨迹是可预测的否则的话可能光和光之间就打架就会产生了串扰这是一台 BSDF 测试装置用于我们不同产品的表面材料的光学特性的测量可以将测得的光学特性输入到仿真模拟中

陈茜（旁白）：

使我们的仿真更加准确有个小故事之前如果买一套这种设备好像很贵我记得大概多少专业一点的设备要百万级百万级这个是我们胡博士自己搭的是吗对他们当时说我们买一台吧胡博士说我们来自己试试能不能搭一台而且精度各方面挺好的你们这个有点 SpaceX 的味道了自己搭了一个百万级的设备另外照明的灯珠在市场上有两种方案一种是单色另一种是多色为什么呢这就要说到第三点也就是算法光学式具体是怎么去识别触觉的呢主要有三种方式第一种叫做标记点法在皮肤层上会印很多微小的标记点

陈茜（旁白）：

摄像头跟踪这些点的位移变化来计算皮肤层的形变优点是算法简单、制造容易但缺点是精度上限很低 Marker（标记点）我能点多少个一般可能顶多就几十个 Marker 点它就是你 resolution（分辨率）的上限了顶多我中间做一些插值但这都不是真值所以它的问题就在于相对来说精度低一些第二种是纹理分析法皮肤表面不再需要规则的点阵而是随机喷涂的细小颗粒或者利用材料本身自带的不规则纹理受力时摄像头通过追踪光影纹理的流动来计算形变它的优点在于硬件制造简单因为不需要做标记点了

陈茜（旁白）：

其实大家手里面的光学鼠标原理就是简化版的纹理分析法为什么是简化版呢因为鼠标检测的是二维平面上的变化而触觉传感器需要检测的是三维这也是它的缺点所在算法复杂计算量更大相对的响应延迟也较高前面两种算法主要关心的是亮度还有对比度这些信息所以用单色照明方案就够了而第三种光度立体法就必须用多色光了这种方式不需要任何标记点和纹理皮肤比较均匀照明层用红、绿、蓝三种颜色的光从不同方向打光发生形变的时候由于皮肤表面凹凸变化不同颜色光线打到同一个点的距离不同

陈茜（旁白）：

相机捕捉到的就不再是均匀的颜色算法会分析图像中的每一个像素点的 RGB 颜色值来计算形变第三种其实是兼顾了这两者优缺点的比较好的一个折中方案制造方面来说也没有那么复杂但是它在解算的时候通过预训练的一些模型就可以快速地去做分析了所以它算力要求比第一种大比第二种小精度也是比较优的而光学式的第四个挑战就在于成本通过前面的解析相信大家也能够看出来它的结构有多复杂相应的成本也更高单价来讲的话（单指）还是千元级的这么一个价格可能会比别的技术路线稍微贵一些其实我们也看到了

陈茜（旁白）：

把整个的成本降到小几百可能性随着它的量上升而且不光是制造本身后续的算法、算力要求也更高视触为什么现在大家比较流行因为大家发现我可以比较好地用这种视觉的模型就直接可以处理但它的问题是什么这个视觉的模型一般都会比较大所以它对于算力的要求相对来讲会是更高当然高成本也对应着高上限在实验室里面我们也看到了直观的对比这是一个没有触觉的灵巧手在没有视觉的辅助下夹起薯片的时候因为掌握不好力度很容易就夹飞了而这是带有视触觉的夹爪不仅可以轻轻夹起薯片当我想从它手中抽离时

陈茜（旁白）：

它还会感知到轻微的晃动和摩擦慢慢卸力还有更好玩的就是夹树叶相比起薯片树叶缺少了刚性稍微多一点力就会发生形变但我们看到夹爪依然能精准感知到树叶发生微小的形变之后因弹性而对两边释放的微小力不过业内人士认为现阶段更应该优先考虑的不是成本而是验证路径的可行性所以接下来我们先来说说应用路上的第一道障碍也就是数据采集机器人最稀缺的就是训练数据了而到了触觉领域已经不仅仅是“少”了现在触觉的数据基本为 0 就可用的数据基本为 0 高保真的这种传感器其实之前是缺失的

陈茜（旁白）：

然后我们通过传统的一些方法采集来的数据跟人不太接近且没有那么高保真的能力你看对于“触觉”这种强调实感的维度普通的视频还有文字等互联网数据是无法反映出“力”的大小和方向的所以这个领域尤其强调真机数据但是真机数据在获取上存在着三大难点我们再来做个简单的小实验哈我们戴上这个很厚的手套然后试图拿起一块豆腐真的很难掌控力度要么就是它会滑下去要么我可能稍微一用力它就破了最主要的原因就是厚重的手套完全屏蔽了我们的触觉我们无法判断豆腐和手指之间的摩擦力是否够是否快掉下去了

陈茜（旁白）：

以及豆腐的形变程度是不是快破了也是触觉数据采集时要面临的最大悖论采集人的触觉也就意味着我们会需要在人手和物体之间做一个隔离那也就是说在某种程度上我们屏蔽了人自己的触觉如果人手被传感器覆盖导致人本身的触觉没有办法被有效利用导致人本身的触觉没有办法被有效利用那么操作者的手变笨了那我的这个 demonstration（示范）其实质量会下降那我这个数据其实训练出来的结果就没有办法让机器人能具有像人一样的灵巧的能力这是一目的数采设备把整个传感器放在了手指前面

陈茜（旁白）：

操作起来就像用筷子一样我认为它确实跟真实世界有 gap（差距）通过一些算法能把它回退回来可以去做一些 gap 的弥补但是我不可否认它跟人是不一样的所以最大的问题就是要采集触觉就得先屏蔽触觉但是屏蔽触觉之后又难以采集触觉这个好绕口而且采集设备本身也比较复杂一定程度上也会影响采集员的操作其实大多数数采设备都非常的笨重就是它尺寸大穿戴比较麻烦都会在某种程度上影响操作员采集数据本身的一些行为要解决这个问题一方面需要行业做出更薄的传感器尽可能减少对采集员触觉的屏蔽

00:20 - 00:30

陈茜（旁白）：

我们下一代的触觉传感器是超薄型的 3 毫米你不需要戴一个非常复杂的手套只在某些关键的地方贴一些触觉点另一方面行业需要设计出更舒适、更符合人体工学的采集设备而这需要多学科领域交叉（人体工学设计）这个其实是和设计一个触觉传感器和灵巧手是完全不相干的东西这个是我觉得接下来一年非常重要的一个课题行业里也有一些对采集员影响较小的织物采集手套但是这就牵扯到第二个问题了数据密度不够最好的织物的触觉手套我们看到的也就 500 个点一个手我如果想把这个数据应用在比如说我们的传感器上

陈茜（旁白）：

那其实这个 gap（差距）还是挺大的那其实这个 gap（差距）还是挺大的也就是说如果我戴着这个手套去抓一个 M2 的螺钉其实在这个上面就是一个点我是没有办法去检测到这个螺丝的方向或者它的大小的即使模型再强也没有办法有效地让它去学习到这样的一些信息于弢团队和 MIT 去年合作了一个项目用这类手套采集触觉数据结果发现大部分有效数据都是用整个手掌抓取一个较大的东西因为这种任务对密度的要求最低一旦涉及到精细操作数据就失效了行业面临的第三个问题是由于触觉还是非常早期的行业

陈茜（旁白）：

各家公司的数据采集格式不统一难以形成大规模的训练集比如有的采集设备是两指的就只适合在工业场景的机器夹爪上不适用于灵巧手的训练在数据的存储和对齐方面我觉得现在还做得不够好它们之间的一致性好不好触觉和其他模态的对齐好不好比如说我同时采了触觉、视觉、本体信息这些模态是不是能从时间轴到它数据本身的对齐能力做得更好就这块其实也是缺失的或者做得不够好硬件其实现在是相对不成熟的不同的技术也好不同的传感方式、数采设备各自的数据格式、各自的数据形态其实都不一样

陈茜（旁白）：

算法就没有办法去演进因为数据的量上不去设备不够成熟就采不到高质量数据然后训练不出好模型然后就没人愿意投资这个领域这会是一个不断的恶性循环既然真机采集这么难那如何才能够规模化呢这就得用到仿真合成了仿真是在虚拟的环境中模拟真实场景可以同时、批量采集不同的数据到了这一步就不得不说到大家比较熟悉的公司英伟达了这条是老黄重点押注的路线他们为此也搭建了非常完善的框架 IsaacLab 实际训练的时候触觉公司会利用各种公有的模型并对不同的模型加入一些真实的物理特性

陈茜（旁白）：

比如一个螺母它就是刚性的、比较重、表面光滑或者是一个毛线球它有多软、多重、表面粗糙程度如何等等同时还要在系统里输入触觉传感器的特征比如说表面的弹性体的物理特征手指内的光源分布等等而有了这些数据之后就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度、光路变化推算出最终采集到的数据仿真的结果还会和现实表现做对比通过数据标定来进一步修正这边图上面就是展示的我们在某一个确定的条件下实际上的图像采集后面蓝色的点就是仿真的形变红色的点就是标定的

陈茜（旁白）：

我们暂时的这部分修正是在解算层面最后做一个映射的矩阵去修正输出后续会在模型输入的层面去做修正另外在今年五月有一篇名为 Tabero 的论文还提出了一种方法那就是复用已有机器人数据把这些轨迹重新放入 IsaacLab 当中并且加入触觉传感器模拟最终生成完整的“视觉-触觉-语言-动作”数据这其中最大的难点就是计算量太大了如果说要精细地进行弹性体变形的计算的话如果说我们用一些有限元的方法来进行精细的计算的话可能一帧就需要一个小时的时间这对于需要快速实时地获取数据而言

陈茜（旁白）：

是不能接受的所以学术界提出了很多简化的计算方式比如说英伟达在 2025 年就发布了 TacSL 论文就介绍了一种用于视触觉的仿真方式它的核心思路是用软接触模型代替有限元计算什么叫做软接触呢比如说我们把物体和皮肤都当作刚体处理但它们之间可以“互相穿透”接触的力越大穿透得越多这样算出来的形变虽然不是最精确的但也能大致模拟而且在计算速度上更快但不可否认仿真和现实之间永远都会有差距 Eric 就告诉我们他们仿真的准确率大概是在 90%以上而其中 10%的差距主要在于柔性物体的模拟

陈茜（旁白）：

这也是目前的挑战所在（针对柔性物体）我们也可以去补充一些后训练数据比如说我们已经有一个 80 分的模型了我再加一点点后训练很快就可以到 90 分以上这个思路和 TacSL 论文的策略是一致的 TacSL 在训练策略的时候做了两件事一是随机化物理参数让策略适应不同的刚度、阻尼二是在触觉图像上做大量的数据增强让策略对摄像头差异、光照变化鲁棒这样他们在真机上实现了零样本迁移在插拔销钉的任务上 TacSL 在真机上达到了 82.7%的成功率所以仿真的意义更多是作为真机数据的补充

陈茜（旁白）：

两者需要搭配训练我到底真实的（数据）多一点和仿真的多一点每家可能不太一样我们的判断可能至少 1 比 1 甚至 1 比 1 以上仿真可能会占多数在短期之内到底需要多少数据才能够训练出较好的模型在这点上业内人士给出的答案比我们想象的更乐观一些什么时候我们能够收（集）到 100 万小时等同于一个人一生的物理经验的数据我觉得可能我们才开始后面的探索这是我们采访做具身模型的人时 PhysicalIntelligence 的嘉宾 Kay 她给我们的答案但到了触觉领域数据量却只要十分之一

陈茜（旁白）：

训练一个带有触觉的基础模型所需要的数据应该是要远低于基于视觉的基础模型当你有 10 万小时的数据往上走你会发现它逐渐就开始有一定的泛化能力这背后的原因其实不难理解因为机器人的行为模型其实包含了大量操作的“过程”信息比如说转身、伸手、移动等等并不是说这些信息不重要但真正对训练有效的部分往往是那些“拿起”、“放下”等关键的操作而对于触觉数据来说平时在没有操作时输入的信息基本为零相当于这 10 万小时已经减掉了无效操作的部分说完数据采集我们再来聊聊触觉的第二个障碍

陈茜（旁白）：

算法模型的应用有意思的是如果你直接把触觉信号输入到行为模型当中机器人任务的成功率反而会下降这是为什么呢今年 6 月伯克利、英伟达、斯坦福集结了李飞飞、JimFan 等众多知名学者联合发布了一篇名为 T-Rex 的论文其中一项实验结果表明如果把触觉信号直接输入到π0.5 的模型当中各项任务的成功率反而下降了这反映出一个问题加了一个模态不等于模型表现就能够变好所以如何利用触觉信号目前是最大的挑战之一我觉得最大挑战其实是大家对于触觉这个模态还是比较陌生

陈茜（旁白）：

以及它真的怎么融入到我们模型训练里边其实大家还没有一个完整跑通 cycle（闭环）的这么一个好的 SOTA（最先进的）模型出来我们先简单来说说此前触觉应用的三大挑战第一个问题是触觉没法用规则定义一个东西到底是软还是硬、是脆还是弹超过多大的力会破坏物品物品能不能被破坏我们没法单纯地设置一个数值写一个规则这样在执行任务的时候模型会难以判断比如拿起纸杯这件事力气小一点能够拿起来稍微再夹紧点杯子有点形变也可以接受但是到了鸡蛋上就绝不能让蛋壳有形变

陈茜（旁白）：

第二个问题是触觉信号维度太多直接输入到模型当中反而成为了噪声我们前面说过触觉包含了纵向的压力横向剪切力和摩擦力还有表面材质感知的温度振动、音频等等数据这些数据不加处理地输入到大脑中模型将难以分解第三个问题是触觉和其他模态的频率不匹配触觉信号天然是高频的而视觉语言模型通常运行在低频率这就意味着两者难以直接结合会出现计算资源浪费、反应速度慢触觉噪声干扰高层规划等问题到了今年由于 AI 的进步业界是看到触觉应用的范式之所以触觉最近两年开始火并不是因为触觉这个技术本身

00:30 - 00:40

陈茜（旁白）：

这两年才存在而是在很久以来大家并不知道怎么样去用触觉其实像最近这些 AI 算法的演化和这种端到端模型的实现其实对于触觉的利用是非常大的促进我们知道端到端就是直接把信号输入给神经网络让模型自己学习不需要人为定义规则这就解决了第一个挑战第二个挑战的解决思路就是利用编码器（Encoder）前置处理触觉信号将这些数据打包后输出完整的语义理解就是用这种 Self-supervisedlearning（自监督学习）的方式去 trainEncoder（训练编码器）

陈茜（旁白）：

我们可以很容易地把不同类型的触觉模态甚至视觉结合在一起然后利用现有的一些比较常见的这种 Attention 的 mechanism（注意力机制）就可以比较好地去抓取不同模态的触觉之间的这种相互的关系然后从模型训练的角度这个能够比较有效地把这样的一个信息集成到更大的一个 Backbone（主干网络）里面我们叫 TactileTransformerencoder（触觉 Transformer 编码器）然后通过编码器对它进行一个语义理解比如说到底是软的、硬的有没有摩擦

陈茜（旁白）：

包括形态上来说像什么等等这些语义理解它做完这个编码之后再进到这个 backbone（主干网络）大模型里面去做一个判断再来说说如何解决频率不匹配的问题在 T-Rex 论文当中就提到了 MoT 的方式这篇论文提出的“MoT”架构借鉴了 MoE 的思想由不同专家处理不同类型的信息为此构建三个不同的专家 LatentExpert 潜在专家负责处理视觉和语言观察预测未来的视觉表征提供“上下文理解”这是慢速的、认知层面的 ActionExpert 动作专家负责根据视觉语言上下文生成动作序列

陈茜（旁白）：

比如说往哪里走、手臂大概怎么摆等等但是它输出的只是粗略的动作而最具创新的是第三个专家叫 TactileExpert 触觉专家它就像机器人的反射系统在动作执行过程当中通过实时触觉反馈对力度、角度和接触状态进行快速修正听上去好像也不算啥创新毕竟 MoE 架构早就有了只是额外设置了一个触觉专家而已别着急这套系统最重要的思想在于“异步执行”什么意思呢在推理时动作专家生成动作规划同时触觉专家以更高的频率独立运行不断对动作进行修正这样机器人在利用触觉的时候

陈茜（旁白）：

可以复用已经算好的上下文缓存只进行快速的触觉推理这样既保留了大模型的理解能力又获得了类似人类触觉反射的快速响应能力这也类似我们之前聊基础模型的双系统架构它的 System2 负责慢思考、长程规划而 System1 负责快反应、本能动作触觉也不例外所以我们就觉得它应该是两个不同的系统以及它可以去打通就比如说在触觉在边缘端我其实应该有一个快速响应机制比如碰到了我们就应该做什么动作同时我觉得触觉信息也应该能回到大脑去对我一个相对长程的这个过程里边做一定决策的影响

陈茜（旁白）：

但是它就偏 reasoning（推理）我们在采访过程当中也发现了业界的一点分歧那就是触觉模型是单独训练还是要结合摄像头、激光雷达等其他传感器来一起训练呢 Eric 就认为触觉模型可以单独训练这样才能够更好地去平衡权重就像 T-Rex 这篇论文的思路我们会更倾向于触觉模态的单独训练因为触觉模态它本身的语义理解就可以完成一定的闭环了当它的语义理解结束之后再和其他的模态进行融合让大脑去判断会更好一点因为它每一个模块可以去单独地做训练、测试、闭环

陈茜（旁白）：

然后同时这些模块可以像即插即用一样去插到不同的系统里面去做应用它还能跟其他模态更好对齐不然的话你这个眉毛胡子一把抓都混在一起到底模态之间的数据怎么去平衡其实是个挺难的问题而来自北美的于弢就认为两者必须要同时进行这样才能够判断每个“力”在空间中的分布让模型更好地理解“我是拿了什么东西才会有这样的感知”视觉它是一个全局的而触觉它真的是一个非常局部的事情我的手的形态动的时候同一个传感器对应的在空间上的分布是不一样的当大家做视觉和触觉的模态融合的时候

陈茜（旁白）：

其实并不是一个简单的 Latentspacerepresentation（表征空间）你在同一个 embodiment（载体）做同样一件事情的时候是可以的但一旦这样做完之后你的 transfer（迁移）非常难比如像哥大李昀烛（YunzhuLi）老师是把这种触觉的力的分布是结合到这种三维点云上的那么也就是说这个力并不只是一个力而是它在这个空间中力的一个分布那么在这种情况下其实是需要触觉和视觉的结合的于弢的思路也对应着我们前面提到的 Tabero 这篇论文

陈茜（旁白）：

他认为触觉应该参与到高层决策中理解“轻一点”和“重一点”的语义简单来说 Tabero 主打前置的“语义力控”而 T-Rex 是执行过程的“高频修正”由于触觉这个行业目前处于非常早期的阶段多条路线在同时探索没有绝对的优劣之分我们也只是向大家来展示不同的路径最后我们来说说触觉的第三个障碍就是规模化量产的最大的难题就在于性能的一致性上周在 ICRA2026 在维也纳我们看到非常多的触觉传感的公司我们亲手去测了一下这个事它是否一致其实大多数是做不到的

陈茜（旁白）：

因为手指的调整动作都是非常微小的在做精密操作的时候输出的力稍微有点偏差就可能导致任务失败但触觉传感器又太精密了但凡表面的弹性体厚度相差太大弹性系数不一致、传感器间距不同都会导致参数偏差算法就难以计算出正确的数值接下来我们就去一目科技的试产车间看看他们是如何验证新工艺的我们现在穿上了无尘服接下来会去到他们的试产车间大家先摸一下这个防静电球去除身上的静电第一步是先把凝胶材料放到模具内固化作为手指的表面弹性体这一步得注意不能有任何的灰尘和气泡这是一个超净工作台

陈茜（旁白）：

它可以提供一个局部 100 级的超洁净空间有利于我们的凝胶制备制备完成之后还得先检验是否合格这边会做一些拍摄如果发现里面有气泡、杂质的情况我们是可以通过视觉来筛选的并且我们所有的数据会经过上位机的判断再筛选一次最后就是将其他地方制备的零部件集中到一条产线上进行组装大家刚才看到的材料会在这里进行分步组装从第一个粘接工位到这边的预总装工位到这边的预总装工位包括壳体、灯带、相机、芯片等各个零部件的精密组装然后我们会到总装前的预检测工位我们的触觉传感器会在这里

陈茜（旁白）：

进行一个成像的检测可以拉近看一下我们电脑里显示的画面可以拉近看一下我们电脑里显示的画面它展示了我们触觉传感器的一些精密动态它是力学的反馈里面有很多的 AI 算法在里面经过检验的成品最后就变成了我们的成品经过检验的成品最后就变成了我们的成品当然每个批次的试产样品还得经过自动化测试用来验证工艺参数的稳定性相信大家都能看出来在试产阶段很多步骤依然依赖于手工操作因为触觉传感器是一个比较新的品类现成的标准化、自动化设备暂时还没有统一这个（触觉的）量产

陈茜（旁白）：

它不是脱离了你的上下游自己去生产你的上下游比如说是数采或者是灵巧手其实它有不同的协议、有不同的接口有不同的关于它手的适配所以来讲你的量产还是要跟着它的需求有一些定制化的操作一方面是自动化量产线稳定交付标准品另一方面是试产线承接定制化需求和新工艺验证那么这两条线协同运转正是这个行业走向成熟的标志而到了 2026 年这个时间点我们采访的几乎所有嘉宾都表示触觉已经是处于爆发的前夜了今年我们确实是看到了说整个需求有一个大幅度的上涨大家慢慢认识到了触觉的数据

陈茜（旁白）：

其实对于物理 AI 最后训出更好的模型来讲是非常重要的今年来讲的话灵巧手、上下游包括具身的整机大家都在去拼命地做、拼命地出货自然也会带动整个触觉传感更加成熟在今年的 WAIC 展会上我们也在一目科技的展台看到了某大型汽车电池装配工厂将他们的触觉传感器搭载到了机械臂上实现了工业级的应用不同的电池包这样的一些形态、它的一些变化如果我们依赖传统的自动化纯去做每次的预编程和大量的开发是没有办法去做适应这种产线的频繁调度和变化的这样的一个过程所以基于这个触觉

00:40 - 00:42:45

陈茜（旁白）：

就得到了一些柔性装配的能力而未来还将应用到实验室里做更多精密操作的项目比如说像滴管去做精准的取液我恰好要把它控制到毫克级的这样一个精准程度有了触觉的一个精准反馈我可以精准地去控制对于滴管施加的一个力形变这样的一些变化根据美国银行的预测到 2030 年人形机器人的出货量将达到 120 万台假设都装配了触觉传感器每个机器人 10 根手指那么触觉的市场需求将提升到千万级别如果那个时候是量产我们倒推一年或者一年半到两年这么一个研发的周期或者测试的周期

陈茜（旁白）：

也就是说下一年（要开始上量）（触觉的）下一个里程碑节点会在什么时候发生我觉得就是今年或者明年年初应该就这个时间段在我们采访的时候 Eric 就提到触觉是让机器人类人甚至超越人的“最后一块拼图”因为这不仅是多了一个维度的数据更是让机器人掌握到了“人类的第一语言”人类的婴幼儿他刚出生之后他第一个会的其实并不是看和听小朋友都是靠触觉我摸这个世界甚至可能用舔、用舌头这个其实是我们人类对于这个世界的第一语言 Adelson 也提到启发 GelSight 的灵感是源于观察小孩时

陈茜（旁白）：

发现触摸对他们更有吸引力是啊如果我们想想我们的小孩刚出生的时候他不会说话、不会走路连看都看不太清楚想感知世界就只能够伸手去摸妈妈的脸、摸床单的材质摸脚趾头的形状等等而今天我们正在教机器人做同样的事情让它摸花生、摸树叶、摸鸡蛋每摸一次对物理世界的理解就多一点或许很多年之后机器人走进我们的生活那个时候我们回望可能会发现转折点就在触觉普及时因为那一刻机器人才开始真正地理解了世界好了这就是这期视频的全部内容非常感谢大家看到这里你们的留言、点赞还有转发

陈茜（旁白）：

是支持我们《硅谷 101》做好深度科技和商业内容的最佳动力我是陈茜那我们就下期再见啦拜

References

1
本期官方视频
youtube.com
2
GelSight：面向机器人的高分辨率触觉传感器（Sensors, 2017）
pmc.ncbi.nlm.nih.gov
3
麻省理工学院脑与认知科学系：指尖传感器让机器人获得前所未有的灵巧度
bcs.mit.edu
4
TacSL：视触觉传感器仿真与学习库（arXiv）
arxiv.org
5
T-Rex：触觉反应式灵巧操作（arXiv）
arxiv.org

摸花生、夹薯片、拧螺丝：机器人触觉的五条路线与它卡住的三道关｜硅谷101

先弄明白几个词

为什么机器人需要触觉（00:00–04:11）

五条技术路线（04:11–07:10）

光学式的四个难点（09:47–18:51）

数采悖论：要采集触觉，先得屏蔽触觉（18:51–23:53）

仿真补位，以及它补不上的一段（23:53–28:37）

加了触觉反而更差：模型怎么用触觉（28:37–36:10）

量产卡在一致性（36:10–39:25）

爆发的判断（39:25–42:45）

完整中文逐字转录稿

00:00 - 00:10

00:10 - 00:20

00:20 - 00:30

00:30 - 00:40

00:40 - 00:42:45

References

Related content

摸花生、夹薯片、拧螺丝：机器人触觉的五条路线与它卡住的三道关｜硅谷101

先弄明白几个词

为什么机器人需要触觉（00:00–04:11）

五条技术路线（04:11–07:10）

光学式的四个难点（09:47–18:51）

数采悖论：要采集触觉，先得屏蔽触觉（18:51–23:53）

仿真补位，以及它补不上的一段（23:53–28:37）

加了触觉反而更差：模型怎么用触觉（28:37–36:10）

量产卡在一致性（36:10–39:25）

爆发的判断（39:25–42:45）

完整中文逐字转录稿

00:00 - 00:10

00:10 - 00:20

00:20 - 00:30

00:30 - 00:40

00:40 - 00:42:45

References

Related content