跳至正文
RFL_GLOBAL
EN
  • TACTIS 模块
  • ANYTOUCH2
  • 跨传感器

HAPTOS

触觉表征学习

基于AnyTouch2的通用触觉表征学习方法。学习跨传感器类型的光学触觉嵌入。静态属性理解（纹理/硬度）、动态动作感知（滑移检测）、力感知推理（抓取压力）。所有触觉共享一个嵌入空间。

模块状态: 开发中

跨传感器迁移

TOUCH

部门
ANIMA
波次
W5
领域
硬件与传感器
第五波 // ANIMA 套件
感知 — 触觉表征学习
HAPTOS // W5 // 031/079
01核心挑战

触觉传感器说着不同的语言

每种光学触觉传感器 — GelSight、DIGIT、GelSlim、Soft-bubble — 对相同的物理接触产生不同的图像模式。在一种传感器上训练的模型在另一种上会完全失败。这种碎片化意味着每个新机械手、每个新传感器版本都需要从头重新训练。触觉感知被困在传感器特定的孤岛中。

操控需要同时理解纹理、硬度、滑移和力。当前方法用独立的模型处理独立的任务。机器人需要一种统一的触觉表示 — 跨传感器工作、理解静态属性、检测动态事件、推理施加的力 — 全部来自同一个嵌入。

02解决方案

HAPTOS 提供什么

HAPTOS学习跨传感器类型的通用光学触觉嵌入。基于AnyTouch2框架构建，提供静态属性理解、动态动作感知和力感知推理 — 全部来自单一学习表示。

能力

  • 跨传感器泛化 — 在GelSight上训练的嵌入可迁移到DIGIT、GelSlim和新传感器
  • 静态属性理解 — 从接触图像进行纹理分类、硬度估计、表面粗糙度评估
  • 动态动作感知 — 实时滑移检测、接触事件分类、操控阶段识别
  • 力感知推理 — 从光学变形估计抓取压力、接触力分布、载荷预测
  • 统一嵌入空间 — 256维向量编码接触几何、材料属性和力状态
  • 零样本传感器适配 — 新传感器类型仅需轻量级标定，无需完整重训练
03工程挑战

为什么这很难

构建跨传感器触觉表示需要解决深度交织的感知问题：

  1. 01传感器域差异：光学触觉传感器具有截然不同的照明模式、凝胶几何和相机配置 — 弥合差异需要学习不变的接触特征
  2. 02静态与动态：纹理和硬度是单帧的空间属性，而滑移和接触事件是时间属性 — 表示必须同时编码两者而不互相干扰
  3. 03力估计：将光学变形模式映射到物理力向量需要精确标定和非线性凝胶力学建模
  4. 04尺度模糊性：相同的嵌入必须在不同传感器分辨率下区分微观表面纹理和宏观接触几何
  5. 05数据稀缺：在相同物体上跨多个传感器收集配对触觉数据极其耗时 — 自监督和对比学习至关重要

HAPTOS通过多任务对比学习框架解决此问题，在对齐跨传感器嵌入的同时，通过静态、动态和力模态的专用投影头保留任务特定信息。

04性能基准

用数据说话

面向生产部署的目标性能指标：

用数据说话
指标数值
跨传感器迁移>85% 准确率（零样本）
纹理分类20+ 材料类别
滑移检测延迟起始后 <15ms
力估计误差<0.3N（法向力）
嵌入维度256维统一空间
支持传感器类型GelSight、DIGIT、GelSlim、Soft-bubble
推理频率每传感器 100+ Hz
接触分辨率亚毫米级空间
训练数据50万+ 接触样本
适配（新传感器）<1000 标定帧
动态事件类别滑移、粘着、滚动、脱离
ANIMA 集成TACTIS
05构建状态

已构建的功能

已完成 4/9 个组件
已构建的功能
组件状态说明
核心模型已完成触觉编码器骨干在多传感器数据集上训练
触觉嵌入网络已完成跨传感器对齐损失的对比学习
跨传感器适配器进行中GelSight↔DIGIT迁移的轻量级域桥接
滑移检测模块进行中嵌入序列上的时间卷积 — 调整阈值中
力推理计划中凝胶变形→力向量映射 — 架构已设计
API 层进行中实时触觉数据的流式推理端点
纹理分类器已完成静态接触的20类材料识别
硬度估计器已完成基于压入深度的Shore A标度预测
评估套件计划中标准化测试物体的跨传感器基准
06应用场景

HAPTOS 部署场景

  • APP_01

    灵巧操控

    多指抓取的实时触觉反馈 — 滑移检测防止掉落，力推理防止压碎。

  • APP_02

    质量检测

    通过触觉扫描自动检测表面缺陷 — 相机看不到的纹理异常在触觉中一目了然。

  • APP_03

    材料分拣

    通过纹理、硬度和柔度分类材料 — 仅靠触觉分拣回收物、织物或食品。

  • APP_04

    手术机器人

    力感知组织操控 — 通过触觉响应区分组织类型，维持安全接触力。

  • APP_05

    假肢

    为假肢手恢复触觉反馈 — 跨传感器嵌入适配任何集成传感器类型。

  • APP_06

    人机交接

    检测物体交接中的抓握过渡和滑移事件 — 安全、自然的物理交互。

07技术

底层技术

基础：ANYTOUCH2 框架

  • 跨传感器对齐目标的多任务对比学习
  • 触觉专用块标记化的视觉transformer骨干
  • 从光学触觉图像提取传感器无关的接触特征
  • 静态（纹理/硬度）、动态（滑移/事件）和力模态的投影头

核心创新

HAPTOS通过两阶段架构将传感器特定外观与传感器不变的接触物理解耦：传感器适配器将原始光学图像归一化为规范表示，然后共享触觉编码器提取统一嵌入。这使得零样本迁移到新传感器成为可能，同时保留精细的接触信息。

感知管线

  • 原始触觉图像 → 传感器适配器 → 规范接触表示
  • 接触表示 → 触觉编码器 → 256维统一嵌入
  • 嵌入 → 任务特定头：纹理、滑移、力、材料
  • 100+ Hz流式推理用于实时操控控制

支持的传感器

GelSight
高分辨率凝胶传感器 — 光度立体接触成像
DIGIT
紧凑型光学触觉传感器 — 为多指集成设计
GelSlim
薄型凝胶传感器 — 适用于平行夹爪的低矮外形
08论文

研究论文

  1. [01]AnyTouch2: General Tactile Representation Learning（2024）
  2. [02]机器人操控的光学触觉感知 — 综述
  3. [03]跨模态传感器迁移的对比学习