- 第五波 // 开发中
- 分层VLA
- 零样本
DAEDALUS
分层零样本VLA
三层分层VLA（GeneralVLA启发）：可操作性分割识别可抓取区域，文本驱动的3D规划生成接近轨迹，碰撞感知抓取执行处理物理交互。每层可独立测试。
模块状态: 开发中PROTEUS + ABYSSOS + CHIRON
3层
- 部门
- ANIMA
- 波次
- W5
- 领域
- 操控
- 第五波 // ANIMA 套件
- 操纵 — 分层零样本VLA
DAEDALUS // W5 // 015/079
01核心挑战
操纵是堆栈，不是单体
端到端VLA联合学习所有内容 — 感知、规划、执行 — 在单个不透明网络中。当它们失败时，你无法判断哪个阶段出了问题：模型误识别了物体，规划了不可行的路径，还是计算错了抓取力？
单体模型还需要硬件来调试。没有机器人就无法测试抓取规划，没有完整管线就无法验证感知。DAEDALUS将操纵解耦为三个可独立测试的层 — 在硬件之前离线调试每一层。
02解决方案
DAEDALUS 提供什么
DAEDALUS是三层分层VLA：可操作性分割 → 3D轨迹规划 → 碰撞感知抓取执行。每层独立运行，通过类型化接口通信，无需硬件即可测试。
流程
- 01可操作性分割 — 从视觉输入中识别可抓取区域、接触面和操纵可操作性
- 02文本驱动3D规划 — 基于自然语言指令和分割的可操作性生成接近轨迹
- 03碰撞感知抓取执行 — 通过力控制、碰撞避免和自适应抓取处理物理交互
- 04层隔离 — 每个阶段可使用模拟输入独立测试，实现硬件前验证
能力
- 可操作性分割基于视觉的可抓取区域和接触面识别，使用PROTEUS→ 在规划如何抓取之前知道抓什么
- 知识引导规划通过ABYSSOS深度和空间推理的文本条件3D轨迹生成→ 无需在硬件上反复试验即可规划接近路径
- 碰撞感知执行使用CHIRON运动原语和碰撞检测的力控抓取执行→ 具有自适应抓取策略的安全物理交互
03工程挑战
为什么这很难
将操纵分解为层创建了大多数系统回避的接口边界：
- 01可操作性分割必须对新物体零样本泛化 — 无需逐对象训练
- 02规划层接收分割掩码而非原始图像 — 边界处的信息损失必须最小化
- 03轨迹生成必须在没有完整物理模拟的情况下感知碰撞 — 近似但快速
- 04抓取执行必须在遵循规划轨迹的同时实时处理力反馈
- 05层接口必须类型化和版本化以允许独立测试和演进
- 06每层有不同的延迟要求：分割（~100ms）、规划（~200ms）、执行（<10ms）
DAEDALUS通过在层之间定义清晰的类型化接口解决这个问题 — 可操作性图、轨迹规格、力配置文件 — 实现每个操纵阶段的独立测试。
04性能基准
系统性能
跨三层分层管线测量：
| 指标 | 数值 |
|---|---|
| 可测试层 | 3个独立验证的阶段 |
| 硬件需求 | 离线可用 — 硬件前工作 |
| 规划模式 | 知识引导轨迹生成 |
| 执行透明度 | 完整的逐层检查 |
05构建状态
已构建的功能
已完成 3/5 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 可操作性分割 | 已完成 | 通过PROTEUS的零样本可抓取区域检测 |
| 3D规划层 | 已完成 | 使用ABYSSOS深度的文本条件轨迹生成 |
| 抓取执行 | 进行中 | CHIRON运动原语集成进行中 |
| 核心模型 | 已完成 | 分割和规划模型生产就绪 |
| API层 | 进行中 | 公共API，待数据集基础设施 |
06应用场景
DAEDALUS 部署场景
- APP_01
硬件前验证
在部署到物理机器人之前完全在软件中测试和调试操纵管线 — 在每一层捕获故障。
- APP_02
可调试操纵
当抓取失败时，检查哪一层出了问题：糟糕的分割、不可行的计划还是力计算错误。不再黑盒调试。
- APP_03
模块化机器人
独立替换各个层 — 升级感知而无需重新训练规划，替换执行而无需改变视觉栈。
07技术
底层技术
基础：GENERALVLA启发的层次结构
- 三层分解：感知 → 规划 → 执行
- 层之间的类型化接口用于独立测试
- 来自视觉基础模型的零样本可操作性检测
- 具有空间推理的文本条件轨迹规划
DAEDALUS 实现
- 第1层：基于PROTEUS的可操作性分割与可抓取性评分
- 第2层：ABYSSOS深度 + 语言条件3D轨迹规划器
- 第3层：CHIRON运动原语与力反馈和碰撞避免
- 类型化层间协议：AffordanceMap → TrajectorySpec → ForceProfile
ANIMA模块集成
- PROTEUS提供零样本视觉可操作性分割
- ABYSSOS提供单目深度用于3D空间推理
- CHIRON提供运动原语执行和力控制
层规格
- 分割：~100ms延迟，掩码输出
- 规划：~200ms延迟，轨迹输出
- 执行：<10ms循环，力控制
- 用于离线测试的模拟接口
08论文
研究基础
- [01]GeneralVLA启发的分层操纵 — 具有类型化层接口的分解VLA用于可测试机器人