- MANIP-RAAP // W7
- Python 实现
- ANIMA
MANIP-RAAP
看一看，就学会抓取的机器人
后勤机器人、爆炸物处置系统和野外维护平台，一遇到训练中从未见过的新物体就会失手。硬编码的抓取库只覆盖已知物品；现实世界充满简易、损坏或陌生的物体，脆弱的规则式抓取总在最关键的时刻失效。MANIP-RAAP（代号：Benzaiten）实现 RAAP（ICRA 2026，arXiv:2603.29419），将检索增强推理循环与跨图像动作对齐相结合。
模块状态: 生产就绪任务覆盖
PROD
- 部门
- 通用
- 波次
- W7
- 领域
- 通用
- 第7波 // ANIMA 套件
- 基础层 — MANIP-RAAP
MANIP-RAAP // W7 // 004/012
01核心挑战
我们解决的问题
后勤机器人、爆炸物处置系统和野外维护平台，一遇到训练中从未见过的新物体就会失手。硬编码的抓取库只覆盖已知物品；现实世界充满简易、损坏或陌生的物体，脆弱的规则式抓取总在最关键的时刻失效。
野外机器人首次遇到未知设备或残骸时，就能借助人类技术员同样会参考的示范知识库，预测可行的抓取点——大幅提升作业灵活性。
02解决方案
MANIP-RAAP 提供什么
MANIP-RAAP（代号：Benzaiten）实现 RAAP（ICRA 2026，arXiv:2603.29419），将检索增强推理循环与跨图像动作对齐相结合。给定目标图像，模块从参考库中检索视觉相似的示范，在图像对之间对齐其可供性标注，再把预测的接触点与动作方向迁移到查询图像上。
能力
- 实现 RAAP（ICRA 2026，arXiv:2603.29419），结合检索增强推理循环与跨图像动作对齐
- 从参考库检索视觉相似的示范，跨图像对齐可供性标注，并将接触点与动作方向迁移到查询图像
- 由此获得鲁棒的可供性预测，无需重新训练即可泛化到新物体——完全依靠检索。
03工程挑战
为什么这很难
构建 MANIP-RAAP 需要解决多个耦合问题：
- 01后勤机器人、爆炸物处置系统和野外维护平台，一遇到训练中从未见过的新物体就会失手
- 02硬编码的抓取库只覆盖已知物品；现实世界充满简易、损坏或陌生的物体，脆弱的规则式抓取总在最关键的时刻失效。
- 03实现 RAAP（ICRA 2026，arXiv:2603.29419），结合检索增强推理循环与跨图像动作对齐
- 04从参考库检索视觉相似的示范，跨图像对齐可供性标注，并将接触点与动作方向迁移到查询图像
MANIP-RAAP 通过精心的架构设计和严格的验证来解决这些问题。
04性能基准
用数据说话
关键性能指标：
| 指标 | 数值 |
|---|---|
| 任务覆盖 | 接触点估计 + 动作方向预测——一次推理同时输出 |
| 泛化能力 | 通过检索处理新物体——新物体类别零重训 |
| 推理 | 单张 RGB 图像输入——无需深度、CAD 模型或物体身份 |
| 防务价值 | EOD 机器人抓取简易爆炸装置、后勤搬运陌生货物、野外维护机器人 |
05构建状态
已构建的功能
已完成 2/4 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 任务覆盖 | 已完成 | 接触点估计 + 动作方向预测——一次推理调用同时输出两者 |
| 泛化能力 | 已完成 | 通过检索处理新物体——新物体类别无需任何重训 |
| 推理 | 进行中 | 单张 RGB 图像输入——无需深度、CAD 模型或物体身份 |
| 防务价值 | 进行中 | EOD 机器人抓取简易爆炸装置、后勤搬运陌生货物、野外维护机器人 |
06应用场景
MANIP-RAAP 部署场景
- APP_01
自主系统
野外机器人首次遇到未知设备或残骸时，就能借助人类技术员同样会参考的示范知识库预测可行的抓取点——大幅提升作业灵活性。
- APP_02
研究实验室
MANIP-RAAP（代号：Benzaiten）实现 RAAP（ICRA 2026，arXiv:2603.29419），将检索增强推理循环与跨图像动作对齐相结合。
- APP_03
边缘计算
检索增强的可供性预测，仅凭单张 RGB 图像，就告诉机器人该抓哪里、往哪推。