- GS-GHOST // W7
- Python 实现
- ANIMA
GS-GHOST
机器人伸手之前，先重建抓取
为排爆机器人、EOD 系统或野战手术机器人训练操控策略，需要海量的抓取示范库。动作捕捉成本高昂，数据手套在作战装备下难以使用，深度传感器在恶劣光照下失效。由于缺少 3D 真值，大部分已采集的视频无法利用。GS-GHOST（代号：Fujin）实现 GHOST（arXiv:2603.18912），一套类别无关的手-物交互重建管线，输入普通单目 RGB 视频，输出手部与所持物体的逼真 3D 高斯重建——无需类别先验或物体模板。
模块状态: 生产就绪模态
单目 RGB
- 部门
- 通用
- 波次
- W7
- 领域
- 通用
- 第7波 // ANIMA 套件
- 基础层 — GS-GHOST
我们解决的问题
为排爆机器人、EOD 系统或野战手术机器人训练操控策略，需要海量的抓取示范库。动作捕捉成本高昂，数据手套在作战装备下难以使用，深度传感器在恶劣光照下失效。由于缺少 3D 真值，大部分已采集的视频无法利用。
防务与后勤人员可从现有头盔摄像头和执法记录仪影像中提取 3D 操控示范——无需任何深度传感器，就能把作战视频库变成灵巧机器人系统的训练数据集。
GS-GHOST 提供什么
GS-GHOST（代号：Fujin）实现 GHOST（arXiv:2603.18912），一套类别无关的手-物交互重建管线：输入普通单目 RGB 视频，输出手部与所持物体的照片级 3D 高斯重建——无需类别先验或物体模板。
能力
- 实现 GHOST（arXiv:2603.18912）类别无关手-物交互重建管线，从普通单目 RGB 视频输出手部与所持物体的照片级 3D 高斯重建——无需类别先验或物体模板
- 高斯泼溅表示支持新视角渲染以做数据增强，批量推理模式可处理大型示范库，无需逐视频调参。
为什么这很难
构建 GS-GHOST 需要解决多个耦合问题：
- 01为排爆机器人、EOD 系统或野战手术机器人训练操控策略，需要海量的抓取示范库
- 02动作捕捉成本高昂，数据手套在作战装备下难以使用，深度传感器在恶劣光照下失效
- 03实现 GHOST（arXiv:2603.18912）类别无关手-物交互重建管线，从普通单目 RGB 视频输出手部与所持物体的照片级 3D 高斯重建——无需类别先验或物体模板
- 04高斯泼溅表示支持新视角渲染以做数据增强，批量推理模式可处理大型示范库，无需逐视频调参。
GS-GHOST 通过精心的架构设计和严格的验证来解决这些问题。
用数据说话
关键性能指标：
| 指标 | 数值 |
|---|---|
| 模态 | 仅需单目 RGB——无需深度、标记点或物体模板 |
| 批量模式 | 跨示范库并行推理 *（估算，基于 batch_inference 能力）* |
| 输出 | 3DGS 表示——可从任意视角渲染，服务数据增强管线 |
| 防务价值 | 利用作战随身摄像影像训练 EOD 与后勤机器人；野外示范数据采集 |
已构建的功能
| 组件 | 状态 | 说明 |
|---|---|---|
| 模态 | 已完成 | 仅需单目 RGB——无需深度、标记点或物体模板 |
| 批量模式 | 已完成 | 跨示范库并行推理 *（估计，基于 batch_inference 能力）* |
| 输出 | 进行中 | 3DGS 表示——可从任意视角渲染，服务数据增强管线 |
| 防务价值 | 进行中 | 利用作战随身摄像影像训练 EOD 与后勤机器人；野外示范数据采集 |
GS-GHOST 部署场景
- APP_01
自主系统
防务与后勤人员可从现有头盔摄像头和随身摄像头影像中提取 3D 操控示范——将作战视频库转化为灵巧机器人系统的训练数据集，全程无需任何深度传感器。
- APP_02
研究实验室
GS-GHOST（代号：Fujin）实现 GHOST（arXiv:2603.18912），一套类别无关的手-物交互重建管线，输入普通单目 RGB 视频，输出手部与所持物体的逼真 3D 高斯重建——无需类别先验或物体模板。
- APP_03
边缘计算
基于高斯泼溅，从单目 RGB 视频实时重建手-物交互——让原始视频规模化驱动模仿学习。