- Multi-View 3D Tracking // 2508.21060
- GPU
- WAVE 6
FREKI
追踪者
FREKI使用前馈Transformer架构跨多个相机视角跟踪任意3D点。给定一个视角中的点，它在所有其他视角中找到对应的3D位置，实现无需迭代优化的多相机3D跟踪。大型机器人或车辆上的多相机系统需要跨所有视角一致跟踪物体——FREKI为监控、周界安防和多相机覆盖不同角度的自主车队操作提供无缝3D跟踪。
模块状态: 开发中状态
ANY-PT
- 部门
- ANIMA
- 波次
- W6
- 领域
- 检测
- 第6波 // ANIMA 套件
- 感知层 — 3D点跟踪
FREKI // W6 // 024/079
01核心挑战
感知层 — 3D点跟踪
通过前馈Transformer跨多视角相机跟踪任意3D点。
该模块解决了ANIMA感知和智能堆栈中的关键缺口。
02解决方案
FREKI 提供什么
通过前馈Transformer跨多视角相机跟踪任意3D点。
能力
- 先进的3D点跟踪能力
- 集成到ANIMA感知堆栈
- 双语文档
- 生产就绪架构
03工程挑战
为什么这很难
构建 FREKI 需要解决多个耦合问题：
- 01在边缘硬件上实现实时性能
- 02在多样条件下保持精度
- 03与现有ANIMA模块无缝集成
- 04在退化环境中鲁棒运行
FREKI 通过精心的架构设计和严格的验证来解决这些问题。
04性能基准
用数据说话
关键指标：
| 指标 | 数值 |
|---|---|
| 状态 | 开发中 |
| 后端 | GPU |
| 集成 | ANIMA堆栈 |
| 论文 | Multi-View 3D Tracking |
05构建状态
已构建的功能
已完成 3/6 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 核心架构 | 已完成 | 已验证 |
| 训练管线 | 已完成 | 就绪 |
| 集成 | 进行中 | ANIMA堆栈 |
| 边缘部署 | 进行中 | 优化 |
| 核心模型 | 已完成 | 生产验证 |
| API层 | 进行中 | REST API |
06应用场景
FREKI 部署场景
- APP_01
机器人
自主机器人系统核心模块。
- APP_02
国防
军事和安全应用。
- APP_03
研究
学术和工业研究平台。
07技术
底层技术
基础：MULTI-VIEW 3D TRACKING
- 先进的3D点跟踪能力
- 集成到ANIMA感知堆栈
- 双语文档
核心创新
通过前馈Transformer跨多视角相机跟踪任意3D点。
部署
- REST API
- Docker容器化
- Prometheus指标
- 可配置后端
计算
- 主要
- GPU
- 边缘
- 优化推理
- API
- REST + 流式
08论文
论文
- [01]Multi-View 3D Tracking（2508.21060）