- MAC-EGO3D // CVPR 2025
- 多智能体
- 闭环检测
SYNTHESIS
众目一图
单机器人 SLAM 在映射大空间时会崩溃。多智能体团队有重叠视角，却没有标准化方法合并重建结果。SYNTHESIS 是基于 MAC-Ego3D（CVPR 2025）的协同 SLAM。多个机器人，一张共享 3D 地图，具备实时闭环检测和全局一致的轨迹优化。
模块状态: 运行中智能体支持
5+
- 部门
- ANIMA
- 波次
- W3
- 领域
- 行动
- 第三波 // ANIMA 套件
- 协同 SLAM
SYNTHESIS // W3 // 072/079
01核心挑战
一个机器人远远不够
单机器人 SLAM 在映射大空间、狭窄走廊或 GPS 拒止环境时会崩溃。多智能体团队有重叠视角，却没有标准化方法将自我中心重建合并为一致的全局地图。
协同 SLAM 需要跨智能体解决大规模闭环检测、处理通信延迟并保持一致性。大多数系统需要集中式融合（单点故障）或昂贵的共识算法。SYNTHESIS 提供简洁的解决方案。
02解决方案
SYNTHESIS 提供什么
SYNTHESIS 是基于 MAC-Ego3D（CVPR 2025）的容器化多智能体协同 SLAM 服务。合并视角、检测闭环、保持一致性、扩展至舰队。
流程
- 01合并自我中心视角：多个机器人的 RGB 流 → 一张共享 3D 地图
- 02通过学习的特征对应检测跨智能体轨迹的闭环
- 03全局轨迹优化：消除漂移和矛盾
- 04多种通信拓扑：中心式、点对点、广播
能力
- 舰队规模扩展至 5+ 智能体，实时或近实时融合→ 仓库、建筑和巡检舰队映射
- 硬件灵活MLX Apple Silicon（M1–M5，M5 约 100ms，M1 的 4 倍）+ CUDA + CPU→ 从笔记本到边缘设备均可部署
- 多协议REST + gRPC API 用于多智能体消息传递协议→ 与任何机器人中间件栈集成
03工程挑战
为什么这很难
协同 SLAM 需要解决跨智能体的数据关联 — 这个闭环是真的还是误匹配？
- 01经典描述符匹配缓慢且需手动调参 — MAC-Ego3D 学习端到端对应
- 02多智能体协调面临异步数据到达和部分可观测性
- 03通信故障必须优雅处理 — 智能体必须能独立继续并重新合并
- 04iSAM2 风格的增量位姿图优化实现实时全局一致性
- 05每智能体有界并发和全局准入控制用于舰队扩展
SYNTHESIS 将这些关注点封装在简洁的异步 API 之后。团队无需重新实现复杂的优化核心即可集成。
04性能基准
真实硬件性能
使用 MAC-Ego3D + 协同 SLAM 管线测量：
| 指标 | 数值 |
|---|---|
| 智能体支持 | 5+ 同时运行的机器人 |
| 闭环检测 | 实时评分 |
| 位姿图优化 | iSAM2 风格增量式 |
| 通信拓扑 | 中心式、点对点、广播 |
| Apple M5（MLX） | 每融合步骤约 100ms（M1 的 4 倍） |
| API 协议 | REST + gRPC |
| 准入控制 | 每智能体和全局边界 |
| 特征提取 | MAC-Ego3D 端到端学习 |
05构建状态
已构建的功能
已完成 9/10 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 核心模型 | 已完成 | MAC-Ego3D 骨干 + SLAM 管线，生产就绪 |
| API 层 | 进行中 | 公共 API，等待数据集基础设施 |
| REST API | 已完成 | 带 Swagger 文档的 FastAPI |
| gRPC 服务 | 已完成 | Protobuf 多智能体协议 |
| 闭环检测 | 已完成 | MAC-Ego3D 自我中心融合 |
| 轨迹优化 | 已完成 | 全局位姿图精化 |
| 中心拓扑 | 已完成 | 服务器中心融合 |
| 点对点拓扑 | 已完成 | 去中心化智能体网络 |
| 准入控制 | 已完成 | 每智能体和全局边界 |
| 质量门禁 | 已完成 | ruff、pytest、mypy 通过 |
06应用场景
SYNTHESIS 部署场景
- APP_01
舰队运营商
仓库、巡检、建筑舰队映射，多个协调的机器人。
- APP_02
自动驾驶车辆
协同车队映射停车场和地下设施。
- APP_03
搜索与救援
在 GPS 拒止环境中协调无人机，快速覆盖区域。
- APP_04
无人机配送
跨配送无人机舰队共享部分地图以优化路线。
- APP_05
研究实验室
无需数学即可原型化多机器人 SLAM — 简洁 API，即时结果。
- APP_06
地下采矿
在 GPS 和通信不可靠的隧道中进行多机器人探索和映射。
07技术
底层技术
基础：MAC-EGO3D（CVPR 2025）
- 多智能体协同 3D 自我中心 SLAM
- 带不确定性量化的学习闭环检测
- MIT 许可参考实现
- 端到端特征对应（无手动调参描述符）
SYNTHESIS 实现
- FastAPI 异步 REST 服务器
- 流式 JSON 用于实时融合更新
- gRPC 多智能体协议
- 智能体间 Protobuf 消息传递
- 设备抽象层
- MLX → CUDA → CPU 自动回退
- 嵌入式 iSAM2 求解器
- 有界并发的位姿图优化
集成点
- 消费来自 NEXUS 的语义标签
- 向 HARMONIA 提供共享地图
- 轨迹置信度用于规划安全裕度
- REST + gRPC
- MLX + CUDA + CPU
08论文
研究基础
- [01]MAC-Ego3D — 多智能体协同自我中心 SLAM（CVPR 2025）