- RAYFRONTS // IROS 2025
- 开放集标签
- 前沿探索
NEXUS
连接点
在非结构化环境中工作的机器人需要理解所见之物。NEXUS 解决开放集语义建图：实时标记任意物体，构建一致的 3D 表示，高效探索以最大化信息增益。基于 RayFronts（IROS 2025）构建。
模块状态: 运行中语义编码
OPEN
- 部门
- ANIMA
- 波次
- W3
- 领域
- 理解
- 第三波 // ANIMA 套件
- 开放集语义建图
NEXUS // W3 // 053/079
01核心挑战
机器人无法识别所见之物
在非结构化环境中工作的机器人需要理解所见之物。现成的目标检测器只能识别预训练类别 — 对新物体、稀有材料和特定任务实体无能为力。这迫使进行昂贵的人工标注。
构建持久、可搜索的 3D 地图需要几何信息（一切在哪里？）和语义信息（一切是什么？）。当前系统将它们视为独立问题，导致碎片化表示。NEXUS 将二者统一。
02解决方案
NEXUS 提供什么
NEXUS 是基于 RayFronts（IROS 2025）构建的容器化语义建图与探索服务。语义建图、智能探索、在线处理。
流程
- 01语义建图 — 实时为 3D 表面分配开放集标签（任意类别）
- 02智能探索 — 基于前沿、熵驱动和信息增益策略
- 03在线处理 — 随着新传感器数据到达增量更新地图
- 04REST 和 gRPC API — 为 ANIMA 操作管线设计
能力
- 多运行时CPU、GPU 和 Apple Silicon（MLX M1–M5）运行时→ M5 上约 60ms，4 倍 M1 吞吐
- 灵活模型确定性基线编码器 + 可选 CLIP 自定义词汇→ 新物体类别无需重新训练
- 准入控制并发推理请求的有界准入控制→ 负载下的生产级可靠性
03工程挑战
为什么这很难
无需任务特定训练的开放集识别需要将视觉嵌入锚定到任意语言：
- 01CLIP 集成自定义词汇需要仔细的离线缓存和回退
- 02语义空间无界时的前沿发现和熵驱动视点选择
- 03gRPC 服务契约、protobuf 模式版本控制、健康检查和有界准入控制
- 04机器人系统的实时延迟约束 — 不允许批处理
- 05跨团队 REST 和 gRPC 集成需要一致的 protobuf 模式
NEXUS 将这一切封装在干净的异步 API 之后，配备确定性基线和可选 CLIP 增强。
04性能基准
真实硬件性能
使用 RayFronts 编码器 + 语义管线测量：
| 指标 | 数值 |
|---|---|
| 语义编码 | 约 60ms（M5 MLX），约 25ms（RTX 4090） |
| Apple M5（MLX） | 每帧约 60ms（4 倍 M1） |
| 地图更新速率 | 实时增量（无批处理） |
| 探索策略 | 前沿、熵、信息增益 |
| API 协议 | REST + gRPC |
| 准入控制 | 每部署有界队列 |
| 模型缓存 | 离线安全，挂载卷 |
05构建状态
已构建的功能
已完成 8/9 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 核心模型 | 已完成 | RayFronts 编码器 + 语义管线，生产就绪 |
| API 层 | 进行中 | 公共 API，待数据集基础设施 |
| REST API | 已完成 | FastAPI，/docs 自动生成 |
| gRPC 服务 | 已完成 | Protobuf 契约 + 反射 |
| 语义基线（MLX） | 已完成 | 确定性，无网络调用 |
| CLIP 集成 | 已完成 | 本地离线缓存，离线安全 |
| 探索策略 | 已完成 | 前沿、熵、信息增益 |
| 准入控制 | 已完成 | 每部署有界队列 |
| 质量门禁 | 已完成 | ruff、pytest、mypy 通过 |
06应用场景
NEXUS 部署场景
- APP_01
机器人集成商
构建 SLAM + 语义理解堆栈。插入 NEXUS 在几何地图之上进行开放集物体标注。
- APP_02
操作团队
用于抓取和物体搜索的场景图。在伸手之前先了解桌上有什么。
- APP_03
自主探索
搜救、巡检无人机。实时探索未知环境并构建语义地图。
- APP_04
协作机器人
跨异构智能体共享地图。一个机器人建图，所有机器人理解。
- APP_05
仓库自动化
语义库存建图与搜索。按名称而非坐标查找任何物体。
- APP_06
智慧建筑
设施管理的物体级理解。追踪资产、监控空间、自动响应。
07技术
底层技术
基础：RAYFRONTS
- 来自自我中心流的开放集语义建图（IROS 2025）
- 基于前沿的探索与全局闭环
- MIT 许可参考实现
- 确定性基线编码器，可选 CLIP
NEXUS 实现
- FastAPI REST 服务器
- Pydantic 模式，/docs 自动生成
- gRPC 服务
- Protobuf 3 契约与反射
- 设备抽象
- MLX（Apple Silicon）→ CUDA → CPU 回退链
- 模型缓存
- 离线模式回退，挂载卷
- 准入控制
- 并发请求管理的有界队列
集成点
- 向 SYNTHESIS（协作 SLAM）提供 3D 语义地图
- 向 TACTIS（视触融合）提供物体标签
- 向下游操作模块提供场景上下文
08论文
研究基础
- [01]RayFronts — 面向生产机器人的开放集语义建图（IROS 2025）