跳至正文
RFL_GLOBAL
EN
  • ECMR 2025 // FAB-NAV
  • 语义目标
  • 行为树

HERMES

智能导航者

大多数机器人导航使用几何：构建地图，避开障碍物。这在人类环境中失败。HERMES 结合 SmolVLM 感知、SmolLM2 推理和可组合行为树进行语义导航 — "去厨房"，而非网格坐标。理解危险，实时调整策略。

模块状态: 运行中

感知延迟（SmolVLM）

50Hz

部门
ANIMA
波次
W3
领域
行动
第四波 // ANIMA 套件
AI 驱动导航
HERMES // W3 // 035/079
01核心挑战

几何不等于理解

大多数机器人导航使用几何：构建地图，计算最短路径，避开激光雷达检测到的障碍物。这在非结构化的人类环境中失败。机器人不知道门是否锁着，湿地板是否滑，人是否即将移动。

人类通过理解来导航：我们识别物体，评估危险，做语义决策。湿地板需要与移动的人不同的策略。关闭的门需要寻找替代路线。HERMES 将这种理解带给自主机器人。

02解决方案

HERMES 提供什么

三阶段管线：感知世界，推理理解，通过可组合行为执行。

流程

  1. 01感知SmolVLM（256M）：RGB-D → 物体、危险、场景描述，2-5 fps
  2. 02推理SmolLM2（1.7B）：场景理解 → 带置信度的最优动作选择
  3. 03执行行为树：可组合导航行为，10-50 Hz 刷新率

能力

  • 语义目标导航："去厨房"（而非网格坐标）
  • 危险感知规划：湿地板、移动的人、关闭的门 → 不同策略
  • 语义代价地图层：危险代价、首选路线叠加在 Nav2 风格地图上
  • WebSocket API 用于实时导航状态流
  • ROS2 集成：RGB-D、里程计、cmd_vel、语义代价地图主题
  • 设备支持：MLX（M1–M5，M5 上约 150ms）、MPS、CUDA、CPU
03工程挑战

为什么这很难

语义导航需要同时解决三个耦合问题：

  1. 01大规模感知：以实时速率（2-5 fps）从 RGB-D 提取物体、危险和可通行性
  2. 02上下文推理：使用 LLM 基于目标和场景选择动作，而非仅凭几何
  3. 03行为树适应：组合可复用的导航行为，无需完全重新规划
  4. 04模型编排：跨异步传感器输入协调 VLM + LLM + BT 框架
  5. 05安全保证：行为树执行循环中的紧急停止、安全半径、速度限制

HERMES 通过 SmolVLM 轻量感知、SmolLM2 推理和可组合行为树节点实现 — 全部与 ROS2 主题集成用于真实机器人部署。

04性能基准

真实硬件性能

使用 SmolVLM + SmolLM2 在真实传感器数据上测量：

真实硬件性能
指标数值
感知延迟（SmolVLM）200–400ms
推理延迟（SmolLM2）150–300ms
行为树刷新率10–50 Hz（可配置）
BT 刷新延迟10–50ms
感知吞吐量2–5 帧/秒
Apple M5（MLX）约 150ms 感知（4 倍 M1）
VLM 内存约 1.2 GB
LLM 内存约 3.5 GB
最大线速度0.5 m/s（可配置）
安全半径0.3 m（可配置）
05构建状态

已构建的功能

已完成 10/12 个组件
已构建的功能
组件状态说明
核心模型已完成SmolVLM + SmolLM2 权重 — 生产就绪
感知模块（SmolVLM）已完成物体检测、场景描述、危险识别
推理模块（SmolLM2）已完成动作选择、路径规划、置信度
行为树框架已完成节点、组合器、刷新执行
语义代价地图层已完成危险编码、首选路线
FABNavigator 编排器已完成感知+推理+执行集成
FastAPI 服务器已完成/navigate、/observe、/plan、/semantic_map
WebSocket API已完成实时导航状态流
ROS2 集成已完成主题：RGB-D、odom、cmd_vel、costmap
Docker 部署已完成多容器，含 Prometheus/Grafana
API 层进行中公共 API — 等待数据集基础设施
Nav2 集成计划中Nav2 堆栈兼容性设计
06应用场景

HERMES 部署场景

  • APP_01

    移动机器人

    用于配送、巡逻和探索的语义室内导航。

  • APP_02

    服务机器人

    理解人类环境 — 根据上下文调整行为。

  • APP_03

    仓储自动化

    以语义感知在动态障碍物和危险周围导航。

  • APP_04

    酒店机器人

    在拥挤空间中迎接访客，避免碰撞。

  • APP_05

    研究平台

    语义导航和行为树执行的基准。

  • APP_06

    即插即用导航

    任何 ROS2 移动底座的智能导航层。

07技术

底层技术

基础：FAB-NAV（ECMR 2025）

  • 基于基础模型的行为树动作选择
  • 三阶段管线：感知 → 推理 → 执行
  • SmolVLM（256M）+ SmolLM2（1.7B）轻量语义智能
  • 可组合行为树节点用于实时自适应导航
  • 带危险代价和首选路线的语义代价地图层

模型堆栈

SmolVLM（感知）
256M 参数 · 200–400ms
SmolLM2（推理）
1.7B 参数 · 150–300ms
BT 框架（执行）
约 0 · 10–50ms

ROS2 集成

  • 订阅：/camera/rgb、/camera/depth、/odom、/tf
  • 发布：/cmd_vel、/hermes/semantic_costmap、/hermes/navigation_state
  • 服务：hermes/navigate、hermes/observe、hermes/stop
08论文

研究论文

  1. [01]基于基础模型的行为树导航动作选择 — ECMR 2025