- WIFI + 激光雷达 + 相机
- 穿墙检测
- 30HZ 跟踪
OSIRIS
我们看见不可见
大多数人体定位依赖摄像头，在黑暗、烟雾和隐私敏感环境中会失效。OSIRIS 将WiFi RSSI指纹、激光雷达点云处理和RGB-D相机姿态估计融合为单一的实时30Hz跟踪流。穿墙检测和跟踪人员，在完全黑暗中实现亚米级精度。
模块状态: 研发进行中跟踪速率
30Hz
- 部门
- ANIMA
- 波次
- W1
- 领域
- 基础
- 第一波 // ANIMA 套件
- 多模态人体定位
OSIRIS // W1 // 057/079
01核心挑战
人类是不可见的
大多数人体定位依赖摄像头，在黑暗、烟雾和隐私敏感环境中会失效。GPS在室内不工作。激光雷达无法穿墙。WiFi信号可以穿过障碍物，但缺乏空间精度。
如果你能将它们全部融合呢？穿墙检测和跟踪人员，在完全黑暗中，实现亚米级精度，跨楼层实时运行。这就是应急响应、搜救和智能建筑自动化的未来。
02解决方案
OSIRIS 提供什么
OSIRIS 是 Robot Flow Labs 的专有多模态人体定位系统。它将WiFi RSSI、激光雷达和RGB-D融合为单一的实时跟踪流。
流程
- 01WiFi RSSI指纹 — 穿墙检测人员存在
- 02激光雷达点云分割 — 3D空间精度和人体识别
- 03RGB-D相机姿态估计 — 带深度信息的视觉跟踪
- 04多模态融合 — 卡尔曼-粒子、贝叶斯或Transformer以30Hz运行
能力
- 穿墙检测WiFi RSSI特征揭示障碍物后方的人员存在→ 在黑暗、烟雾和GPS拒止环境中工作
- 传感器融合WiFi (25%) + 激光雷达 (40%) + 相机 (35%) 加权共识→ 三种算法根据当前传感器可用性自动选择
- 多人重识别跨遮挡和传感器间隙的持续跟踪→ Redis支持的状态存储用于分布式多机器人协调
03工程挑战
为什么这很难
这种规模的传感器融合需要同时解决多个难题：
- 01WiFi RSSI指纹：构建对环境漂移和多径鲁棒的无线电地图
- 02激光雷达分割：在3D点云中区分人员与家具和杂物
- 03跨模态关联：将WiFi/激光雷达/相机检测匹配为统一身份
- 04时间一致性：卡尔曼滤波和粒子滤波平滑噪声测量
- 05在嵌入式硬件上以低于100ms延迟实现实时30Hz融合
OSIRIS 集成卡尔曼-粒子、贝叶斯和Transformer融合 — 每种在不同传感器组合中表现优异。系统自动选择当前最佳方案。
04性能基准
系统规格
多模态融合管线目标性能：
| 指标 | 数值 |
|---|---|
| 跟踪速率 | 30Hz 实时 |
| 融合延迟 | 嵌入式硬件 <100ms |
| 传感器模态 | WiFi RSSI + 激光雷达 + RGB-D 相机 |
| WiFi 权重 | 25%（存在检测） |
| 激光雷达权重 | 40%（空间精度） |
| 相机权重 | 35%（姿态估计） |
| 融合算法 | 卡尔曼-粒子、贝叶斯、Transformer |
| 重识别 | 多人持续跟踪 |
05构建状态
已构建的功能
已完成 1/9 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 项目架构 | 已完成 | 系统设计和传感器接口已定义 |
| 核心模型 | 进行中 | 融合引擎框架正在积极开发 |
| 传感器抽象 | 进行中 | WiFi、激光雷达、相机接口层 |
| 卡尔曼-粒子融合 | 进行中 | 时间跟踪算法 |
| 贝叶斯融合 | 进行中 | 多传感器投票算法 |
| Transformer融合 | 进行中 | 跨模态关联架构 |
| WebSocket流 | 进行中 | 实时30Hz客户端更新 |
| Redis状态存储 | 进行中 | 分布式会话管理 |
| API层 | 计划中 | REST + gRPC API 等待核心完成 |
06应用场景
OSIRIS 部署场景
- APP_01
搜索与救援
在倒塌建筑、烟雾或黑暗中定位人员。穿墙检测在摄像头失明时挽救生命。
- APP_02
智能建筑
穿墙检测占用和移动以控制暖通空调、优化能源和空间利用。
- APP_03
周界安防
在GPS拒止区域检测人员存在。多传感器融合消除关键基础设施的盲点。
- APP_04
自主导航
移动机器人穿过障碍物检测人员。在视线接触前预测碰撞。
- APP_05
工业安全
危险区域的实时人员监控。人员进入限制区域时的警报系统。
- APP_06
隐私优先监控
无面部识别的人员检测。仅存在和轨迹数据 — 无生物特征采集。
07技术
底层技术
专有技术栈
- 多模态传感器融合：WiFi RSSI、激光雷达点云、RGB-D深度相机
- 卡尔曼-粒子滤波实现跨传感器丢失的鲁棒时间跟踪
- 贝叶斯共识在不确定性下进行多传感器投票
- 基于Transformer的融合处理复杂跨模态关联
OSIRIS 实现
- Python 3.12 + UV
- 包管理和虚拟环境
- PyTorch + Open3D
- 深度学习组件和3D点云处理
- Redis
- 分布式会话状态管理
- FastAPI + gRPC + WebSocket
- REST、流式和实时数据传输
集成点
- 为导航和安全系统提供人体跟踪
- 向舰队协调模块提供存在数据
- 为应急响应仪表板输出跟踪位置
08论文
专有研究
- [01]Robot Flow Labs 皇冠明珠IP — GPS拒止环境中的多模态人体定位