跳至正文
RFL_GLOBAL
EN
  • GENESIS + SYNTHESIS
  • 实时 SLAM
  • 高斯散射

PRISM

多传感器高斯SLAM

融合LiDAR、相机和IMU的多传感器高斯SLAM，实现实时逼真场景建图。连续轨迹估计、增量式高斯地图构建、RGB/深度渲染及几何导出。从原始传感器数据流到逼真3D重建的统一管线。

模块状态: 开发中

SLAM模式

3FUSE

部门
ANIMA
波次
W5
领域
硬件与传感器
第五波 // ANIMA 套件
感知 — 多传感器高斯SLAM
PRISM // W5 // 061/079
01核心挑战

传统SLAM生成的地图稀疏且缺乏真实感

经典SLAM系统输出稀疏点云或占据栅格 — 可用于导航但无法用于逼真渲染、仿真或精细场景理解。纯相机方案缺乏几何精度，纯LiDAR方法缺少外观信息。单一传感器无法产生现代机器人所需的密集、带纹理的重建。

真实部署需要同时满足几何精确、可逼真渲染、且可导出为网格的地图。这要求将异构传感器 — LiDAR提供几何、相机提供外观、IMU提供运动 — 融合为单一连贯的高斯表示，且全部实时运行。

02解决方案

PRISM 提供什么

PRISM是一个多传感器高斯SLAM系统，从LiDAR点云、相机图像和IMU数据增量构建逼真3D地图。连续轨迹估计驱动增量高斯地图构建器，支持RGB渲染、深度渲染和网格导出。

能力

  • LiDAR + 相机 + IMU紧耦合 — 亚厘米级精度的连续轨迹估计
  • 增量式高斯地图构建 — 从LiDAR深度初始化新散射体，用相机RGB精化
  • 从高斯地图实时渲染任意视角的RGB和深度
  • 网格导出管线 — 高斯到网格转换，用于CAD、仿真和下游规划
  • 自适应散射密度 — 在细节丰富区域自动加密，在空白区域自动裁剪
  • 在线回环检测与高斯地图校正 — 一致的大规模重建
03工程挑战

为什么这很难

将多传感器数据流融合为实时高斯SLAM需要解决紧密耦合的问题：

  1. 01传感器同步：LiDAR、相机和IMU以不同频率运行 — 时间对齐必须达到亚毫秒级以避免高斯地图中的伪影
  2. 02增量高斯初始化：每次新LiDAR扫描必须在正确的3D位置播种高斯散射体，同时避免与现有地图元素冗余
  3. 03联合优化：轨迹估计和高斯参数必须协同优化 — 位姿误差会传播到地图失真，反之亦然
  4. 04实时约束：完整管线 — 传感器融合、轨迹更新、高斯精化、渲染 — 必须在LiDAR扫描周期内完成（约100ms）
  5. 05网格提取：将连续高斯场转换为水密网格需要在隐式密度场上执行Marching Cubes，并谨慎选择阈值

PRISM通过共享高斯表示将LiDAR几何约束与相机光度梯度紧耦合，从同一数据结构实现实时SLAM和逼真渲染。

04性能基准

用数据说话

面向生产部署的目标性能指标：

用数据说话
指标数值
SLAM模式实时（10 Hz LiDAR）
传感器融合LiDAR + 相机 + IMU
轨迹精度<2cm 漂移 / 100m
地图表示高斯散射体
渲染质量逼真RGB + 深度
网格导出水密几何
地图更新频率10 Hz 增量
散射体数量（典型）每场景 50万–200万
渲染分辨率1920×1080 @ 30 FPS
GPU要求NVIDIA RTX 3080+
回环检测在线，高斯校正
ANIMA 集成GENESIS + SYNTHESIS
05构建状态

已构建的功能

已完成 4/9 个组件
已构建的功能
组件状态说明
核心模型已完成高斯SLAM管线已训练验证
轨迹估计已完成连续时间轨迹 + IMU预积分
高斯地图构建器已完成增量式散射体初始化与精化
RGB/深度渲染进行中可微渲染 — 优化实时性能
网格导出已完成基于高斯密度场的Marching Cubes
多传感器融合进行中LiDAR+相机紧耦合 — IMU集成中
API 层进行中地图查询和导出的REST接口
回环检测计划中架构已设计 — 待集成
Docker 部署计划中带CUDA和渲染栈的GPU容器
06应用场景

PRISM 部署场景

  • APP_01

    自主导航

    为移动机器人提供实时逼真建图 — 超越稀疏占据栅格的密集3D理解。

  • APP_02

    数字孪生

    生成物理空间的逼真3D重建，用于仿真、规划和远程检查。

  • APP_03

    机器人操控

    密集场景地图支持精确物体定位和抓取规划，具备完整几何和外观信息。

  • APP_04

    建筑与检测

    厘米级精度的持续场地建图 — 可导出网格用于BIM集成。

  • APP_05

    仿真到真实迁移

    高斯地图作为逼真仿真环境用于训练操控策略。

  • APP_06

    多机器人建图

    来自多个机器人的联邦高斯地图合并为单一连贯的全局重建。

07技术

底层技术

基础：高斯散射 + SLAM

  • 3D高斯散射实现逼真的新视角合成
  • 基于B样条参数化的连续时间轨迹估计
  • LiDAR初始化高斯散射体，相机精化外观
  • 增量式地图构建 — 无需离线批处理

核心创新

将多传感器SLAM与增量高斯散射紧密耦合 — LiDAR提供散射体初始化的几何锚点，相机通过可微渲染精化外观，IMU约束连续轨迹。结果是单一地图表示同时支持实时定位和逼真渲染。

管线阶段

  • 传感器同步 → IMU预积分 → 轨迹更新
  • LiDAR扫描 → 散射体初始化 → 几何精化
  • 相机帧 → 光度优化 → 外观更新
  • 基于高斯密度的周期性Marching Cubes网格提取

传感器栈

LiDAR
Ouster/Velodyne 64-128线 — 10-20 Hz 几何骨干
相机
双目或单目RGB — 30 Hz 光度精化
IMU
6轴惯性 — 200-400 Hz 运动先验
08论文

研究论文

  1. [01]3D Gaussian Splatting for Real-Time Radiance Field Rendering（Kerbl 等，2023）
  2. [02]LiDAR-相机融合密集3D重建
  3. [03]基于B样条轨迹的连续时间SLAM