跳至正文
RFL_GLOBAL
EN
  • DEIO // 事件相机
  • 微秒级运动
  • 1000 倍动态范围

KAIROS

决定性时刻

标准相机在低光照下错过运动，在高动态范围下失败。事件相机记录像素级亮度变化 — 延迟低 10 倍，动态范围好 1000 倍，无运动模糊。KAIROS 提供生产就绪的事件-惯性里程计，支持立体事件相机集成和从仿真到离散神经形态硬件的清晰路径。

模块状态: 运行中

模块状态

10μs

部门
ANIMA
波次
W3
领域
感知
第三波 // ANIMA 套件
事件-惯性里程计
KAIROS // W3 // 040/079
01核心挑战

帧相机看不见决定性时刻

标准相机为日光设计。它们在低光照下错过运动，在高动态范围（太阳眩光+阴影）下失败，并在静态区域浪费计算。事件相机通过记录像素级亮度变化解决了这个问题 — 不是帧 — 微秒级精度。

但事件相机在生产机器人中很少见。参考数据集不涵盖操控任务。处理管线是闭源的。大多数集成商缺乏大规模部署事件-惯性里程计的 IMU 融合专业知识。KAIROS 填补了这一空白。

02解决方案

KAIROS 提供什么

KAIROS 是生产级事件-惯性里程计服务。从立体事件相机实时处理事件，与 IMU 融合，优雅回退。

能力

  • DEIO 风格的实时跟踪、优化和位姿估计
  • 事件积分与惯性测量的紧密耦合
  • 事件表示：计数网格、时间表面、体素网格
  • 回放会话用于确定性测试和演示自动化
  • 立体事件相机支持（Inivation DAVIS）+ 帧到事件仿真回退
  • 11 个 REST 端点：事件、IMU、轨迹、状态、标定
  • MLX Apple Silicon（M1–M5，M5 上约 10ms 事件处理）+ CUDA 支持
03工程挑战

为什么这很难

事件相机输出异步脉冲序列，不是帧。标准计算机视觉不工作：

  1. 01在连续时间而非离散帧中进行特征跟踪 — SIFT/SURF/ORB 无用
  2. 02DEIO 将事件跟踪与 IMU 预积分解耦以进行独立优化
  3. 03传感器融合：缓冲事件直到 IMU 测量到达，维护一致状态
  4. 04标定包（内参、外参、IMU 偏差）必须足够稳定用于生产
  5. 05因子图优化：确定性，无随机性，适合安全关键系统

KAIROS 实现了 DEIO 的解耦事件-惯性跟踪、持久化标定包和适合生产部署的确定性核心。

04构建状态

已构建的功能

已完成 9/11 个组件
已构建的功能
组件状态说明
核心模型已完成DEIO 跟踪器+优化器+管线 — 生产就绪
DEIO 核心已完成跟踪器、优化器、管线、状态管理
IMU 融合已完成缓冲、预积分、因子图
事件处理已完成时间表面、体素网格、事件计数
标定已完成带 IMU 统计的持久化包
仿真回退已完成硬件不可用时的帧到事件仿真
回放系统已完成确定性离线会话
REST API已完成11 个端点：健康、事件、IMU、轨迹、状态
质量门禁已完成ruff、pytest、mypy — macOS arm64 通过
API 层进行中公共 API — 等待数据集基础设施
事件硬件已订购DVS/神经形态相机集成等待到货
05应用场景

KAIROS 部署场景

  • APP_01

    低光照机器人

    地下检测、夜间作业、昏暗仓库 — 在相机看不见的地方看见。

  • APP_02

    高速取放

    运动模糊杀死传统相机。事件相机捕获微秒级变化。

  • APP_03

    操控研究

    杂乱抓取任务中的低延迟视觉，亚毫秒事件流。

  • APP_04

    移动操控

    移动操控车队上快速建图的事件-IMU 里程计。

  • APP_05

    航天航空

    极端环境下的抗辐射事件传感器。

  • APP_06

    工业 HDR

    同时处理太阳眩光+阴影 — 1000 倍动态范围全部处理。

06技术

底层技术

基础：DEIO

  • 解耦事件-惯性里程计
  • 带异步传感器融合的事件-惯性跟踪
  • 用于位姿和偏差估计的因子图优化
  • 确定性核心 — 无随机性，适合生产

KAIROS 实现

  • Python 运行时，支持 MLX（Apple Silicon）和 CUDA
  • 事件表示：计数网格、时间表面、体素网格
  • 带高斯噪声建模的 IMU 预积分
  • 带保守统计的持久化标定包
  • 11 个 REST 端点用于实时和离线工作流

集成点

  • 向 SYNTHESIS（协作 SLAM）馈送自中心里程计
  • 为操控模块提供低光照轨迹估计
  • 输出标定工件用于下游传感器融合（HARMONIA）
07论文

研究基础

  1. [01]DEIO：解耦事件-惯性里程计 — 用于生产机器人的事件相机处理