- RDT2 // 2025
- 通用迁移
- 任意具身
MORPHEUS
操控 — 跨具身 VLA
基于 RDT2 架构的跨具身视觉-语言-动作系统。一个模型无需重新训练即可在任何机器人上工作 — 轮式平台、机械臂、四足机器人、人形机器人。具身专用动作头消除了逐机器人微调的需求,同时保持操控精度。
模块状态: 开发中具身迁移
ANY
- 部门
- ANIMA
- 波次
- W5
- 领域
- 操控
- 第五波 // ANIMA 套件
- 跨具身 VLA
每个机器人都需要自己的模型
当今的操控模型针对单一机器人形态训练。在 7 自由度机械臂上学习的策略无法迁移到轮式移动操控器。人形策略无法驱动四足机器人。每个新平台都需要收集数据、训练模型并从头验证 — 成本随机队多样性线性增长。
异构机队是部署的现实。军事、物流和工业运营同时使用机械臂、轮式平台、足式机器人和人形机器人。没有跨具身迁移,每增加一个平台都需要完整的机器学习流程 — 数据收集、训练、验证、部署。扩展成本高得令人望而却步。
MORPHEUS 提供什么
MORPHEUS 是基于 RDT2(机器人扩散 Transformer 2)架构的跨具身视觉-语言-动作系统。共享的视觉-语言骨干网络处理场景理解,而具身专用动作头将统一表示转换为平台原生控制信号。
能力
- 共享视觉-语言骨干网络 — 所有具身共用一个感知模型
- 具身专用动作头 — 每种机器人形态的模块化输出层
- 动作头注册表 — 即插即用注册新机器人平台
- 零逐机器人微调 — 通用策略直接迁移
- RDT2 扩散 Transformer 用于高保真动作生成
- 集成 ANIMA 套件的 PYGMALION + ATOMOS 模块
为什么这很难
跨具身迁移需要解决根本性的表示不匹配问题:
- 01动作空间异构性:7 自由度机械臂、差分驱动底盘、12 自由度四足和 30+ 自由度人形具有不兼容的动作空间
- 02具身不变表示:共享骨干网络必须提取操控意图而不编码形态特定的偏差
- 03动作头对齐:每个具身专用头必须从相同的隐空间映射到完全不同的控制信号
- 04训练数据平衡:防止模型对训练集中代表性最强的具身过拟合
- 05部署验证:确保每次模型更新后所有注册具身的操控质量得到维持
MORPHEUS 通过 RDT2 架构解决了这一问题 — 扩散 Transformer 骨干网络学习具身不变的操控表示,配合可按部署目标热交换的动作头注册表。
用数据说话
跨具身迁移指标:
| 指标 | 数值 |
|---|---|
| 具身迁移 | 通用 |
| 逐机器人微调 | 零 |
| 支持的形态 | 多具身 |
| 策略数量 | 单一统一 |
| 动作头切换 | 热交换 |
| 骨干架构 | RDT2 扩散 Transformer |
| 感知管线 | 共享 ViT + LLM |
| 动作生成 | 基于扩散 |
| 平台注册 | 即插即用 |
| 训练效率 | N 种具身,1 个模型 |
| ANIMA 集成 | PYGMALION + ATOMOS |
| 部署开销 | 仅动作头 |
已构建的功能
| 组件 | 状态 | 说明 |
|---|---|---|
| RDT2 架构 | 已完成 | 扩散 Transformer 骨干网络配合模块化动作头接口 |
| 动作头注册表 | 已完成 | 即插即用注册新具身动作头 |
| 跨具身训练 | 进行中 | 多具身数据集整理和平衡训练 |
| 核心模型 | 已完成 | 共享骨干网络已训练 — 4 种形态的动作头已验证 |
| API 层 | 进行中 | 公共 REST + gRPC API — 等待跨具身推理路由 |
MORPHEUS 部署场景
- APP_01
异构机队部署
在混合机队中部署单一操控策略 — 机械臂、轮式平台、四足和人形机器人在同一环境中运行。
- APP_02
快速平台扩展
通过注册动作头将新机器人平台添加到现有机队 — 无需数据收集或重新训练。
- APP_03
通用操控策略
一个策略处理拾放、开门、工具使用和物体交接,无论执行机器人的形态如何。
- APP_04
国防与安全
在对抗环境中运行的混合自主机队 — 地面车辆、足式平台和机械臂共享单一智能层。
- APP_05
仓库自动化
在同一设施中部署机械臂、移动操控器和人形机器人,统一任务分配和操控能力。
- APP_06
研究平台
一次训练,跨具身评估 — 通过消除逐平台模型开发加速操控研究。
底层技术
基础:RDT2 架构
- 机器人扩散 Transformer 2 — 基于扩散的动作生成
- 共享 ViT 视觉编码器 + 语言模型骨干网络
- 具身不变的隐式操控表示
- 标准化 I/O 契约的模块化动作头接口
核心创新
将"做什么"与"怎么动"解耦 — 共享骨干网络学习操控意图(抓取、放置、推动、旋转),而具身专用动作头将意图转化为形态原生轨迹。新机器人注册动作头而无需触及骨干网络。
ANIMA 集成
- PYGMALION — 跨具身数据生成和增强
- ATOMOS — 共享骨干网络的 1-bit 量化用于边缘部署
推理管线
- 感知
- 共享 ViT 编码器处理 RGB 输入 — 具身无关的场景理解
- 推理
- 语言模型 + 扩散 Transformer 在隐空间生成操控意图
- 动作
- 具身专用头将隐式意图解码为原生控制信号 — 按机器人热交换
研究论文
- [01]RDT2: Robotics Diffusion Transformer for Cross-Embodiment Transfer
- [02]Cross-Embodiment Policy Learning — Pinto 等
- [03]机器人动作生成的扩散模型