- 第五波 // 研究
- 合成数据
- 仿真到真实
CORNUCOPIA
大规模合成VLA数据
复现InternData-A1：63万+操纵轨迹，7433小时数据，4种机身，70项任务，227个场景。证明合成数据在预训练规模上可以替代真实演示。零样本仿真到真实迁移消除数据瓶颈。
模块状态: 研究PYGMALION
630K+
- 部门
- ANIMA
- 波次
- W5
- 领域
- 仿真
- 第五波 // ANIMA 套件
- 仿真 — 大规模合成VLA数据
CORNUCOPIA // W5 // 014/079
01核心挑战
真实数据无法扩展
训练VLA模型需要大量的机器人操纵演示数据集。收集真实世界数据缓慢、昂贵且危险——每条轨迹都需要物理机器人、人类操作员和受控环境。在基础模型所需的规模下，真实数据收集成为瓶颈。
当前方法需要在多种环境和机身上进行数千小时的遥操作。成本随数据集大小线性增长，无法并行化物理机器人，而且几乎不可能捕获罕见的故障模式。CORNUCOPIA证明合成生成可以在预训练规模上替代真实演示。
02解决方案
CORNUCOPIA 提供什么
CORNUCOPIA生成大规模合成操纵数据集，匹配或超越真实演示的质量。InternData-A1复现管线创建63万+轨迹，跨越4种机身、70项任务和227个程序生成场景——可零样本迁移到真实机器人。
流程
- 01场景生成 — 程序化创建227个多样化操纵环境，具有物理精确的物体属性和放置
- 02轨迹合成 — 跨70种任务类型自动生成63万+操纵轨迹，使用运动规划和物理仿真
- 03多机身渲染 — 轨迹在4种机器人机身上重播，具有特定机身的运动学和视点
- 04仿真到真实验证 — 在物理机器人上进行零样本迁移测试，证明合成数据质量匹配真实演示
能力
- 大规模生成63万+轨迹，7433小时——真实机器人不可能收集的数据集规模→ 与真实世界数据收集相比成本降低>80%
- 多机身4种机器人机身，精确运动学——训练一次，随处部署→ 单一管线同时为多个机器人平台生成数据
- 任务多样性跨227个程序生成场景的70项操纵任务→ 覆盖从抓取到多步装配的操纵基元
- 零样本迁移合成训练的策略直接迁移到真实机器人，无需微调→ 域随机化和物理精度弥合仿真到真实差距
03工程挑战
为什么这很难
生成实际能迁移到真实机器人的合成数据需要解决多个叠加挑战：
- 01物理保真度：仿真接触动力学必须匹配真实世界的摩擦、变形和质量——即使微小误差也会在长轨迹中叠加
- 02视觉域差距：渲染图像必须覆盖真实环境的视觉多样性——光照、纹理、相机噪声、遮挡模式
- 03轨迹质量：自动运动规划必须产生自然的、类人的操纵——不仅是运动学有效而且动力学平滑
- 04规模工程：生成63万条轨迹需要大规模并行仿真，在数百万物理步骤中保持一致质量
- 05机身迁移：运动学和动力学在机器人平台之间不同——轨迹必须重定向而不丢失任务语义
CORNUCOPIA通过积极的域随机化、通过PYGMALION的物理精确接触仿真，以及在轨迹进入训练集之前进行过滤的质量验证管线来解决此问题。
04性能基准
系统性能
跨InternData-A1复现管线测量：
| 指标 | 数值 |
|---|---|
| 总轨迹数 | 63万+操纵演示 |
| 数据小时数 | 7433小时仿真数据 |
| 成本降低 | 与真实世界数据收集相比>80% |
| 仿真到真实迁移 | 零样本——无需真实微调 |
05构建状态
已构建的功能
已完成 1/6 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 数据集架构 | 已完成 | InternData-A1模式和存储管线生产就绪 |
| 轨迹生成器 | 进行中 | 运动规划+物理仿真管线扩展到63万 |
| 多机身 | 计划中 | 4机身重定向系统已设计，等待集成 |
| 仿真到真实迁移 | 计划中 | 域随机化和验证协议已设计 |
| 核心模型 | 进行中 | PYGMALION物理骨干正在适配轨迹合成 |
| API层 | 计划中 | 数据集访问API已设计，等待生成管线完成 |
06应用场景
CORNUCOPIA 部署场景
- APP_01
VLA预训练
规模化基础模型预训练——63万+轨迹提供VLA模型学习通用操纵所需的数据量，无需昂贵的真实世界收集。
- APP_02
多机器人训练
跨4种机身一次训练——单一合成数据集覆盖多个机器人平台，消除每平台数据收集。
- APP_03
稀有场景覆盖
为在真实世界中危险或不可能收集的边缘情况和故障模式生成轨迹——物体掉落、近碰撞、恢复行为。
07技术
底层技术
基础：INTERNDATA-A1复现
- 跨70个任务类别的63万+操纵轨迹
- 227个程序生成场景，具有物理精确属性
- 4种机器人机身，完整运动学和动力学建模
- 7433小时多视点仿真渲染数据
CORNUCOPIA 实现
- 基于物理的材料和物体放置的程序化场景生成
- 带碰撞感知运动基元的自动轨迹规划
- 跨光照、纹理、相机参数和物理噪声的域随机化
- 按任务完成度和物理一致性过滤轨迹的质量验证管线
ANIMA模块集成
- PYGMALION提供轨迹生成的物理仿真骨干
- 生成的数据集直接输入VLA预训练管线
- 质量指标与下游评估基准对齐
管线规格
- 63万+轨迹已生成
- 70个任务类别
- 227个程序场景
- 4种机器人机身
- 7433仿真小时
- 零样本迁移已验证
08论文
研究基础
- [01]InternData-A1复现——证明合成操纵数据在预训练规模上替代真实演示，实现零样本仿真到真实迁移