- 第五波 // 仿真
- CHIRON + PYGMALION + ERGON
- 文本到场景
ELYSIUM
LLM 生成的环境
使用 LLM（Genie Sim 3.0 方法）大规模生成仿真环境。将自然语言场景描述转换为拥有 5,140+ 资产的完整 3D 仿真环境。双模式：基于遥操作和全自动数据收集。3D 重建管道用于导入真实世界资产。
模块状态: 开发中资产库规模
5.1K+
- 部门
- ANIMA
- 波次
- W5
- 领域
- 仿真
- 第五波 // ANIMA 套件
- 仿真 — LLM 生成的环境
ELYSIUM // W5 // 018/079
01核心挑战
构建仿真环境无法规模化
机器人训练需要多样化的仿真环境，但创建它们是一个手动瓶颈。每个新任务场景 — 具有特定物体的厨房、仓库货架布局、制造工作台 — 都必须由理解 3D 建模和机器人任务需求的工程师手动设计。
结果是：实验室花费数周构建单个环境，而训练管道却缺乏数据多样性。真实世界物体缺少仿真对应物。新的任务领域需要从零开始。仿真环境创建过程是阻碍可扩展机器人学习的隐藏瓶颈。
- 5,140+
- 仿真资产
- 双模式
- 数据收集
- 3D
- 重建管道
02解决方案
ELYSIUM 提供什么
ELYSIUM 使用 LLM 从自然语言描述生成完整的仿真环境。用文本描述场景，ELYSIUM 即可生成具有物理、语义和任务相关物体配置的完全交互式 3D 环境 — 可直接用于机器人训练数据收集。
能力
- 自然语言 → 具有物理和语义标注的完整 3D 仿真环境
- 5,140+ 资产库，带程序化变体，提供无限场景多样性
- 双重数据收集：遥操作模式用于高质量演示，自动模式用于规模化
- 3D 重建管道将真实世界物体导入仿真，作为忠实的数字孪生
03工程挑战
为什么这很难
将自然语言转换为物理有效的仿真环境需要解决多个困难问题：
- 01语义落地：LLM 场景描述必须映射到物理合理的物体放置 — 不仅视觉合理，还要无碰撞且重力稳定
- 02资产多样性：5,140+ 物体必须具有正确的碰撞网格、质量属性、摩擦系数和语义标签
- 03场景组合：物体必须通过空间推理放置 — 杯子在桌上、书在架上、工具在机械臂可及范围内
- 04双收集模式：遥操作需要 VR 集成和力反馈；自动模式需要任务规划器和抓取合成
- 053D 重建：通过 RGB-D 扫描的真实世界物体必须生成具有准确物理属性的水密网格
- 06验证：生成的环境必须在数据收集开始前测试物理稳定性、任务可行性和训练信号质量
ELYSIUM 将 LLM 场景理解、程序化资产生成、物理验证和双模式数据收集组合成单一自动化管道。
04性能基准
环境生成
跨场景生成和数据收集管道的测量：
| 指标 | 数值 |
|---|---|
| 资产库规模 | 5,140+ 物体 |
| 收集模式 | 双模式（遥操作 + 自动） |
| 3D 重建 | RGB-D → 仿真就绪网格 |
| 场景生成 | 文本 → 3D 环境 |
05构建状态
已构建的功能
已完成 4/7 个组件
| 组件 | 状态 | 说明 |
|---|---|---|
| 资产库 | 已完成 | 5,140+ 物体，带碰撞网格和物理属性 |
| 场景生成 | 已完成 | LLM 驱动的文本到场景，带物理验证 |
| 遥操作模式 | 进行中 | 在生成环境中基于 VR 的演示收集 |
| 自动收集 | 进行中 | 任务规划器 + 抓取合成用于自主数据生成 |
| 3D 重建 | 已完成 | RGB-D 扫描 → 水密仿真就绪网格管道 |
| 核心模型 | 已完成 | 场景组合和资产放置模型已验证 |
| API 层 | 进行中 | 场景生成请求和资产管理的 REST API |
06应用场景
ELYSIUM 部署场景
- APP_01
无限训练环境
从文本描述生成数千个独特的仿真环境 — 机器人训练无需手动 3D 建模。
- APP_02
合成数据生成
通过双收集模式大规模生成多样化操控数据集 — 遥操作保证质量，自动化保证数量。
- APP_03
数字孪生创建
通过 3D 重建将真实世界物体和空间导入仿真 — 在部署环境的忠实数字副本中训练。