a.内容描述
- 核心功能定位:
- 该框架专注于通过仿真与真实世界物理对齐的技术,实现人形机器人全身敏捷技能的学习。其核心是通过多仿真器框架(包括IsaacGym、IsaacSim等)训练策略,并实现仿真到仿真(Sim2Sim)和仿真到现实(Sim2Real)的部署。
- 关键应用场景:
-
- 运动跟踪训练:模仿人类动作(如足球明星的标志性动作)。
-
- 动作重定向:将人类动作(如SMPL格式的运动数据)适配到任意人形机器人模型。
-
- 仿真到现实部署:在真实机器人上实现训练策略的迁移。
b.功能特性
- 多仿真器支持:支持IsaacGym、IsaacSim、Genesis等多种仿真环境,实现策略的跨平台训练和迁移。
-
- 动作重定向:提供完整的流程将人类动作(如AMASS数据集)适配到机器人模型。
-
- Delta动作模型:通过开环和闭环训练优化动作策略,提升仿真到现实的迁移效果。
-
- 模块化设计:将仿真器、任务和算法分离,便于扩展和定制。
d.使用说明
- 环境安装:
-
- 支持通过conda/mamba创建虚拟环境,并安装IsaacGym、IsaacSim等依赖。
-
- 提供详细的测试命令验证安装是否成功。
- 训练流程:
-
- 运动跟踪训练:通过指定动作文件训练机器人模仿人类动作。
-
- Delta动作模型训练:分阶段训练开环和闭环策略。
- 部署流程:
-
- Sim2Sim:在MuJoCo等仿真器中测试策略。
-
- Sim2Real:通过Unitree SDK在真实机器人上部署策略。
e.潜在新需求
- 需求1:用户希望提供更多预训练的动作文件(如简单行走动作),以便快速复现实验结果。
-
- 需求2:用户希望优化动作重定向流程,解决现有方法对特定机器人模型(如G1)适配效果不佳的问题。
-
- 需求3:用户希望在仿真数据收集中引入更多样化的初始化或噪声机制,以提升数据多样性。
-
- 需求4:用户希望提供更详细的领域随机化(domain randomization)配置指导,以解决训练效果不稳定的问题。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)