文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

攀爬、跳跃、过窄缝,开源强化学习策略让机器狗能跑酷了

2024-11-30 08:04

关注

最近,一个机器狗跑酷的视频火了,视频中的机器狗在多种场景中迅速克服了各种障碍。例如,从铁板下方的缝隙穿过,爬上木箱,再跳到另一个木箱上,一连串动作行云流水:

这串动作说明机器狗掌握了贴地爬行、攀爬和跳跃三个基本技能:

它还有个技能:倾斜挤过窄缝:

如果机器狗未能克服障碍,它会多试几次:

该机器狗是基于一种为低成本机器人研发的「跑酷」技能学习框架。这个框架是由来自上海期智研究院、斯坦福大学、上海科技大学、CMU 和清华大学的研究者联合提出的,研究论文已经入选 CoRL 2023(Oral)。研究项目已开源。

论文地址:https://arxiv.org/abs/2309.05665

项目地址:https://github.com/ZiwenZhuang/parkour

方法简介

该研究推出了一种新的开源系统,用于学习基于视觉的端到端跑酷策略,以使用简单的奖励来学习多种跑酷技能,而无需任何参考运动数据。

具体来说,该研究提出了一种强化学习方法,旨在让机器人掌握攀爬高障碍、跳过大间隙、在低障碍下爬行、挤过狭小缝隙和跑步,并将这些技能蒸馏成基于单一视觉的跑酷策略,并以自我为中心的(egocentric)深度相机将其迁移到四足机器人上。

为了成功在低成本机器人上部署,该研究提出的跑酷策略仅使用机载计算(Nvidia Jetson)、机载深度摄像头(Intel Realsense)和机载电源来部署,不使用动作捕捉、激光雷达、多个深度摄像头和大量计算。

为了训练跑酷策略,该研究共进行了如下三个阶段的工作:

第一阶段:具有 soft 动态约束(dynamics constraint)的强化学习预训练。该研究使用自动课程让机器人学习穿越障碍物,鼓励机器人逐渐学会克服障碍。

第二阶段:具有 hard 动态约束的强化学习微调。该研究在这个阶段强制执行所有动态约束,并用现实动态(realistic dynamics)微调机器人在预训练阶段学到的行为。

第三阶段:蒸馏。在学习了每个单独的跑酷技能后,该研究使用 DAgger 将它们蒸馏成一个基于视觉的跑酷策略(由 RNN 参数化),该策略可以仅使用机载感知和计算部署到腿式机器人上。


实验及结果

在训练中,该研究为每种技能设置了相应的障碍物尺寸,如下表 1 所示:

该研究进行了大量的模拟和现实实验,结果表明,跑酷策略使低成本四足机器人能够自主选择和执行适当的跑酷技能,仅使用机载计算、机载视觉传感和机载电源即可穿越开放世界中具有挑战性的环境,包括爬高 0.40m(1.53x 机器人高度)的障碍物,跳过 0.60m(1.5x 机器人长度)的大间隙,在 0.2m(0.76x 机器人高度)的低障碍物下爬行,通过倾斜挤过 0.28m 的细缝(小于机器人宽度),并且可以一直跑步前行。

此外,该研究还将所提方法和几种基线方法进行了比较,并在模拟环境中进行了消融实验,结果如下表 2 所示:

感兴趣的读者可以阅读论文原文,了解更多研究内容。

来源:机器之心内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯