机器人通过强化学习,可以实现像人一样的平衡控制

晓风侃科技

发布时间:18-09-2614:50

此前爱丁堡大学的研究人员开发了一种基于深度强化学习的分层框架,可以获得各种人形平衡控制策略。他们的框架预先发布在arXiv上并在2017年人形机器人国际会议上发表了论文。论文中讲到,机器人可以实现比传统控制器更好的平衡行为。

在人类行为当中,当人进行站立或行走时,人天生可以有效的使用各种技巧来进行控制机体,来帮助他们保持平衡。这些包括脚趾的倾斜和脚跟的滚动,这可以产生更好的走路间隙。而通过复制人类的行为习惯可以极大的改善机器人的运动能力。

目前爱丁堡大学的机器人研究人员表示,他们的研究重点是使用深度RL来解决人形机器人的动态运动。在过去,运动主要是使用传统的分析方法,也就是基于模型完成的,但是现在如果要加入人形态的机制,那么机器人就需要更高的计算处理能力。

目前需要开发比传统工程更有效的特定的控制器,这样在机器人的使用过程中,就可以减少一部分人力和相应的手动调整。使用RL的另外一个优点就是让机器人的计算可以离线处理,从而使得这种人形机器人的在线性能更快。

而鉴于越来越强大的深度RL算法,越来越多的研究开始使用深度RL来解决控制问题。通过使用深度强化学习来获得更加多样化的控制策略。

目前研究人员研发出来的框架,使用深度RL来达到机器高层控制策略。这些策略不断接收机器人状态的反馈,从而以较低的频率实现所需要的关节调整角度。

现在研发出来的控制器可以有较高的控制频率,来保证机器人稳定的关节运动。通过高级神经网络计算出来所需要的关节角度,接着将信号传输到机器人的关节电机当中执行相关的策略。

目前,研究人员已经测试了他们的研究成果,并且取得了不错的结果。他们从中还发现,将人类知识从控制工程方法转移到RL算法的奖励设计,可以实现人类的平衡控制策略。

此外,随着RL算法进行了反复的实验,目前已经较此前得到了巨大的改进,在碰到新的外界环境时,机器人可以在不需要人工干预的情况下做出合理的反馈。

深度强化学习可以成为一种强大的工具,可以研发出来性能较强的机器平衡控制器,目前这套深度强化学习算法能够学习人类的行为,例如倾斜脚趾或脚跟,来控制自身的平衡,这是目前大多数机械功能无法做到的。

目前,爱丁堡大学的研究人员正在致力于扩展他们的研究,在三维模拟中将RL应用于全身Valkyrie机器人。这项新的研究如果取得成功,将会使得未来的机器人能够在进行其他类似于人类的运动中更好的掌握平衡。

有想法的小伙伴可以在下方的评论区留言并分享给身边的朋友,最后记得关注我哦。

返回顶部