四足动物天生就具有敏捷和适应性强的动作能力，这使它们能够在各种地形上移动。在过去的几十年里，世界各地的机器人专家一直在尝试在四足机器人中有效地重现这些动作。

研究表明，通过强化学习训练的计算模型在实现四足机器人敏捷运动方面取得了特别有希望的结果。然而，这些模型通常是在模拟环境中训练的，当它们应用于现实环境中的真实机器人时，其性能有时会下降。

实现敏捷四足运动的替代方法是利用运动传感器和摄像机收集的动物运动镜头作为演示，用于训练控制器(即执行机器人运动的算法)。这种方法被称为“模仿学习”，它被发现能够在某些四足机器人中重现类似动物的动作。

中国腾讯机器人X的研究人员最近推出了一种新的分层框架，可以促进四足机器人执行类似动物的敏捷动作。该框架在《自然机器智能》发表的一篇论文中介绍，最初应用于名为MAX的四足机器人，取得了非常有希望的结果。

“人们已经做出了许多努力，希望通过经典控制器或强化学习方法实现四足机器人的敏捷运动，”韩雷、朱庆旭及其同事在论文中写道。“这些方法通常依赖于物理模型或手工制作的奖励来准确描述特定系统，而不是像动物那样依赖于广义的理解。我们提出了一个分层框架来构建原始、环境和战略层面的知识，这些知识对于有腿机器人来说都是可预先训练、可重复使用和可丰富。”

所有训练策略在模拟中的表现。图片来源：《自然机器智能》(2024 年)。DOI：10.1038/s42256-024-00861-3

研究人员提出的新框架涵盖了强化学习的三个阶段，每个阶段都侧重于提取不同层次的运动任务和机器人感知的知识。该团队在每个学习阶段的控制器分别称为原始运动控制器 (PMC)、环境原始运动控制器 (EPMC) 和战略环境原始运动控制器 (SEPMC)。