Deep3DFly设计飞行类机器人的深度学习方法
“只是想想苍蝇能做什么,” EPFL脑思维研究所的实验室Pavan Ramdya教授和EPFL计算机科学学院的Pascal Fua教授的实验室领导了这项研究。“苍蝇可以爬过轮式机器人无法做到的地形。”
蝇并不完全对人类具有吸引力。我们正确地将他们与日常生活中令人垂涎的经历联系在一起。但是,有一条出乎意料的救赎之路:机器人。事实证明,苍蝇具有某些特性和能力,可以为机器人系统的新设计提供依据。
拉姆迪亚说:“与大多数脊椎动物不同,苍蝇几乎可以爬任何地形。”“它们可以粘在墙壁和天花板上,因为它们的腿尖上有粘合垫和爪子。这使它们基本上可以移动到任何地方。这也很有趣,因为如果您可以将其放在任何表面上,都可以通过等待来管理能量消耗在适当的时候采取行动。”
正是这种提取控制飞行行为的原理的构想为机器人的设计提供了动力,从而推动了DeepFly3D的发展,DeepFly3D是果蝇果蝇(Drosophila melanogaster)(一种几乎在整个生物学中普遍使用的模型生物)的运动捕捉系统的开发。
在拉姆迪亚(Ramdya)的实验装置中,苍蝇在微小的漂浮球上行走,就像微型跑步机一样,而七个摄像头记录了它的每一次运动。苍蝇的顶侧被粘在一个固定的舞台上,这样当它在球上行走时它始终保持在原位。然而,苍蝇“相信”它正在自由运动。
然后,收集的相机图像由DeepFly3D处理,该软件是由SemihGünel开发的一种深度学习软件,该博士生与Ramdya和Fua的实验室一起工作。拉姆迪亚说:“这是一个必要的,跨学科的合作和变革的典范。”“通过利用计算机科学和神经科学,我们解决了长期的挑战。”
DeepFly3D的特殊之处在于,它可以推断苍蝇(甚至其他动物)的3D姿态,这意味着它可以以前所未有的分辨率自动预测并进行行为测量,以用于各种生物学应用。该软件无需手动校准,它使用相机图像自动检测并纠正在计算飞行姿势时所犯的任何错误。最后,它还使用主动学习来提高自己的表现。
DeepFly3D开辟了一种方法,可以在三个维度上高效,准确地对果蝇的运动,姿势和关节角度建模。这可能会启发一种自动建模其他生物中3D姿势的标准方法。
拉姆迪亚说:“果蝇作为模型有机体,很好地平衡了可处理性和复杂性。”“如果我们了解它是如何工作的,我们会对机器人技术和医学产生重要影响,也许最重要的是,我们可以在相对较短的时间内获得这些见解。”