基于双神经网络结构的发展型机器人3D抓取

摘要：手眼协调属于感觉运动的协调，是人认知能力的基础。这篇论文的目标是要模仿人类婴儿的发育过程来建立一个机器人系统，可以接近或者抓取物体。该文旨在应用发展模型中的“增量过程”，通过使用双神经网络在3D实验环境下来完成机器人抓取系统。这个机器人系统在全约束条件下开始发展，随着每个约束条件的成熟从而驱动双神经网络的训练，当所有的约束条件都释放，机器人系统就可以获得抓取能力。

关键词:手眼协调;发展型机器人;发育约束;神经网络;发展模型

中图分类号：TP393文献标识码：A文章编号：1009-3044(2012)12-2859-04

Developmental Robotic 3D Reaching Based on Double-Network Architecture

HU Lin1，CHAO Fei2

(1.Cognitive Science Department, Xiamen University, Xiamen 361005,China;2.Fujian Key Laboratory of the Brain-like Intelligent System(Xiamen University), Xiamen 361005 ,China)

Abstract: Reaching ability is a kind of human sensory motor coordination and is the foundation of human cognitive abilities. The objec? tive of this work is to imitate the developmental progress of human infant to create a robotic system which can reach or capture objects. The work proposes to employ a developmental model“incremental process”to implement such a robotic reaching system by using a dou? ble neural network system within 3D experimental environment. The robotic system starts to develop under fully constrained conditions, and the training of the double neural network is driven by each constraint has been saturated, when the all contained conditions have been overcome, the robotic system is able to own reaching ability. In addition, this paper delicately describes and discuss the experimental results. Key words: hand-eye coordination; developmental robot; developmental constraints; neural network; developmental model

机器人手眼协调是智能机器人的重要技能之一，也是自主机器人系统研究领域的重要组成部分和研究课题。机器人手眼协调已经有了广泛的应用，如车辆制造业，空间探索，食物包装等[1]。机器人手眼协调是从机器人视觉感知器到机器人动作执行器的一个映射。大多数传统的机器人手眼协调系统是由工程师进行标定的。但遗憾的是，这种方法有一个重要的限制，就是当系统有一个小的改变时这个系统必须重新标定[12]。

为了克服这个问题，提出了无标定的手眼协调。这种类型的机器人系统具有从训练数据中学习控制参数的能力；这样工程师的工作量就减少了，但是，机器人仅只能在很小一部分任务集上的训练，还不能学习那些可以应用到大量任务的通用策略上[2]。因此，该文介绍了智能机器人的一个研究领域——具有自主能力的“发展型机器人”。发展型机器人与传统机器人的不同之处表现在：发展型机器人不但可以完成预定的任务，还可以在新环境中自我感知未知环境，从而有预知有目的地进行某项活动。

发展型机器人手眼协调是一个非常有趣的研究热点，近几年也提出了很多机器人手眼协调模型。但是，这些研究在不同因素上有一些限制：大多数的机器人手眼协调系统仅使用一个摄像机作为机器人视觉系统，在简单的二维环境下进行研究，这大大简化了系统的学习复杂性，如[8][9][10][11]；有些训练阶段没有模仿人类婴儿抓取物体的发育过程。该文的方法旨在扩展前面的这些工作，从人类婴儿发育的启发中来实现一个发展型机器人学习系统，采用双摄像头的视觉系统与一个机械手臂共同实现在3D环境下的抓取功能，其中着重强调发育约束是机器人从接近目标物体到抓取物体的一个关键驱动因素。这将在很大程度上拓展在机器人手眼协调上的研究，并将填补发展型机器人和发育心理学上的空白。

1相关研究工作

为了建立发展模型，很有必要理解人类婴儿的发育过程，并且在此过程中提取出重要的发育特征。通过模仿这些特征，建立一个计算学习系统来支持机器人学习抓取能力。人类发育过程中有各种各样的约束。感觉、行为和感知上的各种约束大大减小了输入信息和可能采取的行为的复杂性。在某项任务中当获得了一个高层次的能力时，一个新层次或者更高层次的任务和难度将随着新约束的出现而暴露出来[3][4]。因此，后面的几个小节将分别介绍基于婴儿发育的发展模型和发育约束。

1.1婴儿抓取动作的发育特征

婴儿抓取动作的发育过程展示了一个从粗糙的接近动作渐变到精细动作的过程。刚出生时，人类婴儿能进行视觉导向抓取，可以将手移动到视觉目标的方向。这个“抓取前”（Pre-reaching）动作并不能成功的接触到目标物体，婴儿更多的是在目标物体出现的一侧做出抓取动作。大约一周岁时，婴儿掌握了独立活动手指的能力，在目标物体接触的过程中对手部的调整使得对手部的观察变得很重要。因此，建立的机器人学习系统可以遵循下面的模式：抓取的动作可以包括抓取前动作和矫正动作两部分。

从神经处理模块的方面来解释人类婴儿抓取动作所产生的原因，人类婴儿的抓取动作是大脑皮层（Cerebral Cortex），基底神经节(Basal Ganglia)和小脑(Cerebellum)并行作用和控制的结果[5]。大概在15周的样子，基底神经节-大脑皮层的循环（Loop）会选择一个粗糙的动作，这个动作在执行过程中可能需要矫正。在成年人阶段，这些动作将会通过小脑的循环来改善。而小孩则由于小脑的发育不健全而限制这些动作的精准化。对于某些动作，随着不断的重复，基底神经节通过强化学习在选择采取哪一个动作上将会变得更加的优化。随着时间的推移，出生后的一年中，小脑的网络将变得更加成熟，大脑皮层的循环将逐渐接近指令上越来越有影响，而这些指令以前是由基地神经节发出的[7]。

通过回顾人类婴儿抓取发育过程的文献，受此启发而设计了用两个神经网络模拟学习婴儿抓取的经验来建立学习系统。这个双神经系统的设计将很好的反映婴儿抓取过程的两个发育阶段。

同时也注意到发育过程暗含着两个发育顺序：从运动模式上讲，首先是婴儿采取粗糙的抓取动作，然后发育到正确的动作。在大脑方面，先是基底神经节-大脑皮层的发育，再是小脑的发育。此外还需要建立一个发育过程来指导实验。这些内容在下一个小节中将进行讨论。

1.2发育和发育约束

发育心理学证实，释放发育过程中的约束条件可以让婴儿从一种技能学习到新的技能，甚至更复杂的能力。这是因为每一个发育过程都为下一个过程出现设立一个边界条件，如果所必需的能力缺失了，那么新的特殊的能力就不会呈现出来[6]。因此，特殊的约束条件在发育的过程中起着闸的作用。第一眼看起来不完整的感觉和运动系统的不成熟是有一定优势的，因为这有效的减轻了“信息过载”的问题，这些过载的信息很可能让婴儿不堪重负。

在新生儿的发育过程中可以看到很多感觉和运动约束的例子；例如，婴儿有着非常有限的视觉系统，管状视力（Hainline，1998）。尽管视野受限制，但是一开始的视觉约束会将婴儿的视力集中到一定的范围内，而这个范围恰好是母亲出现几率最大的范围。当婴儿获得母亲检测的能力以后，管状视力这个限制约束就被释放，注意力就会转移到其他一些视觉刺激上去。

因此，该文中的学习算法将提出两个限制条件来推动整个机器人学习系统的发展。

2实验系统的设计