智能机器人视觉仿生技术研究综述

时间:2022-10-23 08:50:23

智能机器人视觉仿生技术研究综述

摘要:机器人视觉仿生技术是机器人视觉控制领域的新热点。本综述在详细分析了灵长类动物眼球运动的形式和特点基础上,对国内外应用生物眼球运动控制机理来构建仿生机器视觉的研究现状、存在的问题及未来发展趋势做了全面综述,并针对目前机器人视觉仿生面临的技术难题,提出了开展视觉仿生研究的新思路和新构想。

Abstract: Robot vision bionic technology is the new hot shot in robot vision control area. In this review, based on a detailed analysis of primate eye movement forms and characteristics, the domestic and international research status of building bionic vision with the biological eye movement control mechanism, the problems and future trends are reviewed comprehensively, and new ideas for the visual bionic research are proposed for the current technical problems of robot vision bionic.

关键词: 视觉仿生;仿生眼;机器人

Key words: bionic vision;bionic eye;robots

中图分类号:TP391 文献标识码:A 文章编号:1006-4311(2013)26-0195-02

0 引言

智能机器人是指:具有感知、识别、推理和决策能力,并且能独立执行任务的机器人。感知和识别技术是智能机器人最为关键的技术。研究最多的是基于视觉传感器的感知技术。比如美国波士顿动力公司研制的Big-Dog、Alpha-Dog、Little-Dog等系列四足机器人,采用立体视觉作为对环境进行识别和感知。意大利IIT大学研制的HyQ[2]机器人能够在复杂地形条件下高速移动,都不同程度地利用视觉实现感知。尽管如此还是满足不了人们对智能“双眼”的追求,假如能给智能机器人配备一双智能双眼,使其能像人类一样感知和获取环境信息、快速准确地切换视眼和跟踪目标,是人类对智能机器人梦寐以求的愿望。为此,人们采用多种基于计算机视觉的方法和手段来构建初步具备“视觉”功能的视觉系统。但目前智能机器人“眼睛”的功能还是比较低级,特别是在双目协调、以及对突然变化或事先未知的运动目标的跟踪、大视野与精确跟踪之间的矛盾以及由于震动引起的视线偏离补偿等方面的问题到目前都没得到很好的解决。近年来,视觉仿生成为前沿交叉学科的研究热点。

由于生物视觉经过千百万年的进化已具有极其发达和完善的内外环境适应能力。根据模拟生物视觉不同的功能表现及不同的应用场合,视觉仿生的研究可归纳为两大方面:一是从视觉感知、认知的角度进行研究;二是从眼球运动、视线控制的角度进行研究。前者国内外都有大量的研究方向和成果,主要研究视觉感知机制模型、信息特征提取和处理机制以及在复杂场景中目标搜索等。而后者是根据人类和其它灵长类动物的眼球运动控制机理来构建智能机器人的“眼睛”,实现生物眼的多种优异功能。

1 人类眼球运动的形式及特点

1.1 扫射与平滑追踪运动

扫射是当双眼自由地看周围环境是,视线很快从一个注视点转向另一个注视点。其潜伏期一般为200~250m/s,速度约为400b/s。Young等最早建立了扫视采样模,输入输出分别为目标位置和眼球位置,Robinson修改了Young的模型,模拟大脑并行处理特性。当前眼位与目标位置之差经过脉冲发生器进入并行通路,经积分器后产生位置信号,与MLF直接通路共同作用于眼球运动装置,产生扫射运动。平滑运动与扫射不同,属于眼球运动速度的连续负反馈系统,两者发生的时间是独立的。当眼球追踪一个运动物体时所发生的运动,使视线平滑地跟踪目标。

1.2 反射性眼球运动

从驱动眼动的动力源来分的话,眼球运动有与注意有关的眼动(如saccades、smooth pursuit、vergence)和与头动相关的眼动(即反射性眼动如VOR 和 OKR)两类。2005 年,Merfeld和 Ramat 分析了利用仿生机器人 iCub robot 对两种常见的 VOR 模型进行了模拟实验,分析了小脑在自适应特性及图像稳定中的重要作用。2007年Ojima指出,生物眼球运动具有典型的自适应控制机制,能够根据环境变化立即做出相应的变化和适当的响应,受此启发,提出一种非线性耦合神经振荡器网络模型及空间-时间学习算法,获得了平滑追踪中指令信号与运动增益及相位滞后的关系,建立的平滑追踪VOR 复合模型,改善了目标跟踪特性。

1.3 注视转移中头眼协调运动

2009 年后,人们提出了头眼协调运动的最优控制方法,运用最优控制理论研究了头眼运动与注视转移的关系,提出头眼运动最小贡献力为准则的最优控制方法,并转化为求解两点边值问题的微分方程组,仿真结果印证了“头、眼分别受控制于不同的控制器”的结论。但该研究提出的模型不具备生物的自学习机能,在此基础上提出了一种自学习最优控制模型,在注视转移过程中自适应调整控制器参数,对于再现生物头眼协调特性更近了一步。通过分析视觉重定位中头、眼运动的实验数据,提出建立头眼协调运动模型还须考虑一些尚未解决的问题。进一步研究导致这些现象的神经机制,才能揭示各运动子系统之间相互协调的本质。

1.4 固视微动

人眼在注视静止目标时,眼球仍处于高频率无意识的振动之中,一旦振动停止,成像就会变得模糊,这种振动保证了图像的获取质量。人眼的微动机制启发人们去模拟眼球振动来改善图像质量。当人眼凝视静止物体时,眼球自身的震颤(固视微动)具有突出物体边缘的作用且包含深度信息。东京工业大学张晓琳先后建立了单眼和双眼的水平眼球微动控制系统的模型,使眼球微动模型可以用于机器人眼的设计制造和控制上,并在此基础上制作了一对具有与双眼微动控制系统模型相同的机器人眼实验模型。事实上,生物眼球运动在大多数情况下是包含上述多种运动成分的复合运动。此外,人们还研究了眼球运动系统中神经积分器的作用、眼球运动的脑干控制机理,眼球运动与感知,以及眼球-头颈的运动学和动力学特性等,仿生眼的研究在国外成为前沿研究热点。

2 仿生视觉面临的问题及对策

目前机器人眼的研究多是基于工学方法,利用左右摄像机获得目标图像分别进行处理,左右眼和头颈缺乏协调联动机制,在双目、头眼协调运动、视线偏离补偿、不确定目标追踪等方面存在诸多技术障碍,采用仿生技术是寻求解决这些问题的重要途径。

2.1 建立完善的仿生眼模型

基于国外生理学研究成果,采用工程仿生学和控制理论相结合的方法,将视觉控制生理模型转化为工程技术模型,实现生物视觉的优异性能,从根本上解决机器视觉面临的技术难题,是智能机器人研究的重要方向。目前文献中的仿生眼模型只模拟了人眼的一种或两种运动,且多为单眼或双眼一维水平运动。普遍采用扫视与平滑追踪分离的机制,难以同时实现多种眼球运动。进一步研究各种眼球运动之间的内部关联与神经机理,建立多自由度非线性仿生双眼运动模型,同时实现扫视、平滑追踪、异向运动和反射运动等多种眼球运动,尚需进行大量的研究。

2.2 引入生物神经控制机理

当进行大幅度视线转移时,机器人的关节冗余需要有效地协调头部和双目的运动。目前提出的头眼协调运动系统及学习算法多是基于水平方向的二维头眼系统,虽有学者提出3D头眼协调运动控制算法,但采用的是先双目聚焦,再转动头部,后做眼睛补偿的“分时”“分段”执行方法,并未真正实现头眼同时转向目标中的协调控制。目前3D头眼协调运动仍是一项有待突破的技术难关。从生物头眼协调运动中获取灵感,研究灵长类动物头、眼和身体协调组合完成视线转移的神经控制机理,设计双目头颈协调运动控制算法,解决机器人3D头眼协调控制问题不失为一条重要的研究途径。

2.3 研究人眼跟踪目标的机理

机器人“眼”的重要功能之一是视觉跟踪,目前常采用视觉伺服反馈控制的方法,但对于突然、快速变化以及行踪无常的目标,常出现目标丢失、跟踪失败的现象。人眼在跟踪变化无常的目标中表现出的非凡才能源于其视觉系统中眼球快速扫视和慢速平稳追随之间的协调配合和实时切换。深入研究人类眼球运动模式自动切换快速准确跟踪目标的神经生理机制,将视觉跟踪中扫视(saccade事件驱动)和平稳追随(smooth pursuit,速度连续驱动)模式的切换看作混杂系统的自适应最优控制问题加以研究,以期解决随意性运动目标跟踪的快速性和准确性问题。其中两种模式之间的最佳切换时机和预测算法是研究的关键技术。

2.4 模拟人类反射性眼球运动机理

机器人在颠簸路段行走或在复杂的非结构化环境中作业时,自身机体振动或姿态发生变化会引起较大的视线偏离。通常采用图像处理(特征提取、目标检测与匹配、空间位置计算等)的方法来调节伺服机械云台,但补偿范围小,图像稳定性差,尚无解决大视线偏离的办法。人眼具有很强的自适应和自调节功能,当头部和身体姿态发生变化或背景动态变化时,仍能清楚地注视和跟踪目标,缘于其前庭动眼反射(VOR)和视动反射(OKR)机能。研究人类反射性眼球运动机理,建立由基于视网膜滑动信息的反馈控制器和基于前庭输入的前馈控制器组成的自适应VOR-OKR模型,主动补偿由机器人姿态本体变化引起的视觉误差,解决机器人大范围视觉偏差补偿问题。

3 结论

机器人的视觉技术是机器人的共性技术,也是一项关键技术。仿生型机器人眼运动控制系统使机器人眼具备人眼的诸多特殊自然功能,将其投入机器人产业应用将开创仿生学在机器人技术领域崭新的应用前景。

参考文献:

[1]Erkelens CJ.A dual visual-local feedback model of the vergence eye movement system[J].Journal of Vision,2011,11(10):21:1-14.

[2]毛晓波.仿生机器眼运动系统建模与控制研究[D].郑州:郑州大学,2011.

[3]Robinson DA.Models of the saccadic eye control system[J].Kybernetik,1973,14(2):71-83.

上一篇:低比特率远程监控视频压缩编码方法 下一篇:中小型民营企业战略规划研究