图像透视特征提取方法及其在无人机视觉导航中的应用

摘 要： 近年来，图像透视特征在无人机视觉导航中应用日益广泛，因此结合近年来视觉导航技术的发展状况，分析了图像透视特征在无人机视觉导航领域中的重要作用。同时，还详细介绍了图像透视特征的提取方法，以及图像透视特征提取方法在无人机视觉导航技术中的应用，如飞行器姿态角估计，高度估计以及相对位姿估计等。

关键词： 透视特征； 无人机导航； 灭点； 透视变换

中图分类号： TN919?34 文献标识码： A 文章编号： 1004?373X（2014）02?0016?05

0 引 言

无人机在监视、巡逻、搜索、救援、航拍、航测等领域具有广泛的应用前景。以前最常用的无人机导航技术主要有惯性导航系统（Inertial Navigation System，INS）和全球定位系统（Global Position System，GPS）。然而这两种系统都存在明显的缺陷，如惯性导航系统在导航过程中存在累计误差，对初始值过于敏感[1]，而全球定位系统并非在任何情况下都能够获取，且其精度往往满足不了无人机导航的需要[1]。

近年来，视觉导航方法由于其自主性、可靠性，以及设备低重量、小尺寸、廉价等特点越来越成为导航策略领域的研究热点，并且在无人飞行器（Unmanned Air Vehicles，UAV）上得到了广泛应用。视觉导航通常指利用计算机模拟人的视觉功能，提取客观事物图像中的有价值信息并进行识别和理解，从而获得载体相关导航参数的导航技术[2]。视觉导航技术主要包括图像处理、计算机视觉、模式识别和信息融合等，其最早应用于地面机器人的障碍规避和路径规划，之后便逐渐广泛应用于空中机器人导航。而图像的透视特征作为一类典型的图像特征，在视觉导航技术中具有十分广阔的应用前景。因此本文针对图像透视特征提取方法及其无人机视觉导航中的应用进行研究和总结，以供本领域研究工作者参考。

1 图像透视特征提取方法

能够应用于无人机视觉导航的图像透视特征提取方法有很多，最常见的是对灭点的多种提取方法以及通过透视变换对图像信息进行提取等。

1.1 灭点的提取

在理想情况下，用针孔相机拍摄平行线时，若图像中与这些平行线相对应的直线相交于一点，那么这个交叉点就被称为灭点（Vanishing Point），这个点有时候是位于无穷远的。一个平面内的灭点所决定的直线被称为消失线（Vanishing Line）。图1展示了一个立方体的三个灭点和消失线，其中一个灭点位于无穷远处[3]。

图1 立方体的三个消失点和消失线

Straforini等人提出了一种灭点提取方法，其主要思想是用有界并且已分区的极坐标空间中的点来表示线段，并且将极坐标空间中相同分区中的线段归于一类[4]。然而这种方法忽略了线段参数的精度问题，且会受到相机与被拍摄物体的相对位置的局限，并且极坐标空间的分区要依赖于相机与被拍摄物体间相对角度。

目前最常见的灭点提取方法是基于Hough变换（Hough Transform，HT）[5]的提取方法。Hough变换是利用图像的全局特性将源图像上的点映射到用于累加的参数空间，从而对已知解析式曲线进行识别的方法。最简单的Hough变换是对直线进行识别，通过Hough变换可以把对图像空间中的直线检测转换为对参数空间中的点的检测，即点?线对偶。另一种通过Hough变换求直线的基本思想是点?正弦曲线对偶，其原理与点?线对偶相似，只是用极坐标描述直线使图像空间中的点于参数空间中的正弦曲线相对应，从而避免了点?线对偶在图像空间的直线斜率无穷大时累加器尺寸过大的弊端。为了解决Hough变换运算量大的问题同时改善Hough变换的实时探测性能，Leandro A.F.等人针对实时直线探测进行了Hough变换的改进[6]，J. Matas等人将一种改进的Hough变换法（Progressive Probabilistic Hough Transform，PPHT）用于机器人的直线探测[7]。当利用Hough变换或其改进方法得到图像空间直线后，即可通过直线的坐标求出直线的交叉点，即灭点的坐标。

对于平面内线段较多的情况，人们最常使用另一种基于Hough变换提取灭点的方法[8]，该方法是将参数空间置于一个高斯球体上，此时与图像中直线相对应的平面和球体相交并且使球体中心与投影中心重合，则灭点就是大圆的交点，如图2所示[9]。

L. Quan等人曾对上述方法进行了改进，他们采用分级的Hough变换方式在室内进行灭点的探测[9]。而Magee等人则基于上述方法，将所有线段都投影到高斯球体上来增加判断的准确性，但是此方法使计算量大大增加[10]。为了减小计算的复杂度，Brillault建立了一个线段的不确定性模型[11]，而Tuytelarrs等人是通过将线段的参数映射到有界的Hough空间来减少计算量[12]。此外，Shufelt等人基于上述方法研究了另外两种关于提取灭点的方法[13?14]。一种是整合相机方位和成像物体几何形状的先验知识，另一种则是用边缘误差建模，从而对线段的探测精度和长度进行分析。

近些年来，人们又提出了一些新的灭点探测方法，如Andres Almansa等人提出了一种基于Helmoltz原则的方法[15]，该方法不需要先验知识，同时能保证很高的准确性， 不过此方法需要牺牲较大的计算量。

针对灭点的检测，Faraz M. Mirzaei等人使用了随机抽样一致性算法（RANdom Sample Consensus，RANSAC）[16]，而Wolfgang Forstner加入了MLESAC估计法并且提出了一种对点、线的齐次坐标和旋转的不确定度的最小表示，从而避免出现奇异矩阵[17?18]。

对于现有的灭点检测技术的内部缺陷，Jean?Charles Bazin等人使用了基于区间分析理论（Interval Analysis Theroy）的分支定界（branch?and bound）程序[19]。另外，Jean?Philippe Tardif提出了一种基于J?linkage的灭点检测算法，这种方法既不需要迭代也不依赖于对空间内灭点的统计，是一种较新的方法[20]。

1.2 图像透视投影及透视变换

透视投影[21]是计算机图像学中一种基本的投影方式，是在二维平面上将三维感官体现出来，因此具有和人眼类似的视觉体验。

基本的透视投影模型由视点E和视平面P构成，如图3所示，对世界中的任一点，构造一条起点为视点E并经过该点的射线，射线与视平面的交点即是该任意点的在平面P上的透视点。将这一系列透视点排列到视平面上即产生了三维世界的透视图。

视点E与视平面之间的射线组成的可视空间可以视为一无限大椎体，但因人类实际视野范围有限，往往取一特定范围使其有限大。如图4所示，该有限棱台被称为视椎体，其所包围区域是可视区域，其余为非可视区域。

定义透视投影模型——视点E位于原点，视平面垂直于z轴，且四边分别平行于x轴和y轴。其中视平面距视点的距离为n，三维物体上的实际点坐标设为（x，y，z），其在视平面的透视投影点坐标为（xp，yp，zp），如图5所示。

从实际点和投影点分别做z轴的垂线并在x?z平面上投影，则有：

在x?z平面上投影：

[xPn=xz]

在y?z平面上投影：

[yPn=yz]

解得：

[xP=x·nz， yP=y·nz， zP=n] （1）

式（1）便是透视投影的变换公式，由于投影点始终位于视平面，所以zp恒等于n，实际计算的时候可以不考虑zp。但当投影平面为凸面或凹面时，zp不恒等于n，此时投影图形会产生违背人类视觉的形变，需另作考虑。

根据透视投影原理，这里希望获得一个与图3中P平面相平行的平面上的图像，即一个观测者在对事物进行垂直观测时所获图像。但实际中，特别在无人机的视觉导航中，摄像设备往往不能垂直观测该平面，而这种情况下所得到的视平面上的待观测目标是扭曲的，不利于导航和识别。因此需要对直接获取的视平面图像进行透视变换以获得更为理想的图像。

透视变换的原理十分简单，其实质是将一个嵌入在三维空间的二维平面上的映射点映射到另一个不同的二维空间。为了使所获扭曲图像恢复原本的形状，需要给这些二维平面的点额外增加一维，即给二维空间引入z维，并将z值设为1，之后将该空间再投影到输出的二维空间，其透视变换公式为：

[x′=a11x+a12x+a13a31x+a32x+a33 ； y′=a21x+a22x+a23a31x+a32x+a33] （2）

1.3 图像透视特征提取方法在无人机视觉导航中的应用

无人机视觉导航技术是利用计算机视觉和图像处理等方法从已获图像中提取无人机的导航参数以便实现自主导航，其主要提取的无人机导航参数包括姿态、位置、速度等[3]。由于图像透视特征的提取方法应用于速度参数提取的方面较少，因此本文着重从飞行器姿态与位置相关参数提取的角度介绍图像透视特征提取方法在无人机视觉导航中的应用。

（1） 姿态角估计

姿态角是飞行器飞行姿态的重要参数，可分为俯仰角、滚动角、偏航角等。俯仰角指机体纵轴与水平面的夹角，在飞机起降过程的导航中尤为重要；滚动角指机体横轴与水平面的夹角，对飞行器的平稳和方向调整十分重要；偏航角指机体纵轴在水平面上的投影与地面坐标系x轴的夹角，用于检测飞机的飞行方向。

滚动角提取最常用的视觉导航方法是直接利用提取的地平线进行估计[22]，偏航角主要根据分析“T”形等特殊形状的人工标志进行测算[23]。但俯仰角无法像前两者那样在由摄像机获取的图像上直观地获取，因此需要对其进行间接提取。下面主要从灭点的角度简述无人机俯仰角的估计方法。

在此方法中，利用灭线的特点可求得飞行器位姿的关键参数。所谓灭线即指平行直线的所有灭点所在的直线。因此可以在一刚性支架两端分别固定一架摄像机，同时使其面向同一场景且光轴平行，从而获取灭线的位置。以飞机着陆为例，设飞行器相对着陆点的俯仰角为θ，飞行器与地面相对高度为H，摄像机坐标系为XcYcZc，世界坐标系为XwYwZw，摄像机光心为FOVC，摄像机平移方向在图像中的膨胀中心为FOE，则根据图6所示的几何关系可得到灭线和灭点的位置[24]。

图6 飞行器着陆模型

当摄像机预先标定时，利用飞行器着陆模型图上灭点、光心、膨胀中心三个参数即可求得俯仰角θ，公式如下：

[θ=arctanLbfP=arctanLffP=arctanfP（LP-Lf）f2b+LbLf] （3）

式中：Lf为FOVC到FOE距离；Lh为FOVC到灭点距离；fp为XcYcZc坐标系的原点到FOVC的距离，即摄像机焦距[24] 。

（2） 高度估计

由立体视觉原理可知，若两个摄像机间的基线长度、摄像机焦距以及目标特征点在图6中的视差已知，则可通过式（4）计算得到目标特征点相对于摄像机深度yc的信息。

[yC=bfPD] （4）

式中：b为两摄像机间的基线长度；fp为摄像机焦距；D为双目视差。

若假设摄像机与飞行器位置重合，则根据式（3）所得俯仰角θ，运用三维重建方法可近似求得摄像机相对地面的高度H如下所示：

[H=ycsinθ+zccosθ] （5）

式中zc为特征点到光心的距离[24]。

另一种关于图像透视特征的飞行器高度提取方法是将一个鱼眼相机结合一个透视相机进行高度估计[25]。与传统的基于特征匹配的立体视觉系统不同，这种方法是根据两幅图像的相同特征的对应对高度进行测量从而对地平面进行检测。

（3） 相对位姿估计

在相对位姿估计过程中，基于图像透视特征的视觉导航方法具有直观、精度高的特点，例如可以通过透视变换及其相关算法方法进行信息的采集和处理。

以飞行器与地标的相对位姿估计为例，通过图象矩与声纳传感器所获信息的结合即可估计出UAV与地标的相对位置信息[26]。此外，用基于单应性矩阵 （Homography）[27]分解的相对位姿估计算法[28]不仅能得到飞行器相对于地标的位置，还可以得到飞行器与地标间的三维姿态信息，因此单应性矩阵在视觉导行中的应用比图像矩更为广泛。例如Kanade T等人就用其实现了微小型无人直升机的位姿估计和导航控制[29]，任沁源等人同样将单应性矩阵应用于他们所提出的基于视觉信息的UAV位姿估计算法中[30]，从而获得无人机的位姿信息[31]。

2 展 望

无人机视觉导航技术由于其成本低、方法简便等特点在实际无人机导航中具有广泛的应用。其中关于灭点等图像透视特征的无人机自主导航方法更是在近几年得到了大量研究并有了很大进展。然而仅有图像透视特征视觉导航方法使无人机进行精确的自主导行是远远不够的，如对于运动目标的检测，需要采用光流法、背景差法、帧差法等进行实现。另外，视觉导航方法本身也并不能够全面地进行无人机导航。虽然视觉导航方法能构精确应用于简单的室内环境、有特殊地标的机场和空旷的外界环境，然而在应用于室外复杂环境时，视觉导航方法则会受到限制并且减少可信度。如在复杂环境中飞行过快时，无人机导航须要进行大量的算法处理同时保证较少的延时[1]，这是仅仅通过视觉导航方法很难达到的。因此需要运用相关的滤波方法和数据融合算法将视觉导航方法得到的信息与其他导航方法进行有效融合使无人机在室外复杂环境的导航精度提高。同时，还应当针对如何提高无人机视觉导航算法的速度，如何面对无人机自身模型的不确定性和外界的干扰等问题进行进一步的研究，使视觉导航方法在无人机导航中的应用更加广泛。

参考文献

[1] 吴显亮，石宗英，钟宜生.无人机视觉导航研究综述[J].系统仿真学报，2010，22（z1）：62?65.

[2] 王先敏，曾庆化，熊智，等.视觉导航技术的发展及其研究分析[J].信息与控制，2010，35（5）：609?613.

[3] ROTHER Carsten. A new approach to vanishing point detection in architectural environments [J]. Image and Vision Computing， 2002， 20（9/10）： 54?59.

[4] STRAFORINI M， COELHO C， CAMPANI M. Extraction of vanishing points from images of indoor and outdoor scenes [J]. Images and Vision Computing， 1993， 11： 91?99.

[5] BALLARD D H. Generalizing the hough transform to detect arbitrary shapes [J]. Pattern Recognition， 1981， 13（2）： 111?122.

[6] FERNANDEZ LA F， OLIVEIRA M M. Real?time line detection through an improved hough transform voting scheme [J]. Pattern Recognition， 2008， 41（1）： 299?314.

[7] MATAS J， GALAMBOS C， KITTLER J. Robust detection of lines using the progressive probabilistic hough transform [J]. Computer Vision and Image Understanding， 2000， 78（1）： 119?137.

[8] BARNARD S T. Interpreting perspective images [J]. Artificial Intelligence， 1983， 21（4）：435?462.

[9] QUAN L， MOHR R. Determining perspective structures using hierarchical hough transform [J]. Pattern Recognition， 1989， 9（4）： 279?286.

[10] MAGEE M J， AGGARWAL J K. Determining vanishing points from perspective images [J]. Computer Vision， Graphics and Image Processing， 1984， 26（2）： 222?231.

[11] BRILLAULT?O’MAHONY B. New method for vanishing point detection [J]. Computer Vision， Graphics， and Image Processing， 1991， 54（2）： 289?300.

[12] TUYTELAARS T， VAN GOOL L， PROESMANS M， et al. A cascaded hough transform as an aid in aerial image interpretation [C]// Proceedings of the 6th International Conference on Computer Vision. Bombay， India： ICCV， 1998： 67?72.

[13] SHUFELT J A. Exploiting photogrammetric methods for building extraction in aerial images [J]. International Archives of Photogrammetry and Remote Sensing， 1996， 331： 74?79.

[14] SHUFELT J A. Performance Evaluation and Analysis of Vanishing Point Detection Techniques [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（3）：282?288.

[15] ALMANSA A， DESOLNEUX A， VAMECH S. Vanishing point detection without any a priori information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003， 25（4）： 502?507.

[16] MIRZAEI F M， ROUMELIOTIS S I. Optimal estimation of vanishing points in a manhattan world [C]// Proceedings of 2011 International Conference on Computer Vision. Barcelona， Spain： ICCV， 2011： 2454?2461.

[17] FORSTNER Wolfgang. Optimal vanishing point detection and rotation estimation of single images from a legoland scene [C]// Proceedings of ISPRS Commission III Symp Photogramm Comput Vis Image Anal. [S.l.]： [s.n.]， 2010： 156?162.

[18] TORR P H S. MLESAC： a new robust estimator with application to estimating image geometry [J]. Computer Vision and Image Understanding， 2000， 78（1）： 2000?2016.

[19] MIRZAEI F M， ROUMELIOTIS S I. Globally optimal line clustering and vanishing point estimation in manhattan world [C]// Proceedings of 2011 IEEE International Conference on Computer Vision and Pattern Recognition. Barcelona： CVPR， 2012： 2454?2461.

[20] TARDIF J?P. Non?iterative approach for fast and accurate vanishing point detection [C]// Proceedings of 2009 IEEE 12th International Conference on Computer Vision. Kyoto： IEEE， 2009：1250?1257.

[21] 孙家广，杨长贵.LearningOpenCV[M].北京：清华大学出版社，1998.

[22] ETTINGER S M， NECHYBA M C， IFJU P G， et al. Vision?guided flight stability and control for micro air vehicles [J]. Advanced Robotics， 2003， 17（7）： 617?640.

[23] SHARP C S， SHAKERNIA O， SASTRY S S. A vision system for landing an unmanned aerial vehicle [C]// Proceedings of 2001 IEEE International Conference on Robotics and Automation. [S.l.]： IEEE， 2001， 2： 1720?1727.

[24] 潘翔，马德强，吴贻军，等.基于视觉着陆的无人机俯仰角与高度估计[J].浙江大学学报：工学版，2009（4）：692?696.

[25] EYNARD D， VASSEUR P， DEMONCEAUX C， et al. UAV altitude estimation by mixed stereoscopic vision [C]// Proceedings of 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. [S.l.]： IEEE， 2010： 646?651.

[26] SARIPALLI S， MONTGOMERY J F， SUKHATME G S. Vision?based autonomous landing of an unmanned aerial vehicle [C]// Proceedings of IEEE international conference on Robotics and automation. [S.l.]： IEEE， 2002， 3： 2799?2804.

[27] HARTLEY R， ZISSERMAN A. Multiple view geometry in computer vision [M]. Cambridge： [s.n.]， 2000.

[28] FAUGERAS O D， LUSTMAN F. Motion and structure from motion in a piecewise planar environment [J]. International Journal of Pattern Recognition and Artificial Intelligence， 1988， 2（03）： 485?508.

[29] KANADE T， AMIDI O， KE Q. Real?time and 3D vision for autonomous small and micro air vehicles [C]// Proceedings of 2004 CDC 43rd IEEE Conference on Decision and control. [S.l.]： IEEE， 2004， 2： 1655?1662.

[30] 任沁源，李平，韩波.基于视觉信息的微型无人直升机位姿估计[J].浙江大学学报：工学版，2009（1）：18?22.

[31] 谷雨.空中机器人视觉导航与控制若干问题研究[D].杭州：浙江大学，2009.