基于特征点邻域SIFT描述子的人脸识别

摘 要： 在人脸识别算法中，尺度不变的SIFT特征是人脸局部特征的重要描述方式之一。在传统SIFT方法中，由于特征点的坐标是根据高斯差分空间的局部极值点来确定的，造成特征点匹配困难。通过基于回归的局部二值特征对人脸进行校准，确定对人脸有意义的特征点位置。用SIFT特征描述子的不变特性描述人脸的局部特征，能够有效地提高识别速度以及识别率。对特征点进行区域加权，能够对人脸的姿态变化以及角度偏转有一定的鲁棒性。

关键词： 局部二值特征； 线性回归； 特征点； SIFT特征描述子

中图分类号： TN911.73?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2016）03?0023?04

Face recognition based on SIFT descriptor in feature point neighbourhood

LI Wenyang， CHEN Yun， HUA Jizhao

（College of Information Engineering， Yangzhou University， Yangzhou 225127， China）

Abstract： The scale invariant feature transform （SIFT） in face recognition algorithm is one of the important descriptive approaches of the face local features. In traditional SIFT method， because the coordinates of the feature points are determined according to the local extreme point of Gaussian difference space， which leads to difficult match of the feature point. The face is calibrated by local binary feature based on linear regression to determine the location of the feature point which is meaningful to the face. The face local feature is described by the invariant characteristic of SIFT feature descriptor， which can effectively improve the face recognition speed and recognition rate. The region weighing for feature point has certain robustness to the face posture change and face angle deflection.

Keywords： local binary feature； linear regression； feature point； SIFT feature descriptor

0 引 言

在网络信息高速发展的今天，如何快速准确地对人的身份信息进行识别成为一个急待解决的问题。作为生物特征之一的人脸识别为这一问题提供新的解决思路。人脸识别也因为其非接触式、采集设备简单等优点受到了广泛关注[1]。目前，人脸识别方法主要有基于Harris角点[2]、局部二值模式（LBP）、尺度不变特征（SIFT）等的人脸局部特征描述，以及基于线性判别式分析[3]（LDA）、神经网络、支持向量机[4]（SVM）的人脸全局特征描述。尽管这些方法对正面人脸的识别有较好的效果，但是当人脸存在姿态变换或者角度偏转时效果不尽人意。如何更好地解决这一问题已经成为提高人脸识别率的关键问题。

基于统计特征的识别方法由于训练样本的不确定性而存在差异；所以Lowe的尺度不变特征[5]（Scale Invariant Feature Transform，SIFT）的提出受到了广泛的关注。其征描述子具有旋转不变性和光照不变性，广泛用于描述人脸的局部特征[6]。SIFT特征的特征点是根据高斯差分空间（DoG）的局部极值点确定；由于注册人脸和待识别人脸图像的不同，容易导致特征点数目的不确定性。且特征点没有明显的物理意义，从而增加了特征点匹配的难度。因此，本文采用基于回归的局部二值特征方法进行人脸的校准，确定了与人脸几何特征相关的特征点，如面部轮廓、眼睛、鼻子、嘴等附近。考虑到人脸表情变化的区域主要集中在面部以及嘴部，因此对特征点进行区域加权。用特征点邻域内的SIFT特征描述子[7]表征人脸并组成特征向量，用于人脸的识别。

1 基于回归的LBF的人脸校准

基于早期的Kass等提出的Snake模型[8]，1995年Cootes等人提出了主动形状模型[9]（Active Shape Model，ASM）。此后Cootes等人在ASM算法的基础上提出了主动表观模型[10?11]（Active Appearance Model，AAM）的概念，与ASM不同的是AAM同时对形状和纹理信息进行分析。近年来基于回归的方法[12?13]被人们广泛关注，在此基础上任少卿等人提出的基于回归的局部二值特征（Local Binary Features，LBF）的人脸校准算法[14]，在计算机以及手机上获得良好的效果，受到了广泛的关注。

人脸校准是通过对初始特征点模型[S0]的逐步修正（每级的修正量为[ΔSt]）得到最终的模型。每级的模型增量为：

[ΔSt=WtΦtI，St-1] （1）

其中：[St-1]为上一级的特征点模型；[Φt]是一个映射矩阵，实现由图像[I]特征点模型到LBF的映射，[Φt]可以分解为一组独立的映射函数集[?t1，?t2，…，?tk，][k]为对应特征点的个数；[Wt]表示线性回归矩阵，实现由LBF到特征点模型增量的映射。

1.1 LBF映射矩阵[Φt]的学习

映射矩阵[?tk]的训练目标是使与真实特征点模型[Sti]的距离越小：

[ωtk，?tk=argmini=1πk?ΔSti-ωtk?tkIi，Sit-122] （2）

其中[πk?ΔSti] 表示训练样本[i]的第[k]个特征点的坐标偏移量。

特征点的LBF映射矩阵[?tk]是采用局部随机森林[12]方法得到的，实现了特征点邻域特征的提取。训练时采用特征点的局部邻域内像素，最大邻域的范围需要通过交叉验证得到，且随级联中级数的增加而收敛。使用像素差分特征训练树的分裂节点，训练结果使每个叶子节点为一个二维的偏移向量。最终的随机森林结果为所有输出叶子节点的和[15]。

1.2 线性回归矩阵[Wt]的学习

在上一步的训练中得到了LBF映射矩阵[?tk]和局部回归矩阵[ωtk]。随后对[?tk]进行连接组成每个特征点模型的LBF映射矩阵[Φt，]用来训练一个整体的线性回归矩阵[Wt，]线性回归的目标为：

[Wt=argmini=1ΔSti-WtΦtIi，Sit-122+λWt22] （3）

由于二值特征的维数很高且稀疏，需要使用双坐标下降法[16]处理这一问题。式（3）中的[λWt22]表示了这一正则化过程。

通过上述训练方法得到了人脸校正的系统，对选定的人脸区域进行校正，得到人脸校正的结果如图1所示。

2 特征点邻域的SIFT表征

2.1 SIFT描述子的生成

通过上述算法对人脸的校正，得到了对应人脸特征的特征点位置。在构造描述子时，仅特征点单个像素作为研究对象没有足够的信息，因此引入SIFT描述子采集特征点邻域内的信息。由于加入子区域内的统计特性，从而提高了对图像局部变形的适应能力。

[mx，y=Ix+1，y-Ix-1，y2+Ix，y+1-Ix，y-12]

（4）

[θ=arctanIx，y+1-Ix，y-1Ix+1，y-Ix-1，y] （5）

为了强化中心区域的影响，同时淡化边缘区域的影响，采用对幅值进行高斯加权：

[wx，y=mx，y×exp-x-xi2y-yi22δ22πδ2] （6）

从而提高了算法对几何变形的适应性，[δ]设为经验常数。

用直方图统计邻域像素的梯度方向权值，直方图的范围是[0°～360°，]其中每[10°]一个柱，总共36个柱。直方图的峰值为该特征点处邻域内像素梯度的主方向[θ]，即作为该特征点的方向。

为了保持特征的旋转不变性，将坐标轴旋转为特征点的主方向。旋转后新的坐标为：

[xy=cosθ-sinθsinθcos θ×xy] （7）

对每个子区域分成8个方向，统计权值直方图，16个子区域组成了128维特征向量。

[L=（l1，1，l1，2，…，l1，8，…，l16，1，l16，2，…，l16，8）] （8）

再继续将特征向量的长度进行归一化：

[li=wij=1128wj] （9）

则可以进一步去除光照变化的影响。最终得到了能够表征人脸特征的[k×128]维的特征向量。

把特征点按区域分为5个，眉毛，眼睛，嘴部，鼻子和面部，面部轮廓，对各个独立子区域的置信度进行统计，确定各个区域的权值比重。权值计算公式为：

[Wi=1（1-Ci）] （10）

2.2 特征匹配算法

在得到特征向量后，需要对特征向量进行相似性度量，本文选择了快速的直方图相交法，两个直方图的相似度表示为：

[ψ（l1i，l2i）=i=1Imin（l1i，l2i）] （11）

则两幅人脸的相似度表示为：

[S（L1，L2）=K=140u=116v=18ψ（L1K，u，v，L2K，u，v）] （12）

3 实验结果及分析

实验环境：CPU主频为1.80 GHz，双核四线程；操作系统Windows 8.1；算法通过Visual Studio 2010以及OpenCV244库实现。采用FERET人脸数据库的人脸图像进行实验，图像大小为382×256，人脸大小在[200×200]以上。每个人包含不同角度及表情的12个样本。选取300人作为训练样本得到阈值，200人作为观测样本进行识别率验证，同时通过随机交叉验证，保证实验的客观性。

首先，根据文中提到的方法，把特征点分成5个不同的区域。通过实验得到不同区域的置信度，表明不同区域对人脸区分的贡献情况，计算每个子区域应占的权值比重，如表1所示。

使用相同的FERET人脸数据库，在相同的实验环境下，选取了Gabor局部二值模式（LGBP）算法[17] 、SIFT算法、AAM+SIFT算法进行对比实验。如表2所示，相比于AAM+SIFT算法，本文采用的基于回归的LBF的人脸校准能够对特征点进行更加快速的定位，加快了特征提取的速度。相比于SIFT算法，由于本文算法只对对应的特征点进行对比，提高了匹配速度，从而提高了整体的识别速度。

由于通过人脸校准定位特征点，可以消除平面内人脸位移对识别率的影响。采用不同偏转角度的人脸进行实验，如表3所示，随着角度变化的增大，人脸算法的识别率都有所降低。相比LGBP算法与SIFT算法，本文算法对垂直平面的角度旋转也具有鲁棒性。

LGBP算法对人脸图像进行了多尺度方向的Gabor变换，然后再进行LBP的特征提取，使算法具有了对表情变化的鲁棒性。采用具有表情变化的人脸进行实验，如表4所示，由于采用对不同子区域进行加权，人脸的表情变化对本文算法的影响比LGBP算法小。

表4 表情变化识别率比较 %

[算法＼&LGBP＼&SIFT＼&AAM+SIFT＼&本文方法＼&识别率＼&86.2＼&82.6＼&83.3＼&92.1＼&]

4 结 语

人脸的校准工作定位了人脸几何特征的位置，为之后的人脸识别提供更加精准的人脸区域，对识别率的提高有着不可忽视的作用。人脸特征点定位算法的高效、快速，以及快速匹配算法的使用，提高了整体算法的识别速度。对特征点邻域的梯度描述，提取出了足以能够区分不同人脸的特征，通过对不同区域特征点的加权，提高了算法对姿态以及角度变化的鲁棒性。由于遮挡等问题对局部人脸识别算法的影响较大，下一步的工作可以通过基于局部特征描述的本文算法和基于整体的人脸分类算法相融合，从而提高整体的识别率。

参考文献

[1] 吴巾一，周德龙.人脸识别方法综述[J].计算机应用研究，2009（9）：3205?3209.

[2] HARRIS C. A combined corner and edge detector [C]// Procee?dings of the 4th Alvey Vision Conference. Manchester： [s.n.]， 1988， 3： 147?151.

[3] BELHUMEUR P， HESPANHA P， KRIEGMAN D， et al. Re?cognition using class specific linear projection [C]// Procee?dings of 2006 Conference on Pattern Analysis and Machine Intelligence. [S.l.]： IEEE， 1997： 711?720.

[4] KADYROVA N O， PAVLOVA L V. Statistical analysis of big data： an approach based on support vector machines for classification and regression problems [J]. Biophysics， 2014， 59（3）： 364?373.

[5] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91?110.

[6] BICEGO M， LAGORIO A， GROSSO E，et al. On the use of SIFT features for face authentication [C]// Proceedings of 2006 Conference on Computer Vision and Pattern Recognition Workshop. New York： IEEE， 2006： 35?41.

[7] 王永明，王贵锦.图像局部不变性特征与描述[M].北京：国防工业出版社，2010：130?135.

[8] KASS M， WITKIN A， TERZOPOULOS D. Snakes： active contour models [J]. International Journal of Computer Vision， 1988， 1（4）： 321?331.

[9] COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape models?their training and application [J]. Computer Vision and Image Understanding， 1995， 61（1）： 38?59.

[10] COOTES T F， EDWARDS G J， TAYLOR C J. Active appea?rance models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（6）： 681?688.

[11] CRISTINACCE D， COOTES T F. Feature detection and tra?cking with constrained local models [C]// Proceedings of the British Machine Vision Conference. Edinburgh： [s.n.]， 2006， 41： 929?938.

[12] GOOL L V. Real?time facial feature detection using conditional regression forests [C]// Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Rhode Island： IEEE， 2012： 2578?2585.

[13] DOLLAR P， WELINDER P， PERONA P. Cascaded pose regression [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 1078?1085.

[14] REN S， CAO X， WEI Y， et al. Face alignment at 3000 FPS via regressing local binary features [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1685?1692.

[15] CAO X D， WEI Y C， WEN F， et al. Face alignment by explicit shape regression [C]// Proceedings of 2012 Conference on Computer Vision and Pattern Recognition. Rhode Island： IEEE， 2012： 2887?2894.

[16] FAN R E， CHANG K W， HSIEH C J， et al. LIBLINEAR： a library for large linear classification [J]. Journal of Machine Learning Research， 2008， 9（12）： 1871?1874.

[17] ZHANG Wenchao， SHAN Shiguang， GAO Wen， et al. Local Gabor binary pattern histogram sequence （LGBPHS）： a novel non?statistical model for face representation and recognition [C]// Proceedings of the Tenth IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2005， 1： 786?791.