基于几何特征与深度数据的三维人脸识别

摘要：提出一种基于三维点云数据多特征融合的人脸识别方法。利用深度信息提取人脸中分轮廓线和鼻尖横切轮廓线；采用曲率分析的方法定位出人脸关键点，针对鼻子等人脸刚性区域，选取并计算了4类（包括曲率、距离、体积和角度）共13维的特征向量作为三维几何特征。深度图特征采用结合LBP与Fisherface的方法进行提取与识别。在3DFACE-XMU和ZJU-3DFED数据库上比较了该方法与PCA、LBP等单一方法的识别性能，识别效果有比较明显的提升。

关键词：三维人脸识别；几何特征；深度图像；LBP算子；FisherFace

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）08-1864-05

1 概述

基于二维图像的人脸识别算法经过半个多世纪的发展，已经取得了一定的研究成果。随着LBP[1]和Gabor[2]等算子的引入，以及子空间方法在人脸识别上的应用，人脸识别进入高速发展的时期。然而研究表明[3]，受限于所采用的数据形式，二维人脸识别方法不可避免的受到环境（如光照，背景等）和人脸本身（如姿态，表情等）等因素的影响。因此本课题组赖海滨[4]、刘丹华[5]通过双目立体视觉技术获得了具有良好表征能力的人脸三维点云数据。该文在此基础上研究了基于点云的三维人脸识别技术。分别研究了基于几何特征以及基于深度图的三维人脸识别。

该文计算几何特征主要选取人脸的中分轮廓线、鼻尖横切轮廓线作为研究对象。人脸的中分轮廓线上包括了前额、鼻子、嘴巴和下巴的缩影，呈现出了人脸中最突出的各个器官的轮廓。鼻尖横切轮廓线上包含了鼻翼点和鼻尖点的信息，能够有效地表达鼻子宽度、鼻尖鼻翼所成角度等信息。该文在人脸中分轮廓线和鼻尖横切轮廓线上定位了十三个特征点并根据这些特征点之间的关系计算出几何特征。

该文采用LBP算子提取人脸深度图的纹理特征。利用分块的思想，将人脸均匀分成不同的区块，提取每个区块各自的LBP直方图特征，所有区块的直方图拼接以后得到空间增强直方图。再采用Fisherface的思想对所提取的LBP直方图构建最佳投影线性子空间，得到降维后的深度图特征向量。在识别阶段，采用最近邻分类器来计算测试样本与训练样本的相似度。

2 三维几何特征提取

2.1 轮廓线提取及特征点定位

该文采用3DFACE-XMU和ZJU-3DFED数据库进行实验。在三维点云数据上提取几何特征。选取人脸宽度方向（正方向为水平向右）为X轴，人脸长度方向（正方向竖直向上）为Y轴，Z轴为人脸深度方向（正方向垂直XY平面向外）。根据所选定的三维坐标系和网格控制顶点的先验知识可知，在全部点云坐标中，深度值局部最大的点，可能是额头上最突出的点、鼻尖点、嘴部最突出的点和下巴最突出的点。因此在XOY平面上的中心区域寻找深度值最大的点作为鼻尖点。再如图1所示，提取人脸点云与经鼻尖点的YOZ平面的交集作为中分轮廓线；提取人脸点云与经鼻尖点的XOZ平面的交集作为鼻尖横切轮廓线。

图2 轮廓线上的候选点和特征点定位

2.2 几何特征计算

根据轮廓线上提取出的特征点之间的几何关系计算出人脸的几何特征。鼻子是脸部最显著的器官之一[6]，人脸的形状常受到表情的影响而发生扭曲形变，鼻形则具有在不同的表情下仍保持相对稳定的刚性特征。为了增强对表情变化的鲁棒性，该文针对鼻子刚性区域提取了部分特征。在两条轮廓线上总共提取了4类（体积、距离、角度、曲率）共13维的几何特征，具体特征如下：

（1） 体积特征：鼻子体积V

（2） 距离特征：鼻子高度H

（3） 角度特征：眉间、鼻根、鼻尖构成的角度P1；鼻根、鼻尖、鼻下构成的角度P2；鼻尖、左鼻翼点、右鼻翼点构成的角度P3

（4） 曲率特征：

C1：中分轮廓线上额头点到嘴唇上点的平均曲率；

C2：中分轮廓线上嘴唇下点到下颌点的平均曲率；

C3：鼻尖横切轮廓线平均曲率；

C4：鼻尖横切轮廓线上左鼻翼点曲率；

C5：鼻尖点横向曲率值；

C6：鼻尖点纵向曲率值；

C7：中分轮廓线上鼻根点曲率；

C8：中分轮廓线上鼻下点曲率；

3 深度图特征提取

3.2 Fisherface方法

Fisher所提出的LDA方法的主要目标是找出一个最佳的投影方向，使得不同类别的投影向量尽量分开，同一类别的尽量聚集。该方法能够提供反应不同图像类别之间差异性的特征空间，所以应用在图像识别中经常可以得到比PCA更好的效果。

在类别数为c，样本数为N的人脸识别问题中，类内离散度矩阵的秩最多为N-c，训练样本总数N通常比人脸图像的特征维数小得多，因此类内离散度矩阵通常是奇异的，导致LDA求解最佳平面的过程无法进行。这就是所谓的“SSS”问题（Small Sample Size Problem）。

目前已有几种解决SSS问题的方法，其中以结合PCA与LDA的Fisherface方法较为常用。

3.3 融合策略

两个数据库上的识别结果都显示：用欧氏距离作为LBP相似性度量的效果并不好。Fisherface和LBP_Fisher方法都获得了比LBP更优秀的识别率。LBP_Fisher方法相比较Fisherface并没有明显的识别率提升。

这是因为LBP算子提取出的LBPHS是直方图特征，不宜采用欧式距离、余弦相似度等相似性度量方法。因此在深度图上直接用LBPHS进行识别效果不佳。而LBP_Fisher是在提取出LBPHS之后再利用Fisherface优秀的鉴别能力进行分类。因此它能提高LBP的识别率。

4 实验结果

4.1 基于几何特征的识别实验

实验结果显示在ZJU-3DFED的识别率要比3DFACE-XMU的识别率高。这是由于ZJU-3DFED的数据采用3D MEGA Capturor DF采集得到，噪声比较少，相对比较平滑，特征点定位错误也比较少。而3DFACE-XMU的数据采用三维重建技术得到，较多的噪声导致了几何特征获取不准确，识别率下降了很多。

4.2 基于深度特征的识别实验

在两个数据库的算法对比结果中，采用LBP_Fisher与Fisherface决策级加权融合的方法均高于PCA和Gabor方法以及单LBP和单Fisherface方法。

5 结束语

本文在三维人脸点云数据上准确提取4类（包括曲率、距离、体积和角度）共13维的特征向量作为三维几何特征，在采样良好的ZJU-3DFED数据上具有较高的识别率。在深度图上，采用LBP_Fisher与Fisherface决策级加权融合的方法进行识别，对单LBP和Fisherface算法的识别率有显著的提升。

参考文献：

[1] AHONEN T，HADID A，PIETIK INEN M.Face recognition with local binary patterns[J].Computer Vision-ECCV 2004，2004：469-481.

[2] LIU D H，LAM K M，SHEN L S.Optimal sampling of Gabor features for face recognition[J].Pattern Recognition Letters，2004，25（2）：267-276.

[3] Zhao W，Chellappa R，Phillips P J，et al.Face recognition： a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[4] 赖海滨.基于双目立体视觉的人脸点云获取及识别研究[D].厦门：厦门大学，2011.

[5] 刘丹华.三维人脸数据获取及识别技术研究[D].厦门：厦门大学，2012.

[6] 韩松，潘纲，王跃明，吴朝晖.三维鼻形： 一种新的生物特征识别模式[J].计算机辅助设计与图形学学报，2008，20（1）：38-42.

[7] 李庆敏.多特征融合的三维人脸识别技术研究[D].厦门：厦门大学，2010.

[8] 吴众山.基于B样条的三维人脸曲面生成及特征提取研究[D].厦门：厦门大学，2008.

[9] 叶剑华，刘正光.基于LBP和Fisherfaces的多模态人脸识别[J].计算机工程，2009，35（11）：193-195.