基于小波变换和去噪模型的光照不变人脸识别

收稿日期:2011-02-28;修回日期:2011-04-22。

作者简介:曹雪（1975-）,女, 辽宁昌图人,博士研究生,主要研究方向：图像处理； 余立功（1980-）,男,江苏南京人,博士研究生,主要研究方向：图像处理； 杨静宇（1941-）,男,江苏南京人，教授，博士生导师,主要研究方向：模式识别、计算机视觉、智能机器人。

文章编号:1001-9081（2011）08-02126-04doi:10.3724/SP.J.1087.2011.02126

（南京理工大学 计算机科学与技术学院，南京210094）

（）

摘 要:针对正面光照人脸识别的难点，提出了一种应用小波变换和去噪模型的光照不变人脸识别算法。利用对图像的高频小波系数进行处理并运用去噪模型，提取光照人脸图像中的光照不变量，同时增强图像边缘特征，这有利于提取的光照不变量保持更多的人脸识别信息。在Yale B和CMU PIE人脸库上的实验结果表明，所提算法可以显著提高光照人脸图像的识别率。

关键词:光照不变量;人脸识别;小波变换;去噪模型

中图分类号: TP391.413文献标志码:A

Illumination invariant face recognition based on

wavelet transform and denoising model

CAO Xue, YU Li-gong, YANG Jing-yu

（School of Computer Science and Technology, Nanjing University of Science and Technology, Nanjing Jiangsu 210094, China）

Abstract: The recognition of frontal facial appearance with illumination is a difficult task for face recognition. In this paper, a novel illumination invariant extraction method was proposed to deal with the illumination problem based on wavelet transform and denoising model. The illumination invariant was extracted in wavelet domain by using wavelet-based denoising techniques. Through manipulating the high frequency wavelet coefficient combined with denoising model, the edge features of the illumination invariants were enhanced and more useful information was restored in illumination invariants, which could lead to an excellent face recognition performance. The experimental results on Yale face database B and CMU PIE face database show that satisfactory recognition rate can be achieved by the proposed method.

Key words: illumination invariant; face recognition; wavelet transform; denoising model

0 引言

人脸识别是目前生物特征识别中最受人们关注的一个分支，是计算机视觉与模式识别领域非常活跃的一个研究方向。通过对实际人脸识别系统的测试表明，姿态、表情和光照是影响人脸识别最重要的因素。其中，光照变化在人脸识别中更难于处理。同一个人的人脸图像在光照条件不同时，经过特征提取后的差异往往要大于不同的人在相同光照条件下的人脸图像的差异［1］。经典的评测也表明，即使是最好的商业系统，其性能也会在室外光照环境下急剧下降［2］。因此，光照变化是解决人脸识别问题时所需考虑的重要因素。

研究人员已经提出了很多种方法来处理人脸识别中的光照问题，这些方法大体上可以分为三类。

1）预处理和归一化的方法。比如：直方图法（Histogram Equalization， HE）、分块直方图法（Blocked Histogram Equalization, BHE）、自适应的直方图法（Adaptive Histogram Equalization, AHE）、区域直方图法（Region-based Histogram Equalization, RHE）和Gamma校正和对数变换等方法［3-4］。希望通过这些方法来达到光照的正规化，即将不同光照条件下的图像通过预处理和归一化的方法变换到同一光照条件下。但是这类方法过于简单，在实际应用中仍然难于处理不同的光照条件，也不能达到理想的识别效果。

2）3D光照模型。这种方法的主要思想是在一个子空间中表示不同光照引起的变化，并估计模型参数［5-6］。但是，这类方法计算量大，很难用在实时的人脸识别系统中。

3）提取光照不变量的方法。这些方法试图去提取光照不变量或者对光照不敏感的人脸特征［7-12］，比如边缘图、“Retinex”模型、商图像和自商图像等。

2005年，Shan等人提出基于小波的光照归一化（Wavelet based Illumination Normalization, WIN）算法［13］，即将原始图像经过小波变换之后的高频系数乘以一个大于1的系数，低频系数采用直方图的方法进行处理，然后经过小波逆变换得到新图像。2008年，Goh等人提出基于小波的光照不变预处理（Wavelet based Illumination Invariant Preprocessing, WIIP）方法［14］，该方法将对数域的原始图像经小波变换之后的低频系数置0，然后将置0的低频系数和未修改的高频系数经过小波逆变换得到新图像。这些算法简单，时间复杂度低，但是识别效果不是很理想。

本文提出一种新的应用小波变换和去噪模型的光照不变人脸识别算法，对对数域上的光照人脸图像运用小波变换和去噪模型来提取光照不变量。通过对小波高频系数的处理使光照不变量增强了边缘特征。同时，利用去噪模型使光照不变量保持更多的人脸识别信息提高人脸识别能力。在Yale B和CMU PIE人脸库上的实验表明，识别率优于WIN和WIIP方法。

1 基本原理

1.1 光照模型和对数变换

一般情况下，人们经常假设人脸的成像过程符合朗伯光照模型。根据朗伯光照模型，一幅灰度人脸图像可以认为是反射系数R（x,y）和光照分量L（x,y）的乘积，即光照条件下的图像I（x,y）［15］可以表达为：

I（x,y）R（x,y）L（x,y）（1）

对一幅光照图像来说，R是光照不变量，是用于识别的重要特征。但是，仅仅依靠上述信息，通过从给定的原始图像I（x,y）来得到R（x,y）和L（x,y）是一个不定方程求解问题。为了解决这个问题，将式（1）的两边分别取对数，则可以得到：

I′R′+L′（2）

其中：I′ln（I），R′ln（R）,L′ln（L）。把图像变换到对数域，将R与L之间积的关系转换成了R′与L′之间和的关系，从而便于处理。同时，由于对数变换的单调性，R′和L′具有与R和L同样的特性，即光照成分L在空间上是平滑的，在整个图像中变化缓慢，反映了图像的整体结构信息，对应于图像中的低频成分；反射系数R在相邻域内趋近于常量，但是在不同区域变化激烈，反映了图像的细节信息，对应于图像的高频成分。

1.2 小波变换

小波变换是20世纪80年代中期发展起来的一种时频分析方法，Mallat[16]将计算机视觉中的多分辨率分析（Multi-resolution Analysis， MRA）引入小波理论中，并提出金字塔算法。由于时频局部化和多分辨率的特性，使得小波理论在图像处理等相关领域得到广泛应用。

通过小波变换，图像被分解成许多具有不同空间分辨率、不同频率特性的子带图像［16］。这一思想可以简单地表述为：假定给定平方可积的二维离散信号（图像）{A0（m,n）}m,n∈l2，即将{A0（m,n）}m,n∈Z看作是0尺度空间的剩余尺度系数序列。令h和g分别为小波多分辨率分析获得的低通和高通滤波器，则通过下列二维图像的金字塔算法，可以将图像分解为尺度为j+1的低频图像Aj+1（m,n）和高频图像Hj+1（m,n）、Vj+1（m,n）、Dj+1（m,n）：

Aj+1（i,l）∑k,mh（k－2i）h（m－2l）Aj（k,m）

Hj+1（i,l）∑k,mg（k－2i）h（m－2l）Aj（k,m）

Vj+1（i,l）∑k,mh（k－2i）g（m－2l）Aj（k,m）

Dj+1（i,l）∑k,mg（k－2i）g（m－2l）Aj（k,m）

其中：Aj保持了原图像的低频分量,为原图像的平滑像；Hk（k1,2,…, j）保持了原图像的水平边缘细节；Vk（k1,2,…, j）保持了原图像的垂直边缘细节；Dk（k1,2,…, j）保持了原图像的斜边缘细节。

图像的二维小波分解可以用图1形象地表示，图像经过1级小波分解后，变成4个子图像，如图1（a）所示，其中LL1为低频分量，LH1、HL1和HH1分别为水平细节分量、垂直细节分量和对角细节分量。若需要对图像进行二级小波分解，则如图1（b）所示，即将LL1分量进一步分解为1个低频分量LL2和3个细节分量LH2、HL2和HH2。如果还需要对图像进行下一级分解，则重复上述步骤对LL2进行分解，依此类推。图1（c）显示了一幅真实图像经过一次小波分解后所得4个子图像。

图1 二维小波分解示意图

2 光照不变人脸识别

2.1 去噪模型

基于上述的叙述，可知在式（2）所表示的对数图像中，R′仍然是图像的高频部分，而L′仍然是图像的低频部分。本文算法感兴趣的是R′,因为它包含了用于人脸识别的关键特征。从获取图像的最佳逼近的角度，希望找到具有最小均方差误差的R′，即：

min R′2min （I′-L′）2（3）

式（3）恰好符合小波去噪模型。但是，采用小波去噪模型保留的是图像低频部分L′,因为图像高频部分代表噪声，而本文算法恰恰需要保留的是对光照不敏感的图像高频部分R′。因此,本文的算法是通过小波去噪模型得到L′,然后再利用式（2）得到光照不变量R′。

2.2 应用小波变换和去噪模型的光照不变人脸识别算法

利用小波变换和去噪模型，提取光照不变量R用于人脸识别，具体包括5个步骤：

1）首先对原始图像IRL进行对数变换得到I′（I′R′+L′），对I′进行小波变换得到低频系数矩阵LLi和每一分解层次的高频系数矩阵LHi,HLi和HHi；

2）对高频系数矩阵乘以一个缩放参数λ（0

3）利用未改动的低频系数LLi和新的高频系数LHi′,HLi ′和HHi ′，小波重构得到图像L′；

4）利用式（2），用I′-L′得到R′；

5）对R′进行指数变换，得到原始图像I的光照不变量R。

具体的算法步骤描述如图2所示。

图2 应用小波变换和去噪模型的光照不变人脸识别算法流程

2.3 参数选择

该算法的优点之一是只有一个缩放参数λ用来调节高频系数,进而增强图像的边缘特征，使得提取光照不变量R中有更多的识别信息。图像的边缘增强强调的是原始图像的细节，可以通过增大高频系数部分来增强图像的边缘特征。在本文提出的算法中，在重构L′的过程中采用缩放参数λ来减小高频系数，由式（2）可知，弱化L′中的边缘特征有利于增强R′中的边缘特征，进而使得光照不变量R包含更多的识别信息。因此，缩放参数λ是在0到1之间。

3 实验结果和分析

为了验证本文提出的应用小波变换和去噪模型的光照不变人脸识别算法的性能，分别在Yale B［17］和CMU PIE［18］人脸库上进行了实验，其中采用主元分析（Principal Component Analysis, PCA）方法进行特征提取和最小距离分类器进行分类。

对原始图像使用不同的小波滤波器和（或）分解层数会得到的不同的结果，但是本文主要不是研究小波分解，因此在Yale B和CMU PIE上的实验分别采用2层db1分解和1层db1分解。

3.1 Yale B人脸库上的实验结果和分析

Yale B人脸库是光照和姿态变化的典型人脸数据库,共包括10人,每人576种条件（9种姿态×（64种光照+1环境））下的共5760幅图像。由于本文只研究人脸的光照补偿问题，所以在实验中，只使用正面姿态下的人脸图像。同时人脸图像按照入射光线的角度不同分为5个子集：子集1为入射光线的角度≤12°；子集2为入射光线角度属于13°～25°；子集3为入射光线角度属于26°～50°；子集4为入射光线角度属于51°～77°；子集5为入射光线角度>77°。

图3是对Yale B人脸库中的同一个人的多幅图像采用本文算法处理后所得图像。

图3 Yale B人脸库中同一个人的部分人脸图像

在人脸识别实验中，将子集1用作训练集，其余子集用于测试。图4显示了随着参数λ的增大，子集2到子集5的识别率。从图中可以看出，随着λ值的逐渐增大，各个子集的识别率逐步增高，子集2在λ大于0.8后趋于稳定，识别率达到100%；子集3在λ大于0.2后趋于稳定，识别率达到100%；子集4在λ大于0.8后趋于稳定，识别率达到98.57%；子集5在λ大于0.6后趋于稳定，识别率达到95.3%。因此，对于不同光照的图像，只要选择的缩放参数λ在0.8～0.99，都能提取有效的光照不变量，进而达到理想的识别效果。

3.2 CMU PIE人脸库上的实验结果和分析

CMU PIE人脸库包括68个人的不同姿态、光照和表情的41368张图片，实验中应用了在不同光照下的正面人脸图像，每人21幅，共1428幅图像。图5是对CMU PIE库中的同一个人的多幅图像采用本文算法处理后所得图像。

图4 在Yale B人脸库中图像识别率随λ的变化曲线

为了进行比较，表1给出了几种方法在Yale B人脸库中的实验结果，其中包括本文方法、直接利用PCA方法、文献［13］中的WIN方法和文献［14］中的WIIP方法，每种方法都是以子集1作为训练集，子集2～5作为测试集。

表1 在Yale B人脸库上各种方法识别率比较

%

图5 CMU PIE人脸库中同一个人的人脸图像

在实验中，每个人随机选取3幅图像作为训练集，剩余图像作为测试集。为了获得可靠的实验结果，对于每一个参数λ值，都计算10次，然后求识别率的平均值。图6给出了该实验所获得的平均识别率和参数λ的关系。当λ>0.7后，识别率趋于平稳；当λ0.95，识别率达到最高值97.72。就像在Yale B库上的规律一样，随着缩放参数λ的增大，识别率不断上升，同样在0.8～0.99，都能达到理想的识别效果。

4 结语

本文提出一种新的应用小波变换和去噪模型的光照不变人脸识别算法，对对数域上的光照人脸图像运用小波变换和去噪模型来提取光照不变量。通过对小波高频系数的处理使光照不变量增强了边缘特征,同时，利用去噪模型使光照不变量保持更多的人脸识别信息，提高了人脸识别能力。在Yale B和CMU PIE上的实验结果表明，该算法能显著提高光照人脸图像的识别率。

图6 CMU PIE人脸库中图像识别率随λ的变化曲线

参考文献:

[1] ADINI Y, MOSES Y, ULLMAN S. Face recognition: The problem of compensating for changes illumination direction ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19（7）: 721-732.

［2］ PHILLIPS P J, GROTHER P, MECHEALS R J, et al. Face recognition vendor test 2002, evaluation report ［R］. Gaithersburg, Maryland: National Institute of Standards and Technology, 2003.

［3］ SAVVIDES M, KUMAR V. Illumination normalization using log-arithm transforms for face authentication ［C］// AVBPA'03: Proceedings of the 4th International Conference on Audio-and Video-based Biometric Person Authentication, LNCS 2688. Heidelberg: Springer-Verlag, 2003: 549-556.

［4］ XIE X, LAM K M. Face recognition under varying illumination based on a 2D face shape model ［J］. Pattern Recognition, 2005, 38（2）: 221-230.

［5］ GEORGHIADES A S, BELHUMEUR P N, JACOBS D W. From few to many: Illumination cone models for face recognition under variable illumination and pose ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23（6）: 643-660.

［6］ BASRI R, JACOBS D W. Lambertian reflectance and linear sub-spaces ［J］. IEEE Transactions on Pattern Analysis and Machine In-telligence, 2003, 25（2）: 218-233.

［7］ GAO Y S, LEUNG K H. Face recognition using line edge map ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24（6）: 764-779.

［8］ LIN K H, LAM K M, SIU W C. Spatially eigen-weighted Hausdorff distances for human face recognition ［J］. Pattern Recognition, 2003, 36（8）: 1827-1834.

［9］ BELHUMEUR P N, HESPANHA J P, KRIEGMAN D J. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19（7）: 711-720.

［10］ SHASHUA A, RIKLIN-RAVIV T. The quotient image: Class-based re-rendering and recognition with varying illuminations ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23（2）: 129-139.

［11］ SHAN SHI-GUANG, GAO WEN, GAO B, et al. Illumination nor-malization for robust face recognition against varying lighting conditions ［C］// AMFG'03: Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures. Washington, DC: IEEE Computer Society, 2003: 157-164.

［12］ LAND E H, McCANN J J. Lightness and Retinex theory ［J］. Jour-nal of the Optical Society of America, 1971, 61（1）: 1-11.

［13］ SHAN D, WARD R. Wavelet-based illumination normalization for face recognition ［C］// Proceedings of the 2005 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2005: 954-957.

［14］ GOH Y Z, TEOH A B J, GOH M K O. Wavelet based illumination invariant preprocessing in face recognition ［C］// 2008 Congress on Image and Signal Processing. Piscataway, NJ: IEEE, 2008: 421-425.

［15］ ZHANG T P, FANG B, YUAN Y, et al. Multiscale facial structure representation for face recognition under varying illumination ［J］. Pattern Recognition, 2008, 42（2）: 251-258.

［16］ MALLAT S. A theory of multiresolution signal decomposition: The wavelet representation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11（7）: 674-693.

［17］ GROSS R, BRAJOVIC V. An image preprocessing algorithm for illumination invariant face recognition ［C］// AVBPA'03: Proceedings of the Fourth International Conference on Audio and Video Based Biometric Person Authentication, LNCS 2688. Berlin: Springer-Verlag, 2003: 10-18.

［18］ SIM T, BAKER S, BSAT M. The CMU pose, illumination, and expression database ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25（12）: 1615-1618.