隐马尔可夫后处理模型在视频人脸识别中的应用

摘 要:现有的多数人脸识别系统都专注于如何提高人脸识别算法的性能,但缺乏一种对数据源(人脸样本)进行分析和评估的机制。针对此问题,提出了一种建立在数据源分析基础上对典型人脸识别算法进行后处理的方法。为了揭示现有典型识别算法的识别性能在无约束环境下的鲁棒性,通过建立Lambertian反射模型和3D人脸模型,对特征脸算法的识别性能随数据源的变化(人脸姿态和光照改变)而变化的情况进行了分析评估。结果表明:特征脸的识别性能随着姿态和光照的变化而急剧改变――称这一现象为问题。针对“数据源灾难”问题,提出了一种基于隐马尔可夫模型(HMM)的后处理解决方法,该方法通过利用视频序列图像的连续性和对训练人脸库的统计分析来提高判别分析方法对无约束环境的鲁棒性。实验结果表明,该方法可以有效地提高识别算法对“数据源灾难”的鲁棒性,提高识别率。

关键词:隐马尔可夫模型;人脸识别;后处理;混淆矩阵;先验模型;置信度

中图分类号: TP391.41

文献标志码:A

Application of post-processing based on HMM to video face recognition

DAI Yi, XIAO Guo-qiang, SONG Gang

(

College of Computer and Information Science, Southwest University, Chongqing 400715, China

)

Abstract:

In this paper, the rarely concerned problem of data source in face recognition is investigated, and a novel post-processing HMMCbased solution is proposed. Data source problem is firstly empirically investigated through evaluating systematically the Eigenfaces sensitivity to variations of pose and illumination by Lambertian reflection model and 3D face model, which reveals that the changes of pose and illumination abruptly degrade the Eigenfaces system. This problem is explicitly defined as curse of data source for highlighting its significance. Aiming at solving this problem, combining the recognition rate with the analysis of the data sources, two methods is proposed to evaluate the overall performance of specific face recognition approach with its robustness against the low-quality data sources considered. Finally, a post-processing method is proposed to improve the robustness of the recognizer under unconstrained environment. Experimental results have impressively indicated the effectiveness of the proposed post-processing solution to tackle the curse of data source problem.

In this paper, the rarely concerned problem of data source in face recognition was investigated, and a novel post-processing HMM-based solution was proposed. Data source problem was firstly empirically investigated through systematically evaluating the eigenfaces sensitivity to variations of pose and illumination by Lambertian reflection model and 3D face model, which revealed that the changes of pose and illumination abruptly degrade the eigenfaces system. This problem is explicitly defined as "data source disaster" for highlighting its significance. Aiming at solving this problem, combining the recognition rate with the analysis of the data sources, two methods were proposed to evaluate the overall performance of specific face recognition approach with its robustness against the low-quality data sources considered. Finally, a post-processing method was proposed to improve the robustness of the recognizer under unconstrained environment. The experimental results have impressively indicated the effectiveness of the proposed post-processing solution to tackle the "data source disaster" problem.

Key words:

Hidden Markov Model (HMM); face recognition; post-processing;confusion matrix; priori model; confidence

0 引言

在视频序列中,人脸目标的变化具有帧间连续性,比如姿态或光照的改变。当这种改变造成人脸样本的变化较大时(姿态旋转过大或者光照不足等),所获得的样本包含的识别信息非常少,甚至发生人脸检测错误,最终容易导致人脸识别的失败――本文称这一现象为“数据源灾难”问题,并将引起“数据源灾难”的样本称为“低质量数据源”。现有的许多人脸识别方法都专注于如何提高人脸识别算法的性能,在理想情况下实验结果已经达到了较高的精度。然而在非约束情况下,识别性能受到了挑战。因此,关于人脸识别鲁棒性的研究成为一大热点。

为了克服非约束条件下姿态和光照变化对识别的影响,研究人员提出了诸多策略。一类策略是把样本集归一化到统一的条件下[1-3]。其中除了基于2D的方法以外,研究人员对基于3D的方法进行了大量探索。在国外研究中,文献[2]中提出对已知人脸图像进行3D重建的思想,在一定程度上提高了系统的鲁棒性。文献[3]中提出一种利用可变形人脸模型的形状和纹理参数进行3D人脸重建的方法,在虚拟人脸基础上进行人脸识别。遗憾的是,此类方法需要迭代求解大量的3D数据,在数据量大的情况下是难以忍受的。在国内研究中,文献[4]中采用了更为方便、实用的球面谐波商图像方法来处理光照估计和光照影响消除问题,这些措施极大地降低了算法的计算复杂度。另一类策略是提取对姿态和光照不敏感的特征向量。文献[5]中提出基于Bit-Plane的方法,能够有效提高人脸识别的鲁棒性。该方法从人脸图片中抽取轮廓特征和纹理特征,然后将这两种特征进行融合,得到一张虚拟人脸,最后进行主成分分析(Principal Components Analysis,PCA)以达到人脸识别目的。文献[6]把主动形状模型(Active Shape Model,ASM)得到的人脸配准的结果结合到线段Hausdorff距离(Line Hausdorff Distance,LHD)的边缘图提取过程,对人脸不同部分的线段给予不同的权重,并且把线段对的匹配限制在给定的邻域内。实验结果表明,改进的LHD方法在微笑和小角度姿态变化下的识别率有明显提高。

上述方法都有一定局限,该局限来自于“低质量数据源”所包含的信息较少或者信息错误。上述方法都试图从“低质量数据源”中恢复出更多的信息以提高识别性能,缺乏一种对数据源进行分析和评估的机制。本文系统地分析了“数据源灾难”对人脸识别系统的影响,使用隐马尔可夫模型(Hidden Markov Model,HMM)描述了视频中人脸识别的后处理,将视频的连续性和训练集的图像观测两个随机过程结合起来,有效地应用于“数据源灾难”的估计,从而提高人脸识别的性能。

1 “数据源灾难”问题的分析

1.1 光照对人脸识别系统的影响

光照变化对许多人脸识别算法的性能都有很大影响[7],本文以子空间算法为例,对光照变化是如何影响人脸图片在特征空间的投影系数这一问题进行了分析。假设人脸样本的光照反射面为Lambertian表面,一幅含目标人脸的图片I同目标人脸(p;q)е间的关系可以用变反射率的Lambertian反射模型来表示[8]:

I=ρ1+pPs+qQs1+p2+q21+P2s+Q2s(1)

其中:目标(p;q)和反射率ρ都为位置(x,y)的函数[9]。光源位置用与入射光线相关的一个slant角和一个tilt倾角来表示[7],其中slant角α表示逆入射光线方向同z轴正方向之间的夹角;tilt倾角τ表示逆入射方向同x-z平面之间的夹角,同Ps 和Qs的关系为:Ps=tan α cos τ, Qs=tan α sin τ。一个无限远距离的点光源表示为(Ps;Qs;-1)。为了便于分析,本文使用K表示项1+P2s+Q2s,并假设所使用的人脸样本是基于人脸中垂线对称的正面人脸。

┑4期 毅等:隐马尔可夫后处理模型在视频人脸识别中的应用

┆扑慊应用 ┑30卷

人脸图片I可以用子空间成分表示为[10]I=IA+∑mi=1αiΦi,其中IA表示平均图片,Фi为特征向量,αi为投影系数。选择某一特定的人在标准条件下(即式(1)中,Ps=0;Qs=0)的正面人脸Ip作为原型,通过将Ip与一个新的人脸样本─@I~ 对比来达到分析目的,其中─@I~ 为在光照(Ps;Qs;-1)下,与Ip属于同类的人脸样本。Ip对应的子空间系数α=[α1,α2,…, αm]T和─@I~对应的子空间系数=[1,2,…,m]ИT可表示为:

Е联i=Ip擀氮i-IA擀氮i

i=─@I~p擀氮i-IA擀氮i(2)

其中弑硎厩罅较蛄康哪诨。若把人脸图像和特征脸基于中轴线分成左右两部分,则有:

Е联i=ILp擀氮Li+IRp擀氮Ri-IA擀氮i

i=─@I~ L擀氮Li+─@I~ R擀氮Ri-IA擀氮i(3)

式(3)中上标R和L分别代表左边和右边部分。注意到人脸和特征脸都具有左右对称的性质,结合式(1),得到:

Е联i=2ILp[x,y]擀氮Li[x,y]-IA擀氮iおi=(2K)(ILp[x,y]+ILp[x,y]qL[x,y]Qs)

ΦLi[x,y]-IA擀氮i(4)

最终推导出下面的关系式:

=(1Kα)+QsK[fα1, fα2,…, fαm]┆T-K-1KαA(5)

其中Иf αi=2(ILp[x,y]qL[x,y])擀氮Li[x,y]和αA为平均图片IA 的投影系数。式(5)表明:光照改变会明显地影响基于子空间算法的性能。

1.2 姿态对人脸识别系统的影响

在分析姿态变化是如何影响人脸识别系统性能这一问题中,需要收集大量的不同姿态的样本,实际上这是非常困难的。如图1所示,通过正面的中性人脸图片,本文使用三维可变形模型[2-3]较精确地恢复了人脸的三维模型,通过旋转三维模型能够得到不同姿态的人脸样本。图2所示为一组正面人脸样本与不同姿态人脸之间的特征脸距离[11]。在曲面的中心,人脸的旋转角度为0,因此它们之间的特征脸距离也为0。随着人脸姿态的改变,特征脸距离也发生了明显的变化:如果人脸向右旋转10°,相应的特征脸距离为10.4%;如果向右旋转20°,特征脸距离变为14.6%。

对于人脸识别来说,系统倾向于不同类人脸间的类间距离更大,而同类人脸间的类内距离则更小[12]。从图2中可以看出,姿态变化会增大类内距离,从而造成分类器的错误输出。下一章所介绍的后处理模型,将对“低质量数据源”进行分析和估计,以获得更好的识别结果。

图片

图1

原始图片以及其3D人脸模型

图片

图2

原人脸与各姿态人脸之间的特征脸距离

2 基于HMM的后处理模型

人脸识别系统框架如图3所示。

图片

图3

人脸识别系统框架

设X=x1,x2,…,x┆len为一个待测人脸视频序列,即观测值序列,其中xi表示在输入序列X中的第i帧图像,len表示视频序列长度。

S=s1,s2,…,s┆len为人脸识别器的输出人脸序列(每个输出si为前K个候选样本之一),即状态序列,所有的候选样本组成状态集C。即xisi∈{cij|j=1,2,…,k},{cij| j=1,2,…,k}为si的候选子集,其中cij∈C。O=o1,o2,…,oT为后处理器的输出序列。

每一个si包含K个候选样本,则共K┆len种组合。后处理的任务就是从这K┆len种组合中选择最大可能输出。д馐堑湫HMM的第二个问题:选择最佳状态转移序列问题。这里:

状态转移概率分布矩阵A=(aij), aij = P(Sj|Si)。

观察值概率分布矩阵B=(bj(k)),bj(k)=P(Xk|S j)。

初始状态分布π= (π1),πi = P( q1 = Si) 。

基于HMM 的后处理过程如下:

O=┆arg maxs P(S|X)=┆arg maxs P(S)*P(X|S)(6)

其中:先验概率P(S)描述人脸序列的统计概率分布;P(X|S)描述人脸的观测图像概率分布,表示图像观测这一随机过程,由人脸识别模型决定。

典型HMM中的模型参数由Baum-Welch算法[13]迭代得到,但是它需要大量的观测值序列进行训练。在视频人脸识别后处理中, 图像观测序列是极其有限的,因此Baum-Welch 算法在这里不适用。实际上,A矩阵和初始状态分布π可以通过将概率求解问题转换为能量函数求解问题来解决。B矩阵的元素为条件概率,难以求解。但是,通过下面的理论分析,条件概率可转化为后验概率,从而解决了BЬ卣笄蠼馕侍狻

由于人脸识别器对每一帧孤立的人脸图像进行识别,这种识别显然不依赖于前后帧的关系。故式(6)中的条件概率P(X|S)可表示为:

P(X|S)=P(x1…x┆len|s1…s┆len)=∏┆leni=1P(xi|si)(7)

P(xi|si)为单样本的条件概率(HMM中的B矩阵参数),si为对应的候选样本cij之一(j=1,2,…,10),所以

P(X|S)=∏┆leni=1P(xi|si)=∏┆leni=1P(si|xi)*P(xi)P(si)(8)

д饫, P(xi)对xi的每个候选样本cij是相等的,P(cij)为人脸类出现的先验概率,在人脸识别器中假定各类出现的概率是相等的。故在实际计算中,P(xi)与P(cij)这两项可不考虑,式(7)代入式(6)中可得:

O=┆argmaxs p(S)*∏┆leni=1p(si|xi)(9)

其中P(si|xi)代表了候选样本cij的置信度。П疚氖褂寐呒回归模型来对其进行估计。

这样,利用HMM就能将视频人脸识别的后处理问题转化为求解最大后验概率估计问题。但是,求解后验概率属于组合优化问题,直接求解难度很大。通常使用最大期望算法(Expectation-Maximization,EM)、模拟退火等优化算法估计该概率。

2.1 混淆矩阵

假设训练集中包含M类人,每人L帧图像,N为训练集的大小,即N=M×L。当输入某一帧待测样本时,在训练集中所对应正确的人脸类为wi;wj表示经人脸识别器得到的识别结果 (候选集中的第一序列为wj),wi,wj∈M。对应于一个特定人脸识别器的易混淆矩阵可以表示为:PM=(pij)M×M。pij可用频度近似求得:

pij=nij/ni;nj=∑nj=1nij

其中nij表示在训练集中wi 被人脸识别器分类为wj的次数。

在一般情况下,人脸的类内距离比类间距离小,一类人脸被误识为错误类的次数是有限的。因此PM具有以下特点:1)当wi与wj为同类时,其pij值较大;2)当wi与wj为不同类时,即表明类间差异大于类内差异,其发生的概率较小,因此pij值较小,甚至为0。

因为混淆矩阵PM可以经过大量的训练得到,所以可把它看作此人脸识别器的先验知识,利用此信息能够提高系统的性能。

2.2 先验概率P(S)

直接获取一个候选集的先验概率是十分困难的,实际应用中,对先验模型的研究往往转化为对能量函数的研究[13]。为此,一个序列S=s1,s2,…,s┆len的先验概率使用如下的能量函数来描述:

U(S)=exp(-∑T-1i=1ω(si,si+1))/Q(10)

其中:ω(Si,Si+1)为 PM 中所对应的元素;Q为归一化常数。从式(10)可以看出,当si和si+1为同类时,ω(Si,Si+1)取值较大,也就是说,其相应的先验概率较大;反之,当si和si+1不为同类时,ω(Si,Si+1)取值较小,其相应的先验概率就较小,这遵循了视频中的序列具有连续性的规律。

2.3 置信度计算

c1,c2,…,ck为对应一幅人脸图片x的前K个候选样本,它们的距离值分别为d1,d2,…,dk。逻辑回归模型[14]可以直接将候选集的距离值转换为它们的置信度:

p(ct|x)=(1+exp(βk0+∑yi=1βkidi))-1; 1≤k≤K(12)

其中:Е陋ki为回归系数,通常是通过分析训练集的识别结果,利用最大似然概率估计(Maximum Likelihood Estimation,MLE)对它进行估计,y为回归模型的序号。在本文中,di(1≤i≤K)被归一化为0~100的值。

实验使用了平均识别率为85.4%的480组样本集去估计回归系数βki。例如,对于第一候选样本,可以得到:

P(c1|x)=(1+exp(-0.647+0.43d1-

0.303d2-0.01d3))-1(13)

式(13)表示了当d1为一个比较小的值时(而d2和d3相对较大),第一候选样本的置信度更高。候选集其余子序列的置信度满足以下公式:

p(ck|x)=(1+exp(βk0+βk1d1+βkkdk))-1;

βk10,k≥2(14)

式(14)表示当d1 较小(而dk 相对较大)的情况下,候选子序列的置信度更小。

3 实验与分析

研究基于视频的人脸识别技术的挑战之一就是缺少一个完整的数据库[15]。文献[16]中建立的数据库包含样本较少,并且主要只包含姿态的变化。文献[17]中描述的数据库仅包含了在固定光照下较大角度的姿态变化,以及在固定姿态下光照的变化。对于我们的实验来说,一个理想的测试数据库是类似于CMU_PIE [18],但是离散的姿态被连续的视频序列所取代,并且在一段视频中存在着不同类的人脸交替出现。因此本文从BBC NEWS中收集到满足上述要求的一共24段视频作为实验数据库,部分视频的信息如表1所示。在实验数据库中一共包含了12类人脸,表2显示了每类人脸在视频中的显示情况。选择库中的6段视频作为训练视频,8段视频用于混淆矩阵的训练,剩下的10段视频作为测试视频。

3.1 训练阶段

实验的训练阶段包括以下两个步骤。

1) 构建训练样本库。使用人脸检测和跟踪方法提取人脸图像[19],尺寸归一化为64×64像素。每类人抽取60幅图

像加入训练集,即L =60,一共12个人,训练集的总大小为N =720。

表格(有表名)

表1 实验测试库

视频序列 内容 长度 帧数 镜头数 帧率/(f/s) 尺寸

新闻1 News of Science 24′33" 36B825 154 25 CIF(352×288)

新闻6 Weekly news 27′16" 40B900 95 25 CIF(352×288)

新闻11 News of Economic 16′12" 24B300 102 25 CIF(352×288)

表格(有表名)

表2 人脸在视频中的显示

人物 视频序列 包含该人物镜头数/总镜头数

人物 1新闻 124/154

人物 2新闻 145/154

人物 3新闻 134/154

人物 4新闻 122/154

人物 5新闻 18/154

人物 6新闻 64/95

人物 7新闻 67/95

人物 8新闻 614/95

人物 9新闻 622/95

人物 10新闻 117/102

人物 11新闻 118/102

人物 12新闻 1120/102

镜头总数215/1456

2) 构建混淆矩阵。如1.1节所述,将待测图像输入人脸识别器进行计算得到识别结果,构建训练集的混淆矩阵作为此识别器的先验知识。

3.2 测试阶段

在测试视频序列中,每隔h帧提取人脸样本,组成待测人脸序列X。选择经识别器分类后获得的前K个样本,构成候选集S。Э梢宰⒁獾,在视频序列较长的情况下,构成候选集所需时间复杂度较高。为了提高效率,实验采用图像检索技术中的vocabulary tree[20],将训练集建成树状结构。当视频序列X较长时,实验中通过设置滑动窗口将其拆分为较短的序列。假设原视频序列长度为w,取窗口宽度为h,步长l。每次后处理时窗口往前滑动l步长,得到一个新的长度为hУ淖有蛄小W詈笤谇蠼馐(6)过程中采用EM优化算法,得到最大概率输出。

3.3 实验结果

在测试中采用了两类不同的人脸识别器:基于特征脸方法[10]和基于线性鉴别分析(Linear Discriminant Analysis,LDA)方法[21]。表3所示为加入后处理器与否情况下的实验结果。第一行中的1表示正确的人脸类被列为第一候选的百分比,2和3分别表明了正确的人脸类被列在第二和第三位候选的百分比。后处理-5和后处理-10分别表示K =5和K =10。

表格(有表名)

表3 实验结果

是否使用ず蟠理算法正确的人脸类被列为第iШ蜓〉陌俜直/%

i=1i=2i=3

未使用

特征脸857345

LDA865841

后处理

K=5

特征脸928647

LDA948853

后处理

K=10

特征脸938756

LDA948966

实验结果表明,后处理能够明显地提高整个系统的性能。更为明显的是能够提高正确的人脸出现在候选集第2和第3位的可能性。比如使用LDA算法时,正确人脸被列在第2位的几率仅仅为58%,而在采用后处理后,正确人脸出现几率提高到88%。因此本文提出的基于HMM后处理与基于多个最相似人脸的识别器配合使用时效果将更加明显,这是未来需要进一步研究的内容。

4 结语

为了揭示现有典型识别算法的性能对姿态和光照改变的鲁棒性,本文通过建立光照反射模型和3D人脸模型分析了特征脸算法的识别性能随光照和姿态改变而变化的情况,并进一步提出了一种对人脸识别器进行基于HMM后处理的“数据源灾难”解决方案。与传统的基于图片的人脸识别技术相比,基于视频的人脸识别可以利用的信息更多,比如多幅同一个人的多幅人脸图像,视频中人脸在时间和空间上的连续性等,因此如何充分利用视频中人脸的时间和空间信息克服视频中人脸分辨率低,尺度变化范围大,光照、姿态变化比较剧烈以及时常发生遮挡等困难是未来研究的重点。

参考文献:

[1]VASILESCU M, TERZOPOULOS D. Multilinear independent components analysis[C]//CVPR 2005: IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2005,1: 547-553.

[2]LAM K-M, YAN HONG. An analytic-to-holistic approach for face recognition based on a single frontal view[J]// IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20(7):673-686.

[3]BLANZ V, BOMDHANI S, VETTER T. Face identification across different poses and illuminations with a 3D morphable model[C]// Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition. Washington, DC: IEEE Computer Society, 2002: 202.

[4]卿来云,山世光,陈熙霖,等. 基于球面谐波基图像的任意光照下的人脸识别[J].计算机学报,2006,29(5):760-768.

[5]WANG HUIYUAN, LENG YAN, WANG ZENGFENG, et al. Application of image correction and bit-plane fusion in generalized PCA based face recognition[J].Pattern Recognition Letters, 2007,28(16): 2352-2358.

[6]杜成,苏光大,林行刚,顾华;改进的线段Hausdorff距离人脸识别方法[J].光电子•激光,2005,16(1):89-93.

[7]CHELLAPPA R, ROY-CHOWDHURY A K, ZHOU S K. Recognition of humans and their activities using video[M]. [S.l.]: Morgan & Claypool, 2005.

[8]ZHAO W.Robust Image Based 3D Face Recognition[D]. College Park, USA:University of Maryland, 1999.

[9]HORN B K P, BROOKS M J. Shape from shading[M].Cambridge: MIT Press, 1989.

[10]TORRES L, VILD T. Automatic face recognition for video indexing applications[J]. Pattern Recognition, 2002,35(3): 615-625.

[11]ARTIKLAR M, HASSOUN M H, WATTAP. Application of a post-processing algorithm for improved human face recognition[C]// Proceedings of IEEE International Joint Conference on Neural Networks. [S.l.]: IEEE, 1999,5: 3280-3283.

[10]

MOGHADDAM B, JEBARA T, PENTLAND A. Bayesian face recognition[J]. Pattern Recognition, 2000, 33(11):1771-1782.

[11]LI Y X, TAN C L, DING X. Contextual post-processing based on the confusion matrix in offline handwritten Chinese script recognition[J]. Pattern Recognition, 2004,37(9):1901-1912.

[12]HO K T, HULL J J, SRIHARI S A. Decision combination in multiple classifier systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994,16(1):66-75.

[13]ZHAO W, CHELLAPPA R, PHILLIPS P J, et al. Face recognition: A literature survey[J]. ACM Computing Surveys, 2003,35(4):399-458.

[14]LEE K C, HO J, YANG M H, et al. Video-based face recognition using probabilistic appearance manifolds[C]// CVPR’03: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2003,1:313-320.

[15]O’TOOLE A J, HARMS J, SNOW S L, et al. A video database of moving faces and people[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(5):812-816.

[16]SIM T, BAKER S, BSAT M. The CMU pose, illumination, and expression database[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(12): 1615-1618.

[17]VILAPLANA V, MARQUES F, SALEMBIER P, et al. Region-based segmentation and tracking of human faces[C]// EUSIPCO-98: European Signal Processing Conference. [S.l.]: IEEE, 1998: 311-315.

[18]NISTER D, STEWENIUS H. Scalable recognition with a vocabulary tree[C]// CVPR06: Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC:IEEE Computer Society, 2006: 2161-2168.

[19]BELLHUMEUR P N, HESPANHA J P, KRIENGMAN D J. Eigenfaces vs. Fisherfaces: Recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(7): 711-720.