基于三维特征脸模型的光照参数估计

【摘要】不同光照下的人脸识别或表情识别是极具挑战性的任务，如何排除光照的负面影响已成为决定系统识别率的关键因素之一。为此本文提出了一种基于三维特征脸模型的光照估计方法：先将训练集中的三维脸分组，计算出代表每组的三维特征脸模型；而后对这些特征脸施加不同的光照条件，投影到二维从而形成不同光照条件的多幅二维图像作为训练集；从图像中提取对光照变化最为敏感的米字特征，采用基于模板匹配的投票策略进行分类，最终得到了较理想的识别率。

【关键字】人脸识别，光照估计，三维特征脸，模板匹配

引言

不同光照下的人脸识别或表情识别是极具挑战性的任务。有很多相关研究都采用了基于3维重建的方法[1]解决光照问题，但这存在两个不足：1.计算法杂度很高 ─ O(M×N)，其中M光照条件数，N训练集中的3维人脸数；2.难以做到与识别者身份无关，即对于训练集中不存在输入图像中的人的情况效果不理想。

既然我们要消除光照影响，首先必须估计它的相关参数，因而本文以估计正面人脸图像中不同的光照条件为目标并提出了一种无需三维重建的基于三维特征脸模型的光照估计方法。首先计算出C组平均三维脸作为代表此C组的三维特征脸模型；而后通过向它们施加不同的光照，并将其与输入二维人脸图像进行基于米字特征的匹配同时结合投票策略确定该输入图像的光照。结果表明上述方法可在较准确地估计光照的同时降低计算复杂度 ─ O(C×N)，其中C为常数，并且在识别训练集中未曾出现的图像时仍取得了不错的效果。

本文后面内容安排如下：2.数据集简介；3.计算三维特征脸模型与样本生成；4.特征提取；5.分类器；6.实验结果；7.总结与展望。

数据集简介

实验采用北京工业大学BJUT-3D Face Database [4]，我们分别利用[2]和[3]中的方法实现网格简化和稠密对应。从而将所有三维人脸表示为统一的向量形式:

S =(X ,Y ,Z ,...,X ,Y ,Z )，i=1,2,...,N

T =(R ,G ,B ,...,R ,G ,B )，i=1,2,...,N

其中S 是第i个人脸的点坐标组成的几何形状向量, 是对应于形状向量中点的RGB值组成的纹理向量,N是人脸个数,m是规格化后人脸的点数。

计算三维特征脸模型与样本生成

计算三维特征脸模型

本文基于如下考虑分别以每组的平均脸作为代表该组的三维特征脸模型：平均脸代表了隐藏在各个个体脸背后的一种人脸三维稳定结构，对于光照估计来说，它足够稳定和具有代表性，可用来近似属于该组中的不同个体三维脸。设三维平均脸模型为avgFace，则：

avgFace.Shape =

avgFace.Texture =

样本生成

对8个三维特征脸模型分别施加如图1所示的13种光照条件后投影到2维（图2），生成了104张二维光照人脸图像作为光照识别的比对样本库。

图1. 13 个光源位置

图2. 13种光照下的某一组样本的三维特征脸模型 图3. 米字特征

特征提取

本文选择了4个最能反映光照变化的线上的像素灰度作为特征，构成一个米字形像素线特征（图3）。由于不同图像中脸部区域大小不一，故对不同图像对应位置的像素线重采样到统一的维数，最后再连接成一个特征向量。

分类器

本文光照估计的基本思想是将待定光照图像和比对库中不同光照条件下的2维图像做基于米字特征的比较，与之最接近的比对库图像的光照条件就被认为是输入图像的光照类别。这是一个典型的模板匹配方法，简单并符合某些生物学有效性。但一般认为基于模板匹配的最近邻分类器的识别能力是有限的，这主要是由于在模板化的过程中很多具有分类能力的重要的个体信息被平滑掉了。因此，本文并没有单纯采用每类一个模板的做法，而是提出了一种基于模板匹配的投票策略来确定类别：首先生成了 个三维特征脸模型，这 个平均脸模型彼此之间都有所不同，而又分别代表了各自组内的样本脸的三维结构和纹理特征。这样，我们用 表示从待定光照输入图像中提取的米字特征向量，则在每次光照估计时，将 分别与这 个三维特征脸模型 到 进行匹配，设模型 生成的13张二维比对图像的米字特征向量用 到 表示，针对模型 的匹配结果为 ，（ ），则最终的输出类别 由这 个 投票决定。

实验中 值确定为8，主要是因为当 从1变化到8的过程中，识别率的提高相对比较明显，之后则趋于平缓。可以说取 = 8是一个识别率与复杂度的折衷。

实验结果

实验中我们从BJUT三维人脸数据库中随机取出了100个三维个体脸作为训练集，将它们分为 =8组，计算出代表每个组的三维特征脸模型 到 。

首先对参与三维特征脸计算的训练集中的二维比对图像进行了光照估计，将这组样本称为Group-I。为了进一步测试推广能力，又从三维人脸数据库中拿出了50个新的三维脸，对它们也施加13种光照条件生成二维投影图像作为独立的测试集Group-II。采用第5节中介绍的基于模板匹配的投票策略进行分类,对应于一些不同C值的实验结果如下表1所示。

总结与展望

本文提出了一种基于三维特征脸模型的光照估计方法，相比其它相关算法，它具有计算复杂度低的优势，同时从实验结果看，当与模板匹配的投票策略结合时，系统对于独立测试集合Group-II同样取得了令人满意的结果，这无疑为实现独立于人身份的光照检测给出了一种解决方案。但实验数据集过于理想，系统健壮性有待在接近实际的数据集上接受考验。

致谢

作者感谢北京工业大学为我们的实验提供了BJUT-3D 人脸数据库。 Portions of the research in this paper use the BJUT-3D Face Database collected under the joint sponsor of National Natural Science Foundation of China, Beijing Natural Science Foundation Program, Beijing Science and Educational Committee Program.

【参考文献】

[1] 柴秀娟，山世光，卿来云，陈熙霖，高文. 基于3D人脸重建的光照、姿态不变人脸识别. 软件学报，17卷，第3期，2006.3 9:525-534

[2] Garland M, Heckbert PS. Surface simplification using quadric error metrics，In:Proc. of the SIGGRAPH'97. New York: ACM Press, 1997: 209-216

[3] 胡永利,尹宝才,程世铨,等. 创建中国人三维人脸库关键技术研究[J]. 计算机研究与发展. 2005,42(4):622-628

[4] The BJUT-3D Large-Scale Chinese Face Database