2D-FDA和Proximal SVM在人脸识别上的联合应用

摘要:对人脸图像进行二维Fisher鉴别分析(2D-FDA)的特称抽取与最临近支持向量机(Proximal SVM)的分类进行组合。首先把人脸图像按测试样本和训练样本进行划分。对训练样本进行2D-FDA特征抽取,得到抽取不同特征数目的具有最大鉴别信息的特征向量。然后再把此特征向量与测试样本相结合,用最简单的支持向量机进行分类,得到比用最小欧氏距离方法更高的识别效率,从而说明这两种方法的组合在人脸识别应用中发挥了各自的优点。

关键词:二维Fisher鉴别分析;最临近支持向量机;特征抽取;人脸识别

中图分类号:TP391文献标识码:A文章编号:1009-3044(2009)13-3513-03

1 引言

在模式识别应用当中,对样本进行有效的特征提取是一个非常关键的研究课题。在近十多年来,各种基于向量的一维特征提取的算法被研究的热度非常高,尤其是主分量分析和线性鉴别分析。但在研究过程中也发现了此类方法无法克服的一个缺点:高维数据小样本的有效特征提取效率和处理时间的问题。为此近几年来在基于矩阵的二维方法的研究上面引起了很多研究学者的兴趣,特别是二维主分量分析(2D-PCA)[1]和二维Fisher鉴别分析(2D-FDA)方法[2],它们是直接按图像方式进行特征抽取的方法。二维方法优点是更直观,计算量更小,特征抽取的速度和效率更高。

同样,在模式分类应用当中,支持向量机方法对于正确的分类样本也是非常重要和典型的研究课题。标准的支持向量机是非常有效的数据分类工具,它采用两个平行的、分离的超平面进行分类数据的,可以在原始空间进行线性分类,也可以在高维空间进行非线性分类。这些SVM都要解决线性规划和二次规划问题,需要迭代,非常的费时。而Proximal SVM[3-4]不需要解决这些问题,是用两个尽量分的很开的平行超平面来进行分类,样本点尽量的靠近两个分类超平面,在分类过程中,测试的是与两个超平面的距离,最靠近哪个就属于哪类。

下面是文章的结构:第二部分介绍矩阵模式下基于二维Fisher鉴别分析的特征抽取,第三部分介绍最临近支持向量机(Proximal SVM),第四部分描述2D-FDA和Proximal SVM的方法联合,第五部分为试验结果分析及比较,第六部分是总结。

2 矩阵模式下基于二维Fisher鉴别分析的特征抽取

2.1 二维投影思想的概述

设X1表示单位长度的n为列向量,二维投影的思想就是将m×n的图像矩阵通过Y=AX1的线性变换直接投影到X1上,得到m维列向量Y1,称之为图像A在X1方向的投影。如果选择d个投影方向X1,…,Xd,令X=[X1,…,Xd],定义Y为Y=[Y1,Y2,…,Yd]=A[X1,X2,…,Xd] 称Y为矩阵A在X1,…,Xd这d个方向的投影。对图像转置后进行二维投影也可以,投影公式变为:Y=ATX。本文无特别之处,二维投影指Y=AX。投影方向的选取准则是使投影后的特征更具可分性。

2.2 二维Fisher 鉴别分析(2D-FDA)

假设模式类别有c类,分别为:ω1,ω2,…,ωc,每个分类有样本ni个,样本是m×n矩阵,总训练样本数为N。定义图像总体散布矩阵Gt,图像类内散布矩阵为Gw和图像类间散布矩阵Gb如下:

■(1)

■(2)

■(3)

■(4)

其中Pi为第i类的先验概率,一般取Pi=1/c,Ai为第i的均值(i=1,2,…,c),A为总体均值矩阵。由定义知,以上的散布矩阵都是实对称矩阵,因为一般情况下样本数目远远大于图像的列数和行数,所以一般情况下二维散布矩阵式可逆的。类似于经典的一维Fisher鉴别准则,二维图像直接投影的广义Fisher准则定义如下:

■(5)

通常情况下Gw可逆,可以根据Gw-1Gb计算本征值,本征向量,取最大的d个特征值对应的特征向量作为二维投影的向量组。但尽管Gw和Gb都是对称矩阵,但Gw-1Gb不一定是对称矩阵,所以各投影轴之间关于Gw及Gt共轭正交,而不是正交。二维基于矩阵的方法不存在小样本奇异问题,因此Gw可逆。

3 最临近支持向量机(Proximal SVM)

标准的线性支持向量机,对于参数v>0有下列二次规划形式[1]:

■

约束为: ■(6)

v>0为错误惩罚系数,越大说明出错惩罚越厉害,y≥0为惩罚因子,w为分界面的法向量,如果允许某些错误存在的软间隔,则可以把属于A+和A-的大部分数据分开。

■(7)

这样我们就可以根据下面的表达式进行分类:

■ (8)

而PSVM把原始的二次规划形式进行改进得到:

■

约束为: D(Aω-eγ)+y=e (9)

对二次规划进行拉格朗日求最值:

■ (10)

经对我w求偏导得到:

从而: ■ (11)

代入 上述最后一式得到:

■(12)

线性PSVM的算法可以描述为[3]:1) 定义H=D[A-e],然后根据公式(12)求u;2) 根据公式(11)求出(ω,γ);3) 最后对于一个新的数据 x 用公式(8)进行分类。

4 2D-FDA和Proximal SVM的方法联合

对人脸图像进行二维Fisher线性分析(2D-FDA)的特称抽取与最临近支持向量机(Proximal SVM)分类进行组合。首先把人脸图像按测试样本和训练样本进行划分。然后对训练样本进行2D-FDA特征抽取,得到抽取不同特征数目的具有最大鉴别信息的特征向量。然后再把此特征向量与测试样本相结合,即把训练样本和测试样本都投影到具有最大鉴别信息的特征空间中。最后用最简单的支持向量机方法(PSVM)进行分类,使2D-FDA可以解决小样本奇异值问题以及计算速度快的优点和PSVM中非线性方法优点相结合的方法,以期待得到最优识别效果。

2D-FDA和Proximal SVM的联合方法具体描述如下:

1) 按公式(1)(3)(4)分别求出Gt、Gb、Ai和A

2) 然后根据公式(5)的线性鉴别准则,即计算Gt-1Gb的特征值和特征向量。对特征值按大小进行排序,相应的特征向量也按此顺序进行排序。正交化,单位化特征向量。

3) 分别抽取前2,4,6,…,20个特征值对应的特征向量进行分类实验。

4) 训练样本和测试样本投影到特征空间。

5) 然后对进行空间变换了的样本进行向量化(每个样本点转换成一个单位列向量)准备用PSVM进行分类,向量化后的样本集为A。

6) 定义H=D[A-e],然后根据公式(12)求u;

7) 根据公式(11)求出(ω,γ);

8) 最后对于一个测试样本的数据 x 用公式(8)进行分类。

5 试验结果分析及比较

实验在ORL标准公开的人脸数据库上,分别采用最近邻分类器(NN)、Proximal SVM分类器进行比较,选取不同的特征数,方法所用的执行时间如表1所示。图像的分辨率为:112 92,共40类,每类训练和测试样本个数(5/5)。其中取10次随机选取样本结果的最好效果和平均效果由表1呈现。

6 总结

对人脸图像进行二维Fisher线性分析(2D-FDA)的特称抽取与最临近支持向量机(Proximal SVM)分类的组合显然根据实验结果,说明:对训练样本进行2D-FDA特征抽取,成功得到了抽取不同特征数目的具有最大鉴别信息的特征向量。然后把测试样本都投影到具有最大鉴别信息的特征空间中PSVM进行分类的效果要比单独应用哪种方法的效果的识别率都要高。从而得出使2D-FDA可以解决小样本奇异值问题以及计算速度快的优点和PSVM中非线性方法优点相结合的方法,能够在ORL人脸数据库上得到比较好的识别效果。

参考文献:

[1] YANG Jian, David Z, YANG Jing-yu. Two-dimensional PCA: a new approach to appearance-based face representation and recognition[J]. Pattern Analysis and Machine Intelligence,2004,26(1):137-137.

[2] LI Ming, YUAN Bao-Zong. 2D-LDA: a statistical Linear discriminant analysisi for image matrix[J].pattern Recognition Letters,2005,26(5):527-532.

[3] 王晓辉.人脸识别中PSVM技术应用[J].韩山师范学院学报,2007(3):29-36.

[4] 王晓辉.改进的多面最临近支持向量机[J].计算机工程与应用,2006,42(28):24-27.

王晓辉(1977-),女,韩山师范学院数学与信息技术系,硕士,讲师,研究方向为模式识别,图像处理。