基于表观特征的手势识别研究

摘 要：手势识别在人机交互与虚拟现实中有重要应用，本文提出一种新的基于Zernike矩和傅里叶描绘子联合表观特征的手势识别方法。依据YCbCr色彩空间的肤色检测，分割出手势；对手势分割后的图像计算Zernike矩和傅里叶描绘子，选取Zernike矩和傅里叶描述子构成联合特征向量；构建一个多层感知器神经网络分类器，进行手势识别。构建一个含有2000样本的数据集来验证算法，实验结果显示手势识别准确率达到98.9%。

关键词：手势识别；Zernike矩；傅里叶描绘子；多层感知器

中图分类号：TP391.41 文献标识码：A 文章编号：1674-7712 （2014） 02-0000-02

一、引言

人机交互（Human Computer Interaction）在日常生活中扮演重要角色。手势识别作为人机交互的一种方式，得到越来越多的研究。人们可以通过手的不同动作和不同形状，来传达丰富的信息。手势识别可用于游戏、遥控、手语翻译、虚拟现实等很多领域。

根据手势信息获取的方式，手势识别可分为基于数据手套（Data Glove）方式和基于计算机视觉（Computer Vision）方式。数据手套方式需要用户手戴一个传感设备，将人手指关节角度等信息传送给计算机，计算机通过这些信息识别手势，文献[1][2]研究了基于数据手套的手势识别；计算机视觉方式则是通过获取包含人手的数字图像，通过进行进一步运算识别手势。基于计算机视觉的方式在人机交互中有着天然的优势，然而所需要的技术也更复杂。本文研究基于计算机视觉方式的手势识别。

目前基于计算机视觉的静态手势识别方法，可分为基于3D建模的方法和基于表观的方法。文献[3]采用3D建模方式进行手势识别，介绍了基于表观的手势识别方法。基于3D建模方式的手势更能精确表示手势信息，但需要更大的计算量。基于表观手势建模方式计算复杂度低，易满足实时性要求。本文研究基于表观特征的手势识别。

本文其余内容安排如下，第2部分介绍如何提取表观特征，第3部分介绍如何采用多层感知器进行模式识别，第4部分给出实验结果，最后第5部分为本文结论。

二、手势特征提取

（一）基于肤色的手势分割

肤色检测在人脸识别、手势识别中扮演重要角色，近年来肤色检测技术得到了广泛研究。常用的5种色彩空间为RGB、HIS、HSL、YCbCr和YUV，研究肤色在不同光照条件下在上述色彩空间中的分布情况。结果显示YCbCr和HIS色彩空间比RGB色彩空间更适合肤色检测和分割。这里我们用基于YCbCr色彩空间进行肤色检测，RGB转换到YCbCr的公式如下，

将含有手势的图像阈值分割成二值图像，然后对分割后的图像进行中值滤波和形态学处理。本文的重点不在于肤色检测研究，因此在试验中选择背景相对简单和光照相对充分的环境进行肤色检测。手势分割结果如下，

（二）Zernike矩

常规矩被广泛应用于二维平面特征提取，常规矩定义如下，

mpq为连续图像f（x，y）的第p+q阶常规矩。对于离散数字图像，上式变为，

在此基础上Hu提出了7个对平移、缩放、旋转都不敏感的不变矩，Hu不变矩被应用于模式识别问题中。

本文采用Zernike矩作为手势表观特征。与其它矩相比，Zernike矩在抗噪性、信息冗余、图像描述上拥有最全面的性能。常规矩定义的是f（x，y）在单项式上xpyq的投影，由于xpyq不是正交的，需要很多计算量，并且有相当的冗余。Teague建议采用基于正交多项式的正交矩来克服以上问题。Zernike矩正是采用一组正交多项式得出的，选用特定的Zernike正交多项式，使得Zernike矩具有旋转不变性。

对于一幅数字图像，其n阶重复度m的Zernike矩为，