一种基于三维扫描数据的人脸建模方法

摘 要：三维扫描仪可以准确获取人脸的几何形状与纹理，但原始的人脸扫描数据仅为一张连续曲面，不符合实际的人脸结构，无法用于人脸动画。针对此问题，提出了一种由三维扫描数据进行人脸建模的方法，将一个具备完整结构的通用人脸模型与扫描数据进行初步适配，再采用细节重建技术恢复特定人脸的表面细节和皮肤纹理。实验表明，该方法建立的┤维人脸模型真实感强，结构完整，可生成连续自然的表情动画。

关键词：三维扫描数据； 人脸建模； 通用人脸模型； 细节重建

中图分类号：TN911.73-34 文献标识码：A文章编号：1004-373X(2011)21-0079-04

A Method for Human Face Modeling Based on 3D Scan Data

HUANG Yan-hui1, FAN Yang-yu1, DONG Wei-jun2

(1.School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710129, China；

2.School of Information Science and Technology, Northwest University, Xi’an 710069, China)

Abstract：

3D face scanner can obtain precise facial shape and texture. However, the original facial scan data is composed of a continuous surface, which is not consistent with the real facial structure. Consequently, the scan data can not be directly applied in facial animation. A method for face modeling from 3D scan data is proposed， in which a generic model with complete facial structure was first used to adapt the scan data, and then detail reconstruction was used to recover the surface detail and the skin texture. The experimental result shows that the generated models adapted precisely to the facial scan surfaces with sufficient fidelity, and continuous face animation can be generated.

Keywords： 3D scan data； face modeling； general face model； detail reconstruction

0 引 言

人脸是人类体现个体特性和表达情感至关重要的部分，建立具有真实感的三维人脸模型有着广泛的应用。近年来，随着三维扫描与成像技术的发展，越来越多的研究人员开始使用数字扫描仪直接获取目标人脸的空间数据［1-2］。利用激光扫描仪、结构光投影等设备，获取目标人脸的空间数据点云，然后利用几何关系建立人脸模型的三维网格［3］。由于三维扫描数据准确记录了人脸的深度信息，建立的人脸模型真实度较高。

但由扫描仪直接生成的人脸模型存在诸多缺陷［4］：原始的扫描模型仅为空间中的一张连续曲面，缺乏可张合的嘴部和眼部拓扑结构，无法在人脸表情动画中直接应用。每个人脸的原始扫描模型相互独立，不存在点对点的对应关系，无法用统一的结构存储，极大地增加了存储的数据量； 由于角度限制，三维扫描仪一次只能捕获部分人脸表面，对于人脸边缘区域的捕获并不完整。

为了解决上述问题，目前大多数研究人员采用的方法是首先建立一个通用人脸模型，然后对通用模型进行变形处理，使其与扫描人脸模型相匹配。Blanz和Vetter使用基于统计学原理的形变模型来匹配三维扫描模型［5］，该方法需要采集大量的三维人脸模型来建立样本训练集。Yu Zhang等人使用柱面映射将通用模型的顶点映射到扫描模型表面［6］，该方法误差较大，尤其在眼睛和嘴巴等处无法恢复出扫描模型原有的形状。W.S.Lee等人将一个通用人脸模型进行多次网格细分［7］，然后使用位移映射将网格顶点移动到扫描模型表面，该方法中最终生成的人脸模型全部是闭眼状态，且每个模型具有几百万个三角形，无法进行常规应用。

本文提出了一种新的基于扫描模型的三维人脸建模方法，在建立一个通用人脸模型的基础上，首先提取通用模型与扫描模型的三维特征点对，利用径向基插值对通用模型进行初始变形，使其基本形状与扫描模型近似；然后使用点到面映射，将通用模型的网格顶点移动到扫描模型表面，以恢复扫描模型的表面细节，同时根据顶点位移的结果重新计算出每个通用模型顶点的纹理坐标；最后将扫描模型的纹理映射到重建后的通用模型表面，从而获得具有真实感的个性化人脸。该方法可以重建出扫描模型面部区域的全部细节，且不需要网格细分，可保证最后生成的人脸模型具有一致的网格结构。

1 数据获取及预处理

1.1 通用人脸模型与扫描人脸模型

本文中的通用人脸模型由专业人体建模软件Poser导出，如图1(a)所示。该模型的嘴部和眼部均具有可张合的拓扑结构，并附带眼球、牙齿和舌头三个可独立运动的部件，结合皮肤表面的变形，可使通用人脸模型做出各种逼真的表情。

本文所使用的扫描人脸模型由BU-3DFE人脸表情数据库提供［8］。该数据库使用3DMD三维扫描仪对200张不同人脸进行扫描，记录了每张人脸7种不同的表情数据。数据库中的每个扫描模型由三维扫描仪直接生成，按几何关系将捕获的空间数据点云自动连接为三角网格。图1(b)从左至右分别为扫描人脸的几何模型、网格结构和纹理渲染模型。

图1 通用人脸模型与扫描人脸模型

1.2 人脸特征点提取

MPEG-4用84个人脸定义参数FDP定义了中性人脸的几何形状，考虑到FDP主要是为人脸动画参数提供空间参考，对于人脸建模过程中面部变形的部分细节没有进行描述，因此在MPEG-4的基础上将人脸特征点扩展为149个，并在通用人脸模型中选取相应的网格点作为特征点，如图2(a)所示。

图2 通用模型特征点与扫描模型特征点

通过鼠标拾取，在扫描模型的网格顶点中选取对应特征点，进而可以直接获取特定人脸特征点的三维坐标，如图2(b)。受遮挡和扫描角度限制，扫描模型中一般缺少背面如头发等区域。对于这些缺失区域，无法直接选取其特征点，可通过人工估计的方式由用户自定义。

2 人脸几何变形

在获得通用模型和扫描模型的特征点对后，以特征点为约束点，对通用模型进行径向基插值变形。记通用模型的n个特征点为pi,i=1,2,…,n，扫描模型中对应的特征点为

p′i，计算出两个模型特征点的位移ui=p′i－pi。以网格顶点的三维坐标作为函数的嵌入空间，建立一个向量插值函数f(p)，使其对于任意一个特征点pi，均满足ui=f(pi)。求解插值函数f(p)的表达式，Ъ纯刹逯党鐾ㄓ媚P兔扛龆サ愕奈灰浦担从而达到几何变形的效果。为保证插值后的网格表面光滑并使网格曲面能量最小，本文采用指数形式［9］的径向基插值函数，具体表达式为：

И

И

由式(2)~(4)求得f(p)У慕馕霰泶锸剑进一步计算出通用模型每个顶点的变形位移。图3显示了通用模型经过径向基插值变形后的结果。

图3 通用模型几何变形结果

3 表面细节恢复

经过径向基插值变形，通用模型中作为特征点的顶点已经被移动到扫描模型表面，但非特征点部分仍与扫描模型存在明显的差异，尤其是特征点分布稀疏的区域。表面细节恢复的目的就是找到通用模型每个顶点到在扫描模型表面的对应位置，该过程可以看作是网格顶点的膨胀过程：通用模型的每个顶点沿着某一特定方向移动，直至落入扫描模型表面。因此细节恢复的关键任务就是确定顶点沿何种方向移动。

点到面映射可将三维空间中的一个顶点映射到其附近的曲面，顶点移动的方向由该曲面的插值法向量决定，顶点附近的曲面又称基础表面。该算法最早由Jonathan Cohen等人提出［10］，其最初的目的是为了近似拟合出三维物体的外表面。本文将点到面映射应用到人脸表面细节重建中，将扫描模型的表面作为基础表面，通用模型的顶点沿扫描模型表面的法向量移动。点到面映射的原理如下：

设V为通用模型的一个顶点， M是扫描模型三角网格中与V相邻的一部分，如图4所示。记M中的一个三角形为ΔABC，且A，B，C分别为该三角形三个顶点A，B，C的法向量。假设点P为ΔABC内部的任意一点，P在ΔИ

该插值公式允许三角形ИΔABC平面上的任意点具有连续的法向量。

图4 点到面映射原理示意图

同时，构造出一个平面与ИΔABC平行，该平面与ΔABC的距离可以自由调整。设平面与ΔABC的┤个顶点法向量A,B和C分别相交于A1，B1，C1，则可以通过ΔABC,ΔA1B1C1以及三个侧面A1C1CA,C1B1BC,B1A1AB建立一个近似三棱柱，该三棱柱将V点包围在内部。注意在通常情况下，法向量A,B和C互不平行，б虼巳棱柱的每个侧面是┒次曲面而非平面。

对于三棱柱所包围空间中的任意一点，沿着ИΔABC的插值法向量移动，可以在ΔABC内部找到一个对应位置。换句话说，三棱柱内部的任意点都可以映射到ΔABC表面，且映射位置惟一。以V点为例，设P点是V在ΔABC中的惟一对应点，点P的插值法向量为P，则P点的坐标和法向量P由其质心坐标λ=(λ1,λ2,λ3) 决定，可由式(5)和式(6)计算得出。为了求解P点的质心坐标，借助一个辅助三角形ΔA2B2C2，如图4所示。ΔA2B2C2与ΔABC平行，且其所在平面包含V点。ΔA2B2C2的顶点A2，B2，C2由包含V点的平行平面与法向量A,B和C相交确定。

当ИΔA2B2C2确定后，可以计算出V点在ΔA2B2C2中的质心坐标，用β=(β1,β2,β3)表示。可以证明β=λ［7］，因此V点在ΔABC上的对应位置V*可由下式计算出：

И

用参数(I,β,V*)来描述顶点V与扫描模型网格M的映射关系，其中I指定顶点V在M中对应的三角形标号，β表示V在三角形I中的质心坐标，V*表示顶点V映射后的位置。注意到扫描模型中的头发和脖子区域并不完整，在这些区域中无法找到V与M的对应关系，因此将(I,β)设置为0，并令V*=V，即这些区域中的顶点保持原位。

4 纹理映射

根据获取的通用模型顶点与扫描模型网格的映射关系(I,β,V*)，可重新计算出顶点的纹理坐标。设通用人脸模型顶点的纹理坐标为(u,v)，则(u,v)可由参数(I,β,V*)О聪率郊扑愠觯

И

式中:(uI1,vI1),(uI2,vI2)和(uI3,vI3)为三角形 I每个顶点的纹理坐标。 对于人脸模型的头发、脖子等区域，由于没有建立顶点映射关系，因此将区域的顶点进行柱面投影，并手工处理纹理的边缘部分，以使区域有准确的纹理对应。

5 实验结果

5.1 静态人脸模型

选择BU-3DFE数据库中编号为M0034的人脸扫描模型作为原始输入，按照上述方法，重建出其中性人脸模型和表情人脸模型。图5为M0034重建的中性人脸模型，其中图5(a)为表面细节恢复后的几何模型，┩5(b)为模型网格结构，图5(c)为纹理映射后的渲染模型。图6为重建后的表情人脸模型。

图5 中性人脸模型重建结果

5.2 人脸表情动画

由于重建的所有人脸模型均由统一的网格结构表示，因而不同的模型之间存在点到点的对应关系，可以使用帧间插值技术来生成从中性人脸到表情人脸的连续动画。设中性人脸模型为起始帧(第0帧)，其顶点坐标集合为S0，纹理位图为T0；设表情人脸模型为结束帧(第N帧)，其顶点坐标集合为SN，纹理位图为TN。依据插值原理，可以计算出中间时刻第k帧的状态：

6 结 语

本文提出了一种由三维扫描数据重建人脸模型的方法，使用一个带有完整结构的通用人脸模型适配扫描数据，首先利用径向基插值对通用人脸模型进行初步变形，使其几何形状与扫描人脸模型近似， 然后使用点到面映射将通用模型的顶点移动至扫描模型表面，从而恢

复出目标人脸的表面细节，最后重新计算出重建模型的纹理坐标，以实现纹理映射。本文对同一目标人脸分别重建出中性人脸模型和多种丰富的表情人脸模型，重建效果逼真，同时使用插值技术实现了连续的人脸表情动画。

参考文献

［1］王成章,尹宝才,孙艳丰,等.改进的基于形变模型的三维人脸建模方法［J］.自动化学报，2007，33(3)：232-239.

［2］SUN Y, CHEN X, ROSATO M, YIN L. Tracking vertex flow and model adaptation for 3D spatio-temporal face analysis \[J\]. IEEE Transactions on Systems, Man, and Cybernetics-Part A， 2010， 40(3)： 461-474.

［3］LU X, JAIN A, COLBRY D. Matching 2.5D face scans to 3D models \[J\]. IEEE Trans. PAMI， 2006， 28(1)： 31-43.

［4］KAKADIARIS I A, PASSALIS G, THEOHARIS T, et al. Three-dimensional face recognition in the presence of facial expressions: an annotated deformable model approach \[J\]. IEEE Trans. on PAMI， 2007， 29(4)： 261-293.

［5］BLANZ V, VETTER T. A morphable model for the synthesis of 3D faces \[C\]. SIGGRAPH ′99. NY, USA：ACM Press，1999.

［6］ZHANG Y, SIM T, TAN C L. Adaptation-based individualized face modeling for animation using displacement map \[C\]// CGI′04.\[S.l.\]：IEEE Press, 2004: 248-256.

［7］LEE W S, SOON A. Facial shape and 3D skin \[J\]. Computer Animation and Virtual Worlds，2006，17(3-4)： 501-512.

［8］YIN L, CHEN X, SUN Y T, et al. A high-resolution 3D dynamic facial expression database \[C\]// IEEE FGR. USA: IEEE Press, 1999: 135-141.

［9］PIGHIN F, SZELISKI R, SALESIN D H. Modeling and animating realistic faces from fmages \[J\]. International Journal of Computer Vision, 2002, 50(2): 143-169.

［10］COHEN J. Simplification envelopes \[C\]// Proceedings of SIGGRAPH′96.\[S.l.\]: IEEE Press, 2006: 119-128.

作者简介：

黄炎辉 男,1985年出生，山东泰安人,硕士生。主要研究领域为虚拟现实、人脸建模。

樊养余 男,1960年出生，博士生导师,教授。主要研究领域为图像处理、现代信号处理、虚拟现实等。

董卫军 男,1972年出生，陕西长安人,副教授。主要研究领域为数字图像处理、虚拟现实、模式识别等。