三维动态模型的非刚性注册技术综述

摘要：三维动态模型表示了物理世界中随时问演变的动态对象，通过非刚性注册匹配扫描获取或手工合成的离散帧序列是生成三维动态模型的核心问题，是当前学术界和产业界关注的新焦点。如何注册三维动态模型是极富挑战性的工作，因为它包含了完全交织在一起的对应关系计算和非刚性变换等具有非线性性质的问题的求解，此外，输入的帧数据通常不完美，因此解决非刚性注册问题的难度很大。文章概述了三维动态模型非刚性注册的原理、属性和应用，系统地介绍了这一领域的工作成果并进行了分类，分析了典型算法的优缺点，最后展望了这一技术的发展前景。

关键词：三维动态模型；非刚性注册；对应关系计算；非刚性变换

0、引　言

三维动态模型表示了随时间演化的动态对象，也被称为时空模型或时变模型一。该演化不但包括旋转和平移等刚性运动，还包括了非刚性变形。基于动态对象的内在结构，三维动态模型可进一步划分为关节模型和可变形的(deformable)模型。关节模型由若干具有层次结构的独立部分组成，每个独立部分具有相同(或非常相近)的刚性变换；在可变形的模型中，每个顶点进行了局部的刚性变换。因此，对于整个三维动态模型而言，涉及的变换为非刚性变换。该变换过程是自然的，不但不能有畸变，更要与真实的动态对象的演化过程相近似。三维空间上的非刚性变换本质上是一个复杂的非线性的问题，因为该变换中的基本要素一局部旋转一求解本身就是非线性的。

1、内涵与应用前景

在计算机世界中，三维动态模型离散化为连接关系保持不变的帧序列(见图1(a)和(c))，各帧记录着当前时刻模型的拓扑和结构信息。目前，建立三维动态模型的数据主要有两种技术途径：一种是通过扫描设备获取(图1(a))；另一种是通过手工合成。扫描设备从实物出发，将不同时刻的采样数据生成不断变化的三维点云/网格序列。手工合成则借助于非刚性变形技术或关键帧技术手工编辑生成自然、逼真的动态序列帧。

在计算机世界中表示和应用三维动态模型，必须注册扫描获取或手工合成的离散帧，完成各帧模型的精确匹配(图(b))，即建立不同时刻不同坐标系下各帧上顶点间的对应关系(图1(e))，并同时恢复出各顶点自然的非刚性变换过程(图1(d))。因为求解的变换是非刚性的，故三维动态模型的注册称为非刚性注册。它可以表述为：在一致对应关系和自然的非刚性变换的约束下，对以对应关系和非刚性变换为变量的性能指标函数求取极值，完成帧序列的精确匹配。

非刚性注册是重建三维动态模型过程的根本，它也是对三维动态模型作进一步处理的基础。非刚性注册必须解决诸多完全交织在一起的、很难的且往往是病态的问题。一方面，上述扫描获取或手工合成的生成方法均不能显式地提供各帧中顶点间的对应关系。众所周知，求解顶点之间的对应关系是―个典型的NP问题。这是因为，即使给定两个相等的顶点集合，建立对应关系的计算复杂度也是O(nI)(n为顶点数目)；但通常，相邻帧的顶点数目往往是不同的。从而，非刚性注册处理的是局部映射问题。另一方面，正如前文所述，如何求解自然的非刚性变换也是个复杂的非线性问题。

图1中的左图为具有噪声和洞隙的开放haoTorsO：(a)初始状态，源和目标帧模型，(b)注册后的结果；右图为封闭的dancer：(c)注册前的状态，(d)注册过程中的非刚性变换过程，(e)对应关系(采样了221对)。

各帧模型通常不是完美的，往往具有噪声和缺失数据。这是因为，在扫描过程中，由于遮挡问题，每帧中都有部分的表面没有采样信息，产生空洞甚至间隙，导致了持久性的数据缺失；此外，当前的扫描系统分辨率通常较低并且伴随着固有的噪声。而目前的扫描技术还没有有效的硬件手段来解决这些问题。因此，非刚性注册还需要根据时空相关性推断出各帧的缺失数据并降噪，提升三维动态模型的质量。

除了噪声和洞隙外，非刚性注册还必须充分考虑输入数据的其他实际情况，如内在结构(关节模型或可变形的模型)、闭合程度、亏格(genus)变换、重叠区域范围等等。在拓扑方面，需要考虑模型闭合程度，即模型是开放的外形部分(openpartial shapes，如图1(a))，还是封闭的整体(closed whole，如图1(c))；如果模型的亏格发生了改变，那么情况将更加复杂；重叠区域也影响了非刚性注册的难度，输入数据重叠区域越小，非刚性变换的尺度越大，注册难度越高。事实上，处理输入数据的范围和能力体现了非刚性注册算法的适应性和鲁棒性。

当前，三维动态模型的非刚性注册问题倍受学术界和产业界的关注。这是因为三维动态模型真实模拟动态对象的方式使其成为一个强有力的工具。它的最直接的应用领域是动画和影视制作方面。计算机上生成绚丽多彩的连续的虚拟真实画面，给人们提供了一个充分展示个人想象力和艺术才能的新天地。在《贝奥武夫》、《变形金刚》和《阿凡达》等优秀电影中，我们可以充分领略到三维动态模型的魅力。三维动态模型的非刚性注册技术可极大地提高动画和影视制作水平和效率：在显著降低成本的前提下，使制作过程更为直观，效果更为生动。此外，在人体工程学研究、模拟训练、生物力学、机器人学研究等使用和处理三维动态模型的领域，非刚性注册技术也是解决相关问题的基础。

2、国内外研究概况、水平和发展趋势

三维动态模型的非刚性注册的相关研究尚处于探索阶段，是当前国际前沿关注的新兴问题。从本质上说，非刚性注册是一个典型的系统性问题，需要综合考虑多方面的因素：外形表示方法、非刚性变换和注册策略。此外，某些先验知识往往被既有算法所借助以降低非刚性注册的难度。以下从上述四个方面对国内外研究概况、水平和发展趋势进行综述。

2.1外形表示

外形表示是非刚性注册面临的首要选择问题。当前，已有基于点云、参数、体和隐式表示的注册算法。每种表示方法均具有自身的优势和不足。

由于扫描获取设备直接生成了点云，手工合成的模型也具有顶点，故点云是最直接的选择。但基于点云进行非刚性注册时，不同帧间对应顶点位置即是采样顶点，故注册的结果与点云的采样精度和分布情况有紧密的关系。不难想象，低分辨率、噪声很大或点云分布不均匀等等因素均会导致不正确的结果。

由于参数表示有助于建立对应关系，故也被应用到非刚性注册中。但是，参数表示很难表示拓扑结构比较复杂的形体，故应用该类算法处理的模型往往是容易参数化的开放模型。

体表示方法。可以有效地处理近似封闭的完整模型，和点云和参数表示相比，体方法具有更高的稳定性，受噪声影响较小，并能够一定程度上处理亏格变化。但它在处理残缺模型时会遇到很大困难，因为很难定义出残缺部分的内外划分边界位置；对于开放模型，体方法更加不适合。

隐式方法对采样精度和分布也不敏感，是非刚性注册的另一种方式。隐式方法又可以进一步划分为无符号、带符号和

向量三种。带符号和向量的隐式方式已经在二维图像注册领域得到广泛的应用，但在三维非刚性注册领域还很少见到这方面的算法。和体方法一样，隐式方法在获得稳定性的同时，也丧失了一定的局部精确度。

2.2非刚性变换

目前，非刚性迭代最近点(iterative closed point，ICP)类算法是求解非刚性注册中使用最多的方法。该类算法完全基于空间近似启发式地确定顶点对应关系，在每个迭代步上引入了非刚性变换，从而求得光滑的变换过程。但该算法的适应范围有局限，例如，对于非小尺度的变换，若不借助其他对应关系，非刚性ICP算法往往收敛于局部最优解，错误地匹配模型。而且，该类算法对模型的质量要求较高，对噪声和缺失数据也非常敏感，而且非常耗时。

此外，为了保持变换的自然性，研究人员采用尽可能刚性的变形模型表示并求解非刚性变换。在求解过程中，等距属性是最基本的准则。等距准则不但要被变换过程所满足，也是对输入数据的基本要求。

对关节模型，研究人员手工或自动地将模型进行聚类分解；对具有显著骨架特性且近似闭合的模型，则可以诉诸于骨架来降低非刚性注册的难度。

2.3注册策略

注册策略指的是求解非刚性变换和对应关系的技术路线。基于对应关系的独立程度，可将既有的算法分为两类。一类是首先在模型间建立对应关系，而后再利用对应关系求解非刚性变换。对应关系可以为预先指定的标记点，也可以通过计算来自动建立。目前已有多种计算对应关系的方法，如利用模型表面上多尺度的曲率特征显著点、内蕴的全局多尺度缩放特征、MSbius空间上的显著特征、光流特征等等。另一类则基于非线性变分技术，同时求解非刚性变换的参数和对应关系。

2.4借助的先验知识

非刚性注册解决的是NP的局部匹配问题，故既有算法往往借助某些先验知识来降低问题求解的难度。

预先提供对应关系(即标记点)是研究人员最先采用的方案。在已知对应关系下，非刚性注册问题简化为形变(morphing)问题。但实际上，morphing本身也是一个非线性的问题，也是一个公认的难题。此外，手工设置标记点不但繁琐而枯燥，而且很多情况下对模型根本无法手工设置标记点。

模板提供了很强的几何先验知识，它将非刚性注册简化为局部一整体匹配问题，并能有效补洞和降噪。但是，基于模板的算法也有局限，主要不足之处为：①需预先建立模板(在正常情况下，很难预先建立模板)；②若建立的模板与真实对象外形相差较大，容易出现不匹配现象。

3、结束语

从计算机算法分析的角度看，非刚性注册问题是一类复杂的最优化问题，研究才刚刚起步，在概念和技术途径上也还没有统一和定型，算法的适用性、鲁棒性和高效性离实际应用还有很大的距离，尚有很多问题亟待解决：①缺乏非刚性注册问题的理论探讨与求解机理的系统性研究。既有算法均在特定假设前提下工作，非刚性注册的问题得到了简化，但往往解决的不是真正意义上的局部匹配问题；清晰的理论模型和系统化的求解方法体系的建立也无从说起。②缺乏输入数据对非刚性注册的影响的研究。现有研究大多均假定输入数据是近似完美的(无噪声和缺失数据较少)，重叠区域是较大的，或是某种特定类型的数据(或是开放的或是闭合的)，拓扑结构是不发生变化的，但现实的输入数据往往与上述假设相违背。③缺乏无先验知识辅助下的算法研究。标记点和模板等先验知识降低了非刚性注册的难度，但也约束了算法的应用范围。

尽管面临众多难题，重要的理论价值和广阔的应用前景是研究非刚性注册问题的强大动力。当前，以实用为目标，系统化考虑输入数据的影响，在无先验知识前提下，研究精确匹配、适用范围广、鲁棒性好且高效的非刚性注册算法以及分析其系统理论模型与方法体系是非常必要且十分迫切的。