融合深度信息的BRISK改进算法

摘要：为了生成新颖的艺术效果，提出了周期性动态图像模型，其每个像素都是一个时域周期函数。首先，提出了周期性动态图像的傅里叶表达，具体是将图像中每个像素对应的周期函数以一系列傅里叶系数来表达，并在实时运行中以傅里叶级数求和的结果作为每个像素的动态输出。其次，提出了三种渲染风格，使得图像的动态输出以不同的方式渲染显示。这三种渲染风格演示了三种应用，包括动态数字绘画、动态图像扭曲特效和动态对白气泡。最后，构建了原型绘画系统，并进行了有关艺术效果的心理评价实验，结果显示其生成的视觉效果新颖而多样化，且易于实现笔式交互编辑。这种图像模型可作为一种新型的艺术媒介。

关键词：数字艺术；图像表达；周期函数；傅里叶合成；动态图像；动画

中图分类号： TP317.4

文献标志码：A

Fourier representation， rendering techniques and applications of periodic dynamic images

LYU Ruimin1*， CHEN Wei1， MENG Lei1， CHEN Lifang1， WU Haotian1， LI Jingyuan2

1.School of Digital Media， Jiangnan University， Wuxi Jiangsu 214122， China

；

2.Department of Computer Engineering， Chengdu Aeronautic Polytechnic， Chengdu Sichuan 610100， China

Abstract：

In order to create novel artistic effects， a perioddynamicimage model was proposed， in which each element is a periodic function. Instead of using an array of color pixels to represent a digital image， a Fourier model was used to represent a periodic dynamic image as an array of functional pixels， and the output of each pixel was computed by a Fourier synthesis process. Then three applications with three rendering styles were put forward， including dynamic painting， dynamic distortion effects and dynamic speech balloons， to visually display the periodic dynamic images. A prototype system was constructed and a series of experiments were performed. The results demonstrate that the proposed method can effectively explore the novel artistic effects of periodic dynamic images， and it can be used as a new art media.

英文关键词Key words：

digital art； image representation； periodic function； Fourier synthesis； dynamic image； animation

0引言

在数字艺术领域，对油画、水彩、水墨等传统艺术媒介的模拟已经取得丰硕的成果，然而这并非数字艺术的终极目标。只有用计算机呈现出传统媒介不具备的艺术表现力，才能真正体现出“计算”成为一种独立的、不同于传统的、不可替代的新艺术媒介，这是今后数字艺术的重要探索方向[1]。

近年的一些探索[2-3]体现了一种可行思路，即扩展“图像”这一概念，将图像的基本成分由“颜色值”改变为传统媒介不具备的某种“计算机制”，并提出相应的表达模型，有助于创造新颖、多样的艺术特效。例如，一些研究者致力于更好地模拟绘画作品，例如采取不同于基本色彩模型的物理建模方式，模拟构成画面的物理媒介[4-5]；另一些研究者致力于提供便于交互式编辑的绘画表达方式，例如用矢量化的色彩扩散模型来表达复杂色彩构成的画面[6]，用网状嵌套的图元构成图像[7]；还有的探索新的艺术特效，例如用迭代运算来定义图像上每个像素用以生成分形图案[2]或混沌动态图案[8]，利用片段着色器定义每个像素的着色程序以生成各种视觉效果[3]。但在这些探索中，并不涉及用时域周期函数构成图像。

面向上述空缺，提出一种周期性动态图像模型，其每个像素都是一个时域周期函数，以傅里叶系数形式表达，能够输出随时间周期变化的数值。之所以选择以“周期变化”替换“颜色”，作为图像的基本成分，有三方面依据：1）类似于色彩能被直观感受，周期变化也可被人直观感受；2）在现有的研究中尚未将周期变化作为图像的基本构成元素；3）类似于色彩具有易于理解的表达形式――RGB（RedGreenBlue，红绿蓝）值，周期变化也具有易于理解的正交分解表达形式――傅里叶系数，其数学表达简单、技术实现容易，且相比其他变换域表达，每一级傅里叶系数具有明确的可感知物理意义，即特定频率的振幅，让用户能明确理解其含义，有助于进行图像编辑、创作等操作。此外，以阵列形式表达这种图像，有助于模仿已有的虚拟画笔，实现针对周期函数的笔式绘画工具。

还需说明的是，提出图像模型和当前图像表达领域的技术运用和应用领域两方面都有所区别。在技术运用方面，图像表达中常用傅里叶变换、小波变换等变换域表达，此外还有运用特殊变换以实现特殊的用途，例如Slantlet变换[9]和Spatial Polling变换[10]，但变换域表达一般是对图像信号的空间分布进行变换，而在提出的模型中却是用于表达每个像素的时域周期信号。在应用领域方面，在图像表达研究中，有的尝试融入语义和情感信息以处理有关图像理解方面的问题[11-13]，有的用纹理映射表达图像[14]，还有在机器视觉领域有重要价值的词袋（BagofFeatures，BoF）特征表达方法[15]等，这些方法一般都是面向压缩、分类、识别、检索、分割等经典图像处理问题，而本文提出的模型主要面向新颖艺术效果的生成。

1概述

周期性动态图像模型是对一般数字图像模型的扩展。为了更好地体现其类比一般数字图像的特性，以下采取对比方式概述，如图1所示。

数字图像

涉及数字图像的应用必然包括两个基本部分：模型和渲染。模型涉及图像内容的数据表达，渲染即将模型可视化呈现。典型表达方式如图1（a）所示，其中一个像素为色彩C，可表达为R、G、B分量值的合成。

周期性动态图像

同样包含两部分：模型和渲染，但其机制有所不同。与通常的数字图像模型（图1（a））类似，该模型依然将图像看作由像素构成的阵列，但是，每个像素并非色彩，而是时域周期信号I（t）。如图1（b）所示，该模型将这一周期信号表达为一系列傅里叶系数（A0～AN，θ0～θN），每一对系数Ak、θk形成一个简单的周期运动Akexp（-ikωt+θk），这一系列周期运动通过傅里叶合成的方式输出随时间t变化的周期信号I（t），其详细的数学原理描述见第2章。而渲染则是要将这一周期信号实时地转换为可视的内容，为此，本文提出了三种渲染风格（详见第3章），分别为HSV图像、扭曲和动态形状，分别用于将图像呈现为动态绘画、动态波纹效果和动态对白气泡等效果。

2周期性动态图像的傅里叶模型

类比于数字图像的模型（图1（a）），周期动态图像表达为一个函数阵列（图1（b）），位于坐标（x，y）的像素是一个时域周期函数I（x，y，t）。根据傅里叶分析理论，任何周期函数都可以表示为不同频率的正弦振荡的线性叠加，于是此像素可以表述为指数形式的傅里叶合成：

I（x，y，t）=∑Nk=0Ak（x，y）exp（-ikωt+θk（x，y））

（1）

其中：I（x，y，t）表示坐标（x，y）在时刻t的输出值；Ak（x，y）和θk（x，y）是第k级傅里叶系数；kω为第k级频率，ω为控制振荡频率的整体参数。I（x，y，t）、Ak（x，y）和θk（x，y）都是具有三个分量的矢量，它们都有三个分量，可表达为I（x，y，t）=（I1（x，y，t），I2（x，y，t），I3（x，y，t））， Ak（x，y）=（Ak0（x，y），Ak1（x，y），Ak2（x，y）） 和θk（x，y）=（θk1（x，y），θk2（x，y），θk3（x，y））。式（1）也展示了该模型的动态机制：一个位于坐标（x，y）的像素是一个矢量周期函数，它是频率为0ωt，1ωt，…，kωt，…，Nωt的简单振荡的线性叠加。这些简单振荡的振幅和相位各有不同，即傅里叶系数Ak（x，y）和θk（x，y）。因此，一个周期动态图像的每个像素都表达为一系列傅里叶系数A0，A1，…，AN和θ0，θ1，…， θN。傅里叶系数的最大阶N取无限大时，则本模型可表达任意周期函数，但限于程序实现的实际需求，需要设 N为一个固定值。类似于数字图像中各个像素具有不同的色彩值，周期性动态图像中不同位置的像素具有不同的傅里叶系数，因而在时刻t输出不同的值，从而此图像成为一个随时间周期性变化的场。

3三种渲染风格及其应用

周期动态图像是个动态场，即输出值随时间呈周期变化的函数阵列，需要有专门的渲染技术来动态地呈现。

3.1渲染风格1： HSV图像

这种风格将周期动态图像的实时输出值I（x，y，t）作为HSV（HueSaturationValue，色相饱和度明度）颜色呈现出来，I（x，y，t）的三个分量分别对应色相、饱和度和明度，即I1（x，y，t）作为H，I2（x，y，t）为S，I3（x，y，t）为V，于是，I（x，y，t）呈现为一幅动态图像。为了更清楚地解释其机制，将I（x，y，t）的表达形式改写为I（x，y，t）=（H（x，y，t）， S（x，y，t）， V（x，y，t））。这种渲染风格的计算即是在时刻t对每个像素执行下列运算：

步骤1对该像素输出的H、S、V的值进行变换，即截断于区间[-1，1]并线性映射到区间[0，1]。

步骤2对变换后的H、S和V值，通过以下方程调整数值：

H′=fract（H+α）

（2）

S′=Sβ

（3）

V′=Vγ

（4）

其中：α、β、γ是调节H、S和V分量全局参数；函数fract（p）的作用为取p的小数部分。

步骤3将变换后的HSV颜色转换为RGB颜色并显示。

这种渲染风格将周期性动态图像呈现为一种动态绘画艺术形式。图2显示了一幅作品《麒麟》的四幅运行时效果截图，（a）～（d）是在参数α、β、γ取不同数值时获得的效果，其取值分别为：（a）α=0， β=1， γ=1；（b）α=0， β=2， γ=1.5；（c）α=0.6， β=0.5， γ=1；（d）α=0.6， β=05， γ=1.5。根据这些取值及其对应的截图效果，并对照式（3）～（5）可见：参数α用于调整图像整体的色相；β用于调整输出图像整体的饱和度，其数值越大，饱和度越小；γ用于调整输出图像整体的明度，其数值越大，整体越暗。图3显示的是另一作品《玫瑰》的截图。

由此可见，周期性动态图像可用于实现动态效果的数字绘画。这与以往关于“绘画”的概念不同在于，此时画布上的颜料不再是“色彩”，而是“输出色彩值的周期函数”。

3.2渲染风格2：扭曲

这种渲染风格将I（x，y，t）前2个分量I1（x，y，t）， I2（x，y，t）作为图像扭曲的参数，如同把图像透过一个动态扭曲的波纹状透明介质显示。如图4所示，这种渲染风格的运算机制可表达为：

Cout（x，y，t）=Cin（x+s・I1（x，y，t），y+s・I2（x，y，t））

（5）

其中：Cin（x，y，t）是指时刻t时视频源在（x，y）处的颜色，而Cout（x，y，t）是时刻t时在输出平面的（x，y）处显示的颜色；s是控制图像总体扭曲变形程度的一个全局参数。上述方程相当于从视频信号源进行的一个采样，其中参数I1（x，y，t）和I2（x，y，t）确定了从视频源图像取样的位置偏移量。

图5显示的是图3中的作品“玫瑰”在“扭曲”模式中的显示效果截图。它表明，周期性动态图像可用于模拟动态的光学扭曲效果。若提供对周期图像的笔式交互编辑工具，则用户可以通过绘画的方式设计和编辑动态扭曲特效。

3.3渲染风格3： 动态形状

此渲染风格用周期性动态图像的动态输出驱动几何形状的动态形变。在此渲染风格下，需要在图像的输出平面上布置多个动态形状，每个动态形状是一条可被图像驱动的动态封闭的折线。图6示意了在一幅周期性动态图像上的一个动态形状，为一系列动态的顶点V0，V1，…，Vm，…， VM构成的封闭形状（虚线部分），即实际显示的动态形状，其中Vm是表示顶点位置的二维向量。Vm可由其矢量分量写为Vm：（xm，ym），其运动变化机制由下式表达：

Vm（t）=Um+I1（xm，ym，t）・Nm+I2（xm，ym，t）・Tm

（6）

其中：Um是在该动态顶点的锚点，即该顶点的静态位置，而所有顶点的锚点则表示了该动态曲线的静态位置（实线部分）；Nm和Tm分别是这个顶点在其静态位置Um的法向量和切向量；I1（xm，ym，t）和I2（xm，ym，t）是对应的周期动态图像在锚点Um处的实时输出值I（x，y，t）的前两个分量。该公式的含义是：动态形状的每一个动态顶点的位移都被周期性动态图像在其锚点位置的动态输出值所驱动。于是，动态形状每个顶点随着周期性动态图像的变化呈周期运动。

由于形状的运动与周期性动态图像的变化同步，所以可以通过编辑周期性动态图像来改变对白气泡的运动模式，用以实现不同情境的气泡。图7显示了 “尖叫”“嘈杂”“心颤”三种不同情境的动态对白气泡的实时运行截图。它们表明，运用这种方法可以构建出多种不同意境的动态对白气泡。这一技术可运用于实时聊天工具、社交游戏、动漫制作等领域，用于实现对白的情境增强。

4交互式绘画原型系统

在周期性动态图像模型的基础上，实现了原型绘画系统，让用户操作画笔工具对图像进行编辑。图8示意了该系统的图形界面，包含了一个绘画系统最基本的功能和工具：

1）存取作品：对创作/编辑的作品进行保存和读取；

2）画布：接受用户的画笔操作，并显示绘画的实时渲染效果，并可切换第3章所述的三种渲染风格；

3）笔刷参数：对笔刷的各种参数进行设定，包括颜料（傅里叶系数值）、大小、强弱（画笔作用于画布的强度）、旋转等参数，并预览笔刷的绘制效果；

4）笔刷预设：保存/读取笔刷参数的多种预设方案。

在此系统中，画笔的运行机制和交互模式接近于Photoshop中的画笔。画笔交互机制为，随着用户的拖拽操作在画布上移动，并且还具有大小、强弱、旋转角度等可调参数。画笔的作用机制为，在移动过程中，不断地将画布上对应位置的“颜料”数值改变为画笔上设定的“颜料”数值，其作用方式完全采取Photoshop等绘画软件中的Alpha混合计算[16]，只是本系统中作用的“颜料”由通常意义上的色彩值变为了傅里叶系数值。

该系统表明，所提出的图像模型有利于实现画笔交互式编辑，其原因是：1）由于模型模仿了一般位图式的数值阵列形态，便容易将已有的画笔式交互技术运用于周期性动态图像的交互式编辑；2）以往颜料的RGB颜色值有易于理解的含义，类似的，傅里叶系数值也有易于理解的明确物理含义，这对于用户理解并运用“周期运动”这种非常规的颜料非常有帮助。

5实验评估

如引言所述，要达到的目标为实现不同于传统媒介的、新颖且多样化的艺术效果。前文中展示的一些图例一定程度地体现了该目标，但由于艺术效果属于个体差异较大的心理感受，其新颖性既无法用客观的数值计算来论证，也不能以单独个人的感受为准。因此，采取统计心理学实验方法进行验证更加恰当。

具体实验方法如下：

步骤1准备3幅静态艺术图片作为对照组，包括山水、生物、肖像三个不同的题材，然后运用第4章的原型绘画系统， 模仿此三幅图片的构图形式，创作出3幅周期性动态绘画作品，作为实验组。6幅图像如图10所示。

由此可以推断，周期性动态图像比通常的静态艺术图片更具新颖性。需要指出的是，由于实验中选取的对照组图片的效果和题材有限，因此测试结果并非全面证实其新颖性，但其数据体现出的极高显著性，仍可相当大程度地证实结论；但限于篇幅并未进行更加细致的多因素方差分析。

另一方面，从之前示例的多种渲染风格以及多种题材的示例图片可见，周期性动态图像也能用于实现多样化的艺术效果。

6结语

周期性动态图像中每个像素为时域周期函数，于是能够呈现出新颖的动态绘画、视觉特效和动态几何形状，体现出不同于传统艺术媒介的效果；而且由于其类比于通常数字图像的数值阵列表达形式，使得以往的数字笔刷技术容易应用于对它的笔式交互编辑。由于每个像素的数值含义不再是色彩值，因而针对它的图像处理、艺术滤镜、交互式编辑等技术还非常不足，对其进一步研究有利于探索出更多的新应用。

参考文献：

[1]

GOOCH A A， LONG J， JI L， et al. Viewing progress in nonphotorealistic rendering through Heinleins lens [C]// NPAR 10： Proceedings of the 8th International Symposium on Nonphotorealistic Animation and Rendering. New York： ACM， 2010： 165-171.

[2]

CONTE S J. Fractals and art [D]. Worcester： Worchester Polytechnic Institute， 2003： 12-20.

[3]

JEREMIAS P， QUILEZ I. Shadertoy： learn to create everything in a fragment shader [C]// SA14： SIGGRAPH Asia 2014 Courses. New York： ACM， 2014： Article No. 18.

[4]

HAASE C S， MEYER G W. Modeling pigmented materials for realistic image synthesis [J]. ACM Transactions on Graphics， 1992， 11（4）： 305-335.

[5]

BAXTER W， WENDT J， LIN M C. Impasto： a realistic， interactive model for paint [C]// NPAR 04： Proceedings of the 3rd International Symposium on Nonphotorealistic Animation and Rendering. New York： ACM， 2004： 45-148.

[6]

ORZAN A， BOUSSEAU A， BARLA P， et al. Diffusion curves： a vector representation for smoothshaded images [J]. Communications of the ACM， 2013， 56（7）： 101-108.

[7]

HU S， ZHANG F， WANG M， et al. PatchNet： a patchbased image representation for interactive librarydriven image editing [J]. ACM Transactions on Graphics， 2013， 32（6）： Article No. 196.

[8]

BOSCH R， OLIVIERI J. Gameoflife mosaics [C]// Proceedings of Bridges 2014： Mathematics， Music， Art， Architecture， Culture. [S.l.]： Tessellations Publishing， 2014： 325-328.

http：///2014/bridges2014-325.pdf

[9]

ARATHI T， PRAMESWARAN L. A method for image representation using Slantlet transform and phase congruency [C]// ICONIAAC 14： Proceedings of the 2014 International Conference on Interdisciplinary Advances in Applied Computing. New York： ACM， 2014： Article No. 36.

[10]

LI X， SONG Y， LU Y， et al. Spatial pooling for transformation invariant image representation [C]// MM 11： Proceedings of the 19th ACM International Conference on Multimedia. New York： ACM， 2011： 1509-1512.

[11]

ZHANG C， WANG S， LIANG C， et al. Beyond bag of words： image representation in subsemantic space [C]// MM 13： Proceedings of the 21st ACM International Conference on Multimedia. New York： ACM， 2013： 497-500.

[12]

SU Z， ZHAO C， ZHANG H. Locality sensitive sparse concept coding and its application to image representation [J]. Journal of ComputerAided Design & Computer Graphics， 2014， 26（1）： 81-87. （舒振球，赵春霞，张浩峰.局部敏感的稀疏概念编码及其在图像表示中的应用[J].计算机辅助设计与图形学学报，2014，26（1）： 81-87.）

[13]

LI B， XIONG W， HU W， et al. Contextaware affective images classification based on bilayer sparse representation [C]// MM 12： Proceedings of the 20th ACM International Conference on Multimedia. New York： ACM， 2012： 721-724.

[14]

XU T， GONDRA I. Texture map： an effective representation for image segmentation [C]// C3S2E 09： Proceedings of the 2nd Canadian Conference on Computer Science and Software Engineering. New York： ACM， 2009： 197-203.

[15]

LIANG Y， YU J， LIU H. Study of BoF model based image representation [J]. Computer Science， 2014， 41（2）： 36-44. （梁晔，于剑，刘宏哲. 基于BoF模型的图像表示方法研究[J].计算机科学，2014，41（2）：36-44.）

[16]

PORTER T， DUFF T. Compositing digital images [J]. ACM SIGGRAPH Computer Graphics， 1984， 18（3）： 253-259.

SIGGRAPH 84： Proceedings of the 11th annual conference on Computer graphics and interactive techniques. New York： ACM， 1984： 253-259.