基于对象的时空域压缩视频摘要技术

摘要：视频数据挖掘相对于传统的文本数据挖掘的一大难点在于，视频数据占用空间大、计算时耗长，给诸如视频信息挖掘、基于内容的视频检索等研究带来了巨大挑战。其中难以达到计算实时性、信息冗余成为了亟待解决的问题。针对以上问题，本文提出了一种基于对象的时空域压缩视频摘要技术。不仅在时间域上精简压缩源视频，同时将运动对象紧凑地分布至二维空间域上，最大程度地压缩原始视频并且保留有用信息。通过实验表明，与现有的视频摘要技术相比，该技术能够更加直观精简地表达源视频。

关键词：关键帧 运动检测 对象追踪 混合高斯模型 时空域

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2013）11-0086-03

视频摘要技术[1]是基于内容的视频检索、视频浏览、索引相关应用的一个关键步骤。随着针对多媒体数据的信息挖掘技术逐渐成为热点，以及人们对周围生活的安全意识的不断提高，互联网中的视频数据以及各种渠道获取的监控视频数据正以指数级的速度累积增长。然而视频数据本身存在的冗余性限制了人们想要更加精简地浏览视频的需求，视频摘要技术正是将原始视频进行处理使得原始视频在经过处理后，占用空间更小、保留原始信息更多，使原始视频以一种更加精简梗概的形式表达。以监控视频为例，一个场景中较长时间的监控数据中含有大量的冗余信息，如：小区停车场、教学楼走廊、银行超市某块受监控的区域等。人们希望能够将视频中这些无用信息去除掉，最大程度地保留原始视频中的信息并且以一种更加简洁地方式表现出来。本文提出了一种基于对象的时空域压缩的视频摘要技术，该技术是以对象检测为基础，将运动对象在时间域和空间域上同时进行压缩，使得原始视频中出现过的运动对象更加紧致。

1 视频摘要技术简介

视频摘要大致由以基于静态图像的视频概要和基于动态图像的视频缩略为主的两大类组成[1]。

1.1 视频概要

视频概要是以定格静态图像的产生为目的的视频摘要技术，该类方法对原始视频进行特定算法处理后会产生由一系列静态图像组成的图像集合，该图像集合便是原始视频的摘要。视频概要主要以挖掘视频中的关键帧为目的进行处理。关键帧即代表帧，是原始视频中一个场景中最有代表性或者说是信息量最大的一幅图像。近二十年来，研究人员在该类视频摘要技术的研究领域取得了不小的进展。如，基于镜头边界检测的关键帧抽取技术[1]；基于颜色的关键帧抽取技术[1]；基于运动的关键帧抽取技术[1]，该方法利用光流法[1]对图像进行处理找出运动趋势大于一定阈值的图像集合作为关键帧；基于对象的关键帧抽取技术[1]；基于特征向量的关键帧抽取技术[1]等。

1.2 视频缩略

视频缩略是以产生以段为单位的视频序列为目的的视频摘要技术，该类方法是将原始视频进过算法的处理后去除视频中一些非关键的部分，保留原始视频中相对重要的信息形成视频摘要。视频缩略主要以挖掘去除视频中冗余信息提取主要信息为目的的视频摘要技术。然而如何去界定视频中的那些信息是冗余那些信息是关键的，这个问题取决于应用场景。如，VAbstract（Pfeiffer et al 1996）[1]工具；基于时间压缩的视频缩略[1]，该方法使用的最为朴素的将原始视频进行”fast forward”即快进处理形成视频摘要；自适应的时间压缩视频缩略[1]；基于文本和声音的视频缩略技术[1]等。

2 基于对象的时空域压缩视频摘要技术

该视频摘要技术是以运动对象为研究实体，从监控视频中通过运动对象检测算法抽取出运动对象，获取这些运动对象的运动轨迹信息，将这些得到的运动轨迹采用一种贪婪算法的方式分布至监控场景中，该背景画面是在进行运动物体检测的同时通过算法进行学习得到了，所以在生成摘要的时候不需要额外的开销去计算得到场景背景。

2.1 运动对象检测

视频序列中的运动物体检测[1]一直以来就是一个热点研究问题，焦点便集中在如何去获取监控视频场景中的运动对象以及如何去构建场景的背景画面。

常用的方法有很多，最简单的是利用视频序列的时序性这一物理特征进行帧差法，即将当前视频与前一帧做插值，得到的插值像素再用一定的阈值过滤，将保留下来的插值图像予以一定的图像的开闭处理，最终得到运动对象。

4 实验结果

在Windows 7 64bits， Intel CORE i5， 4GBs memory， AMD Radeon HD 7650M的单机上进行了3个时长均为15mins监控视频的视频摘要生成，该应用模式较为简单，目的是去除场景中的”空”帧，保留经过监控区域的运动对象信息，如图4，5所示。

本文测试了三个监控视频的效果，以检测人数当作一个摘要性能的指标进行评价。如表1。

5 结语

视频摘要技术，它的概念类似于文本摘要，即通过计算机自动处理技术，对视频的内容和结构进行分析，并从原视频内容中提取出用户需要的信息，再做进一步处理。如果一个视频摘要能够做到尽量准确和充分，那么就能够让用户在最短时间内获得关键的信息，极大地提高效率。本文详细介绍了实现基于对象的时空域压缩视频摘要技术的几个组成部分，并对相关部分进行阐述，同时对视频摘要技术领域的相关技术分类做了一个简单的介绍。但是本文中涉及的对象追踪部分，在一些遮挡物较多的监控场景下效果不是很理想，因此在未来的工作中会把一部分工作放在改进追踪算法的效果上。

参考文献

[1]Ben Wing .” Video Summarization”. CS 395T， Spring 2008 April 11， 2008.

[2] Massimo Piccardi.” Background subtraction techniques： a review”. The ARC Centre of Excellence for Autonomous Systems （CAS） Faculty of Engineering， UTS， April 15，2004

[3] Pritch， Y.， A. Rav-Acha， and S. Peleg （2008）. Non-Chronological Video Synopsis and Indexing. IEEE Trans. PAMI， to appear Nov. 2008. 15p.