视频结构挖掘方法改进模拟仿真培训系统

摘 要:不同类型的视频具有不同的内容和不同的内容组织结构。针对视频类模拟仿真培训系统的开发现状及存在的问题,提出通过引入视频结构挖掘思想方法,对培训系统的视频数据进行进一步挖掘,以解决培训系统中人机交互智能化问题。首先对培训系统的视频结构进行规范化定义,结合视频结构挖掘的概念框架,提出改进模拟仿真培训系统的视频结构框架,最后阐述了应用该结构框架进一步对培训系统的视频数据进行挖掘的基本方法。改进方案的分析过程表明,该改进方法应用于培训系统可以优化此类系统的视频单元结构,进一步挖掘其高层语义信息,提升培训系统的智能化,对此类系统培训方案的制定和培训质量的改善具有理论指导意义。关键词:视频数据; 视频结构挖掘; 模拟仿真; 培训系统

中图分类号:TN941-34文献标识码:A

文章编号:1004-373X(2010)16-0146-03

Improvement of Simulation Training System by Video Structure Mining Method

CHEN Zhen1, CHENG Jia-cheng2

(1. College of Information and Control Engineering, China University of Petroleum, Dongying 257061, China;

2. Petrochina Beijing Marketing Company, Beijing 100101, China)

Abstract: The content and the structure of the video vary with the video type. The video data of the training system can be further mining by introducing the idea of video structure mining to solve the human-computer interaction problems for the present state and the problems of simulation training systems. The video structure of the training system was defined and the improvement of the video structure framework of the available simulation training systems is proposed in combination with the concept framwork of the video structure mining. Under this framework, the improvement methods can optimize system structure, obtain the high level semantic information,make the system more intelligent andprovide the instruction for dicision of the training approach or improvement of the training quality.Keywords: video data; video structure mining; analog simulation;training system

0 引 言

计算机仿真技术和可视化技术的应用[1-2] 在模拟仿真培训系统中可以带来巨大的社会效益和经济效益。随着计算机的发展和图形技术的进步,模拟仿真培训系统要求仿真可视化更加直观、逼真和具有良好的人机交互能力。本文尝试以基于视频的模拟仿真培训系统为研究对象,通过挖掘其视频结构中语法模式和语义规则,合理优化培训系统视频单元结构,为提升培训质量提供理论指导。

原始视频是一种非结构化时基媒体,通过视频的结构化可以实现计算机的有效管理、访问和检索。传统基于视频的模拟仿真培训系统采用常规的视频结构化方法,即仅采用视频的基本结构,而缺乏视频的结构语义描述,这种视频结构化存在高层信息处理方面的缺点,难以提升此类系统的人机交互智能化水平。

通过视频挖掘方法发现,原始视频所蕴含的基本结构、镜头语法、场景语法表征视频的语法模式;通过抽取的视频特征类关联规则和与时间相关的事件关联规则表示视频包含的结构语义。这些视频结构知识可以用于视频数据库的组织与管理、基于内容的个性视频推荐、基于语法和语义的视频摘要等视频数据的处理当中,因盯以可有效解决人机交互的智能化问题。

1 视频结构挖掘的概念框架[1-2]

视频的基本结构(如图1所示)是由帧、镜头、场景、视频组成的基本层次结构,在基本层次结构之上,还有视频语法结构(如视频编辑语法、视频单元之间的关联语法等)和视频语义结构(如视频中的精彩镜头、事件、户内/户外场景等),以及视频中的主要对象。结合视频语法和语义,视频结构一方面是由帧、镜头、场景、视频组成的层次关系,同时更重要的是隐藏在基本结构之中的语法结构知识和语义结构知识(系统总体框架如图1所示)。

图1 视频挖掘系统总体框架

2 基于视频结构挖掘技术的培训系统框架

2.1 培训系统视频基本结构挖掘

对于模拟仿真培训系统,结合需求及功能,考虑定义其视频基本结构(如图2所示)如下:

(1) 视频V。定义为一个完整的培训系统,由n个场景组成,具有表征整个视频V的m个属性特征;

(2) 场景C。定义为培训系统(即视频V)中包含的培训项目,每个场景C针对不同培训类型的培训人员;

(3) 镜头S。定义培训项目(即场景C)中包含的培训操作内容,每个镜头S针对相同培训类型的培训人员。

(4) 关键帧F。定义培训操作内容(即镜头S)中包含的操作步骤所对应的特征帧F。

图2 基于视频结构挖掘技术培训系统框架

2.2 培训系统视频语法挖掘[1-5]

视频语法挖掘方法是根据前面视频基本结构的相关定义,从视频基本结构中挖掘出视频结构构造模式的过程,探索视频结构和特征(指表征视频V的m个属性特征)的关系,主要有镜头S(即培训操作内容)的构造模式、场景C(即培训项目)的构造模式和整个视频V(即培训系统)的构造模式。挖掘过程主要包括:

(1)根据需求制定的培训方案进行视频镜头分割;

(2) 根据分割的镜头挖掘并抽取特征;

(3) 根据特征进行镜头聚类;

(4) 根据镜头聚类结果进一步挖掘视频结构语法模式。

具体的语法模式挖掘方法可以采用关联规则挖掘算法对视频字符串序列进行关联规则挖掘,挖掘视频镜头中的频繁关联模式,得到视频的结构语法,并对视频结构语法进行识别和分析。图3给出了视频结构语法挖掘框架。

视频语法结构根据视频表达信息内容和视频目的运用多种视频镜头的组合方式,即通过将各种镜头以特定的方式组合在一起,表达一定的语义含义。而这种镜头组合方式会重复地出现,从而形成视频中的“结构语法模式”。