基于内容的视频检索技术教学应用研究

【摘要】首先指出了传统视频检索的局限和不足，阐述了基于内容的视频检索过程；以视频教材为结合点，总结了基于内容的视频检索技术在教学中应用的思想和方法，思考了该技术对视频教材开发的启示；并针对提高视频教材交互性的问题，提出了自己的观点。

【关键词】基于内容的视频检索；视频教材；交互性；关键帧；学生支持服务

【中图分类号】G431 【文献标识码】A 【论文编号】1009―8097 (2008) 07―0101―03

一 引 言

随着多媒体、网络和计算机技术的发展，特别是海量存储技术和流媒体传输技术的成熟和完善，数字视频已经成为教育教学中重要的资源类型。如何快速有效的检索视频资源，如何提高视频教材的交互性，成为其能否在教育教学中充分利用的关键因素。

数字环境下，传统的电视教材经过数字化编码以后，可以通过网络传播，利用计算机硬盘、光盘存储，通过计算机播放呈现内容，已经突破了以往仅通过电视传播和呈现的单一方式。因此，传统电视教材的概念已经不能完全涵盖数字环境下电视教材的内涵。基于此，本文把数字环境下的电视教材称作视频教材。

视频信息通常包括两部分：一部分是底层的视觉信息，如：颜色、纹理、主体形状和运动特征等；另一部分是高层的语义信息。视频数据本身只能表达视觉信息，而不能表达其语义信息，因此视频的语义信息具有多样性和模糊性，不同的人对同一段视频可能会有不同的解释，加上视频信息数据量大、数据结构复杂， 这就决定了对视频的检索要更复杂、更困难。视频检索就是从大量的视频数据中找到所需的视频片段。传统的视频检索基于关键词描述(Keyword-based Video Retrieval，KBVR)，其描述能力有限、主观性强、需要手工标注，视频数据库建设成本高、周期长，检索的单位只局限于电影或整场比赛，对于更小的视频片段，如一个场景或镜头的检索，只能依靠传统的快进、快退等手段进行人工查找。费时、费力且不能满足用户对视频内容检索的要求[1]。基于内容的视频检索既能向用户提供基于颜色、纹理、形状及运动特征等视觉信息的检索，又能提供基于高级语义信息的检索，具有在镜头、场景、情节等不同层次上进行检索的功能，能满足用户基于例子和特征描述的检索要求。

二 基于内容的视频检索过程分析

镜头是视频数据的基本单元，所以基于内容检索的视频处理，首先必须将视频序列分割为镜头，再对每个镜头进行特征提取，得到一个尽可能反映镜头内容的特征空间，作为镜头聚合的依据。镜头特征包括静态视觉特征和动态特征两个方面。静态特征主要指颜色、纹理及主体形状特征等。静态特征的提取是通过对镜头关键帧特征提取实现的。关键帧是从镜头中抽取出来的，能反映镜头内容的一组静态图像。动态特征的提取是在对镜头运动分析的基础上进行的，运动分析主要是针对目标运动轨迹的变化、目标大小的变化、镜头运动的变化（如：推、拉、摇、移、跟等），所采用的方法主要有基于块的方法、像素递归方法、贝叶斯方法和基于光流方程的方法等。所提取的特征被存入特征库中，并以此进行索引。在镜头的基础上，根据镜头特征进一步进行镜头聚类，形成情节，然后提取情节的代表帧 ,并进行描述后存入视频数据库。最后根据用户提交的查询按照一定的特征进行视频检索 ,将检索结果按相似程度提交给用户，这样用户就可以方便的浏览和检索视频。基于内容的视频分析如图1所示[2]。

基于内容的视频信息检索系统一般由索引、查询、检索三大模块组成。索引模块中，运用镜头分割、关键帧选取、特征提取等技术对视频数据进行预处理, 并实现视频特征索引的建立；查询模块是实现人机交互的重要接口, 通过该模块用户可以容易地实现交互信息查询, 即方便地向系统提交自己的各项特征要求，并可把检索结果作为进一步查询的输入，实现更精确的检索；检索模块主要完成视频特征索引与用户提交的各项特征的相似度计算、特征匹配，并根据相关度进行结果排序后提交给用户。基于内容的视频检索系统整体模块图如图2所示[3]。

基于内容的视频检索的关键技术主要有镜头检测技术、镜头聚类技术、视频数据库组织和索引技术、视频语义分析技术以及显示和交互技术等。

三 教育教学应用

在教育教学方面，基于内容的视频检索技术主要是用来对视频教学资源进行有效的检索和管理，比如：灵活获得所需视频教学资源，学校图书馆的数字化，远程视频教学等方面。文章主要以视频教材为结合点来研究基于内容的视频检索技术在教育教学中的应用。

1 视频教材交互性研究

受传统教育的影响，我国的学习者特别钟情于视频教材。但由于传统电视教材大都以整节课为单位开发的，具有整体性、封闭性等特点，因此几乎不具备交互性。而交互是学习的灵魂，交互的缺乏，将严重影响学习效果。建构主义学习理论认为学习不是靠灌输知识而完成的，而是学习者对知识意义建构的过程，这种对知识意义的建构无处不体现着交互。

（1） 交互的概念

交互即教学交互，是指在学习过程中，以学习者对学习内容产生正确意义建构为目的，学习者与学习环境之间的相互交流与相互作用。而交互性是反映媒体支持教与学相互作用的能力或特性，是教学交互发生的前提[4]。穆尔把教学交互分为三种类型：学习者与学习内容的交互、学习者与教师的交互和学习者与学习者的交互（Moore,1989）。Hillman在1994年提出了第四种交互即学习者与媒体界面的交互（Hillman,1994）。我们这里所谈的交互，是把视频教材作为与学习者交互的实体，即学习者与媒体界面的操作交互，也是学习者与学习内容产生交互的基础。

为了实现视频教材的交互，我们有必要将其分为两种：一种是视频教材的内部交互；另一种是视频教材的外部交互。前者是指在拍摄制作视频教材的过程中教师根据教学设计所组织的教师和学生及学生与学生之间的交互；后者则是指视频教材在使用的过程中能够根据使用者的需求动态调整所呈现的内容而实现的交互。

由于传统的电视教材是完全按时间的顺序连续播放的，因此只存在内部交互，并且，一旦开发制作完成，其内部交互就不会再改变，很难适应不同的使用者。

在数字环境下，我们可以从较微观的角度开发视频积件素材，即以知识点为单位开发；利用流媒体传输技术、SMIL技术及基于内容的检索技术等充分的共享和使用视频积件素材；再根据自己的需要，组合成视频教材，并增加控制组件，以实现视频教材的外部交互。

（2） 交互的实现及交互模型

在教和学的过程中，教师和学生均可利用基于内容的视频检索平台，检索所需的视频积件素材，如果是通过网络检索，根据需要下载到本机，或利用流媒体技术实时播放。

一方面，教师可根据实际教学需要，利用积件组合平台（可以是非线性编辑工具，如：Premier、Video studio等，也可以是多媒体编著工具，如：PowerPoint、Authorware、Flash等，还可以是自行开发的多媒体组合平台）将视频积件素材组织成能适应不同教学情景的视频教材，并加入交互控件。教师在利用视频教材授课的过程中，可以灵活安排教学进程，并根据学生的反应和教学需要动态的改变播放内容及播放顺序以实现与视频教材的交互。另一方面，学生既可以利用教师的视频教材进行自学，并根据自己的实际情况，来选择不同的视频内容，实现与视频教材的交互；也可以从视频积件库中直接检索所需视频积件素材，组合成适合自己的视频教材，并在学习过程中灵活的与其完成交互。通过对视频教材的交互，可以有效的实现教师教和学生学的个性化。数字环境下视频教材交互模型如图4-2所示。

2 视频教材的应用

（1） 在课堂教学中的应用

在课堂教学中，教师既可以根据教学需要，完全依靠视频教材来讲解课程内容，然后做强调总结，这主要适合于体育、实验等操作性较强的课程；也可以利用插播型视频教材，利用电视的形象性，突破重点、难点，在播放的同时，观察学生的反应，遇到困难的地方可以停下来，重点解释或让学生互相讨论，这样既增强了教材的教学性，又提高了使用的灵活性，既有利于发挥教师的主导作用，又能充分调动学生的积极性，实现了教师讲授与视频教材的密切配合[5]；还可以检索选择合适的视频积件素材，利用非线性编辑工具或多媒体编著工具，制作成符合教学要求的视频教材或把视频素材整合到多媒体课件中，进行多媒体教学。

（2） 在远程教育中的应用

① 作为远程学习者重要的学习材料

在远程教育中，学习者主要是利用远程教育机构事先开发出来的学习材料自学。远程学习者大多是成人，个体差异较大，这就要求在远程教育中要综合使用多种媒体以适应不同层次、不同需求的学习者的选择。受传统教育的影响，中国的远程学习者对教师的依赖性较强，而在远程学习中教师和学生是时空分离的，教师和学生在通常的情况下不能面对面的交流，这样就使能够传播教师影像和声音的视频教材成为中国远程学习者的主要学习媒体[6]。

在远程教育中，可充分利用电视的形象直观性，提供丰富具体的直观材料，合理利用思维、记忆和注意等认识规律，最大限度的调动学习者的积极性，从而突破教学中的重点、难点；利用电视手段，把宏观和微观的自然现象和事物发展过程进行浓缩和扩展，形象的展现在学习者面前，特别是对于实验教学，通过电视的缩放、旋转等技巧，使学生更清楚的观察实验现象，更深刻的理解实验过程；也可利用视频教材为学习者提供模拟的语言环境和操作环境，将所学知识与现实操作有机地结合起来，帮助学生提高技能。

② 为远程学习者提供学习支持服务

远程教育实践证明，为了保证学生顺利完成学业，提高远程教育的质量，远程教育机构除了为学生提供优质的课程学习材料之外，还需提供完善的学生学习支持服务即要给予远程学生持续关注，只有这样才能了解不同学生在学习过程中遇到的各种问题，并及时给予支持和帮助。

目前，远程教育逐渐成为人们终身教育的首要选择，基于资源的学习成为远程学习的一种重要形式。因此，在学生支持服务中，资源服务成为一种重要的服务形式，而图书馆服务又是资源服务中最重要的服务。在远程教学中，图书馆不仅仅是传统的藏书库、出纳台和阅览室，其形式也随着网络技术、多媒体数据库技术在远程教育中的应用发生了变化，其电子化、数字化趋势日益显著。在数字化、网络化环境下，资源库的建设成为制约图书馆服务质量的关键因素。而视频教材是资源库中的主要资源形式。大量的视听资料在网络技术和多媒体技术的支持下，可以像书籍一样，让学习者自由索取阅览，学习者可以在任何时间、任何地点进行学习，从而得到完善的资源服务。

四 结束语

基于内容的视频检索至今也只有十多年的历史，仍属于一个新兴研究领域，经过众多相关工作者的探索和研究，取得了一定的进展，开发出了一些实验检索平台，在数字博物馆、数字图书馆、远程医疗、服装设计、建筑设计及公安侦破等领域得到了成功运用。但目前仍处于实验研究阶段，尚没有一个完善的商用平台。随着研究的深入和技术的成熟，基于内容的视频检索技术将进一步促进课堂教学和远程教育的发展。

参考文献

[1] 李建生.远程教育中基于内容的视频检索研究[J].中国远程教育,2005,(3).

[2] 张继东,陈都.基于内容的视频检索技术[J].电视技术,2002,(8).

[3] 黄知义,周宁.基于内容视频检索的关键技术研究[J].现代情报,2005,(10).

[4] 陈丽.术语“教学交互”的本质及其相关概念的辨析[J].中国远程教育,2004,(3).

[5] 张婷.插播型电视教材的应用及其数字化[J].济宁师范专科学校学报,2007,28(3).

[6] 陈丽.远程教育基础[M].北京:高等教育出版社,2004: 114-115.

Research on Instructional Application of Content-Based Video Retrieval Technology

GAO Hong-qing1 FENG Yun-sheng2

(1.Department of Educational Technology, Henan Normal University, Xinxiang, Henan, 453007, China;

2. College of Chinese Literature, Luoyang Normal University, Luoyang, Henan, 471022, China)

Abstract: This paper presents the limitation and shortage of traditional video-retrieval. And the course of content-based video retrieval is described. This paper combines video teaching material to summarize the idea and approach of applying content-based video retrieval to education and instruction. And this paper considers application of content-based video retrieval technology to develop video teaching material. And for the question of improving interactivity of video teaching material, this paper puts forward own opinion.

Keywords: Content-based Video Retrieval; Video Teaching Material; Interactivity; Key Frame; Learner Support Service