基于主颜色结合本体的网球视频帧分类

摘 要：本文以网球视频作为研究对象，对其场地帧和非场地帧进行分类。首先通过计算图像的直方图提取出每帧图像的主颜色，其次利用protégé进行本体构建，最后通过分析并提取主颜色的值用swrl规则写出可以对视频帧序列进行场地帧与非场地帧分类的规则。实验证明该方法可以取得良好的实验结果。

关键词：网球视频；Ontology；主颜色

中图分类号：TP391.41

每一种体育比赛有其特定的场地，场地特征提供了体育视频类别的重要信息，研究网球视频过程中发现网球比赛视频是比赛帧与非比赛帧穿插播放的，所有的精彩片段都是发生在比赛镜头中，而且一组比赛帧序列总是由发球事件开始，因此对网球视频帧进行比赛帧与非比赛帧分类对发球动作识别显得尤为重要。本文中对网球视频比赛场地帧与非比赛场地帧的分类通过对帧图像的底层特征提取结合语义分析进行分类。

1 底层特征提取

本文主要提取的底层特征为主颜色。对主颜色的提取首先将对图像的颜色模型进行转换，即从RGB模型转换到HSV模型。之后对HSV模型的三个分量分别进行量化，再把三个颜色分量合成为一维特征矢量。通过对一维特征矢量统计计算出图像的颜色直方图，再通过颜色直方图提取出图像的主颜色。

1.1 RGB颜色模型转换HSV颜色模型

最常用的颜色空间为RGB[1]颜色空间，大部分的数字图像都是采用这种颜色空间表达的，然而RGB空间并不符合人们对颜色相似性的主观判断。在这里，根据文献[2]给出的公式把RGB颜色空间转换为HSV[3]颜色空间，它是直方图最常用的颜色空间。

1.2 HSV颜色模型量化

将H、S、V三个分量按照人的颜色感知特性进行非等间隔的量化。按照视觉分辨能力，把色调H空间分成16份，饱和度S分成4份，明度值V分成4份；根据色彩的不同范围进行非等间隔量化，量化后的色调、饱和度和明度值分别为H、S、V。

通过对H、S、V三个分量进行非等间隔量化后，把三个颜色分量合成为一维特征矢量，即L=HQsQv+SQv+V。其中，和Qv分Qs别是S和V的量化级数，Qs=4，Qv=4。对色调H取的权重为16，对饱和度S取的权重为4，对亮度V取的权重为1，这就大大减轻了图像亮度V对检索结果的影响，而且也减少了饱和度S对检索结果的影响。同时，根据式上式可知，L的取值范围是[0，1，2，……，255]，计算L获得256柄的一维矢量，即可获得图像的颜色直方图。

1.3 颜色直方图获取

直方图[4]反映了图像像素亮度在图像中随机分布情况的统计特性。这种统计特性可以用P概率分布函数来刻画和描述。灰度直方图是灰度级的函数，灰度直方图表示数字图像中每一灰度级与此灰度级对应的图像中的像素点数之间的统计关系。

计算颜色直方图需要将颜色区间划分成若干个小的颜色区间，每个区间成为直方图的一个bin。这个过程称为直方图量化。然后，通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。选择合适的颜色小区间（即直方图的bin）数目和颜色量化方法与具体应用的性能和效率要求有关。本文中的bin数目为256。

1.4 主颜色提取

图像的色彩极其丰富，但视觉系统能够忽略次要的细节，抓住起重要作用的主色。在本文中，主颜色提取描述如下：

（1）对于每幅图片设置一个初值record1，初始化为0；每得到一个量化值L，通过比较赋值，将最大的量化值L赋值给record1。

（2）为了便于观察提取结果，将每幅图片的record1导回HSV空间，由于场地特征中，颜色特征最为明显，因此在提取的H、S和V分量中后续只用到H分量。转化方法如下：

H=record/16取整

（3）对导回的HSV空间再进行量化，将H分量分为16个量化等级。

（4）通过以上步骤得到每幅图片的主颜色。

2 基于Ontology的语义分析

视频内容分析领域的主要挑战是如何建立视频高层语义内容和低层时空特征间的关联，即经典的语义鸿沟问题。为解决这一问题，有必要应用领域知识将视频高层语义与自动分析获取视频语义的技术集成到统一的框架中。恰恰本体[5]是领域知识确定的、形式化的规范描述，是一种有效的语义建模和知识表示工具。

2.1 本体的建立

本文中利用OWL语言[6]创建本体。OWL语言为描述概念之间的关系提供了丰富且实用的建模元素。OWL语言由类（Class）、属性（Property）和个体（Individual）三部分组成。其中类是个抽象的概念，是由一些特征或属性相似的个体组成的集合。个体是我们所感兴趣的具体某个事物。属性是反映个体之间的二元关系。

（1）类的建立。本文根据网球场地帧与非场地帧分类的需要，建立了6个类：TennisVideo（表示网球比赛视频场地帧集）、PlayAction（表示网球比赛视频场地帧集）、Break（表示网球比赛视频非场地帧集）、RedClayCourt（表示场地帧集中红土场地帧集）、RedClayCourt（表示场地帧集中红土场地帧集）、GrassCourt（表示场地帧集中绿茵场地帧集）和HardCourt（表示场地帧集中硬地场地帧集）。在Protégé工具中建立的类，如图1（a）所示。

（2）属性的建立。本文定义了2个数据类型属性，hasDcolor和hasNCourt。根据上一节提取出网球视频帧的主颜色，经过大量实验，本文得出红土场、绿茵场和硬地场的主颜色的经验值，如红土场的主颜色值一般为H=0或H=20；绿茵场的主颜色值一般为H=95或H=125；硬地场的主颜色值一般为H=205或H=235。因此，hasDcolor表示一个个体主颜色值；hasNCourt表示一个个体不含有场地特征。在Protégé工具中建立的属性，如图1（b）所示。