基于HEVC的虚拟参考帧编码技术

【摘 要】本文基于交通视频展开研究，帧间编码中编码每一帧所使用的参考帧均为已确定的解码帧，这就使得其参考帧可能并非为最优参考帧，且交通视频存在背景不变、光线变化小等特征。本文在视频编码时，首先得到虚拟参考帧。然后在帧间预测时，除使用其固定的参考帧作预测外，也利用虚拟参考帧作预测，提高视频编码效率。

【关键词】HEVC；帧间编码；虚拟帧

一、概述

参考帧是帧间预测的基础，以往视频标准都是采用最近解码帧作为参考帧，在多数情况下也可以得到较好的预测效果，但是对于运动中新出现区域则难以进行有效的预测。本文基于交通视频展开研究，帧间编码中编码每一帧所使用的参考帧均为已确定的解码帧，这就使得其参考帧可能并非为最优参考帧，且交通视频存在背景不变、光线变化小等特征。本文对交通视频进行处理与分析，在视频编码时，首先得到虚拟参考帧。然后在帧间预测时，除使用其固定的参考帧作预测外，也利用虚拟参考帧作预测，提高视频编码效率。

二、编解码框架

预测大体可以分成两种：帧间预测（Inter Prediction）和帧内预测（Intra Prediction）两种方法。我们知道视频每帧图像在空间的相邻区域的像素值变化不大，对于每个4x4块（除了边缘块特别处置以外），每个像素都可用17个最接近的先前已编码的像素的不同加权和（有的权值可为0）来预测，即此像素所在块的左上角的17个像素。显然，这种帧内预测不是在时间上，而是在空域上进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的压缩，使得帧内预测成为最有效的编码压缩方法；而帧间预测是利用视频图像帧间的相关性，即时间相关性，来达到图像压缩的目的，广泛用于普通电视、会议电视、视频电话等的压缩编码。在图像传输技术中，活动图像特别是电视图像是关注的主要对象。活动图像是由时间上以帧周期为间隔的连续图像帧组成的时间图像序列，它在时间上比在空间上具有更大的相关性。大多数电视图像相邻帧间细节变化是很小的，即视频图像帧间具有很强的相关性，利用帧所具有的相关性的特点进行帧间编码，可获得比帧内编码高得多的压缩比。帧间预测根据预测方向又分为前向预测、后向预测和双向预测。

三、虚拟参考帧编码技术

虚拟参考帧视频编码技术（Virtual Reference Frame Video Coding，VRFVC），就是为了应对这样的挑战而提出的。通过该技术压缩得到的码流在视频质量基本不变的情况下将更小。一般情况下，单个视频源在进行编码时对视频序列中的单独帧进行编码，且编码顺序并不等同于播放顺序，在编码视频帧时，帧内预测只在I帧时使用，在P帧和B帧时使用帧间预测。而I帧数量比起P、B帧要少得多，由于大多数视频帧都是采用帧间预测的方式进行预测编码，在对当前帧进行编码时会使用参考帧进行预测，我们知道视频序列除了空域上的相关性（同一帧图像相邻区域像素变化小）之外，也存在时域上的相关性（相邻帧对应像素位置附近像素值变化小），因此使用已编码帧作为参考帧对当前编码帧进行预测可以很大的提高当前帧的压缩率。但由于技术的限制等原因，编码当前帧时所使用的参考帧都是从参考帧列表中选择的，且具有数量的限制，即不可能从所有的已编码帧中选择最优帧作为参考帧进行预测，而是从参考帧列表中进行有限的比较选择，选择出相对最优的参考帧。所以，这就导致了所用参考帧并非为最优参考帧存在可能。例如，当前帧M块位置在所用参考帧中均无对应相似块，而在其他帧中却有最佳相似匹配块。本文是基于交通视频进行的相关研究，而交通视频图像间存在着背景基本不变性、光线变化小等特点，使得当前帧存在大量出现背景块却无法在参考帧列表中找到对应块的情况。

虚拟参考帧是将已经被编码的视频序列解码的重建帧进行处理得到的交通视频的背景图像，将此背景图像用作额外的参考帧，主要就是用于当前帧编码时出现的背景块却不能被常规参考帧所预测的情况下。工作主要分为虚拟参考帧的生成和虚拟参考帧替换两部分。

1、虚拟参考帧的生成

根据监控视频的背景不变性，可以通过一组视频中若干独立帧来生成背景帧，作为我们需要的虚拟参考帧。

将一组长度为 帧的视频，以n帧为单位划分为（N%n）+1个单元，每个单元等距选取m（3≤m≤n）个视频帧，对每个视频帧使用最小CU进行划分，在每个最小CU级别上，比较任意两帧的像素差绝对值和S，我们认为S最小的相关两帧为此CU位置最接近背景的视频帧。将此时两帧对应像素求均值，作为我们需要的虚拟参考帧此像素位置的像素值。依据此方法，就可以得到我们所需要的虚拟参考帧。

描述成公式可以如下表示：

2、虚拟参考帧的替换

我们知道，在帧间预测中所使用的参考帧是保存在参考帧列表中的，是在编码当前帧前已被编码的视频帧。理论上来说，此时被用来做预测的参考帧是预测效果最好的，但事实上不是这样。例如，当一个新的GOP被编码时，此时被编码的第一、第二帧使用参考帧做帧间预测。而其参考帧虽然为其编码顺序上的前几帧，但在其播放位置上却距离较大，这样，其对应位置的信息相差会较大，导致预测低于预期。或者当前编码帧内场景突然变化，也会导致无法从其参考帧中得到期望的预测。在这种情况下，我们将参考帧列表中的参考帧换成我们先前得到的虚拟参考帧，提高预测质量。

在帧间预测中，我们可以通过设置阈值α，比较残差绝对值的和∑与阈值α的大小关系的方法来确定是否使用虚拟参考帧。

当∑≤α时，不使用虚拟参考帧作为参考帧进行帧间预测；

当∑>α时，使用虚拟参考帧作为参考帧进行帧间预测。

四、实验结果

使用了虚拟参考帧做参考帧列表的补充之后，相比于未使用虚拟参考帧的BD-rate降低了将近1.5个百分点，对于交通视频实现更好的压缩是有一定作用的。本算法可以提高视频的压缩质量，如果可以更好地提高虚拟参考帧的质量，对于提高交通视频的压缩质量将会有更好的帮助。