3D立体视频传输技术研究

摘 要：本文介绍了立体图像的基本原理以及现有常见的立体视频传输格式。针对左右两路图像合成编码以及独立编码压缩传输对比试验研究，分析了两者在传输带宽/传输性能上的差异。试验结果表明，用标准的左右两个画面单独传输和经过左右帧图像冗余数据处理后的传输数据带宽可以节约40%以上，通过对比左右帧的图像数据获取视差数据帧，在解码显示部分结合主数据帧以及视差数据帧的还原很好地展示了立体图像。

一、3D立体显示概况

3D立体显示原理

几年前一部《阿凡达》不仅给好莱坞的电影公司带来了13亿美元的票房收入，同时还搅动了整个3D产业。不仅是家电终端厂商无一例外地加入了3D电视的阵营，甚至包括内容、配套附件在内的上下游企业也蠢蠢欲动。纵观这两年的发展，3D在推动娱乐行业发展方面确实起到了一定的作用，但是在其它行业的应用却一直没有得到有效的“挖掘”。

3D显示的基本原理如下图：

人的左眼看到左眼的图像，右眼看到右眼的图像，在大脑中将左右图像融合形成立体视图。

这里关键的就是立体视图是在人的大脑中进行合成的。

3D视图从观看者角度来划分，又分成主动式3D和被动式3D。主动式3D投影机本身带3D功能，采用120Hz刷新率，其中左右眼图像各占60Hz，要佩戴主动式3D立体眼镜，对屏幕要求不高，其实是一种左右图像分时显示方式，也就是利用时间差将左右眼的视图进行隔离；但缺点是眼镜比较重，刷屏频率快，容易产生眼睛疲劳。被动式3D则要用两台投影机实现双机叠加，用偏光镜和偏光眼镜在画面错位的情况下形成立体效果，对屏幕增益要求很高，这种其实是左右图像分光显示方式，即利用偏振光将左右眼的视图进行隔离。

二、3D立体视频传输方式概况

3D图像的常见编码传输格式有4种。

1、色差方式（如红蓝、红绿等）：

立体显示中的色差技术――分色技术，有红蓝、红绿等，是最早出现的3D显示技术，从技术层面上来看也是最为初级的一种3D效果显示方法，这种3D显示的辅助设备只需购买一付色差眼镜就可以了，成本也最为低廉，色差式3D显示技术可以称为分色立体成像技术，是用两台不同视角上拍摄的影像分别以两种不同的颜色印制在同一副画面中。用肉眼观看的话会呈现模糊的重影图像，只有通过对应的红蓝等立体分色眼镜才可以看到立体效果。简单来说就是对色彩进行红色和蓝色的过滤，红色的影像通过红色镜片蓝色通过蓝色镜片，两只眼睛看到的不同影像在大脑中重叠呈现出3D立体效果。色差式3D的不足是显示效果有限，而且显示图像颜色不同，不利于进行2D/3D进行切换显示。

2、基于图像帧兼容模式的立体视频格式；一个图像帧数据里面含有左右帧图像数据，通常有左右格式、上下格式、交错格式3种，分别如下图（A）（B）（C）所示，这种方式是拆分了显示分辨率的，虽然整个显示画面最大可以达到1080p，其实在单一的一个时刻，左右眼看到的都只有720p像素的图像；

（A） 左右格式图像帧

（B） 上下格式图像帧

（c） 交错格式图像帧

3、基于图像帧序列模式的：也就是左、右眼图像帧交错的方式传输，如右侧示意图所示，左右眼图像帧都是1080p图像，按照“左右左右……”这种序列进行传输，也就是1080p/60帧图像中，有左右眼图像各占了1080p/30。假如原来2D图像采用H.264压缩，1080p/30的带宽需要10-20M，那么3D图像的带宽则需要20-40M，是原来的2倍。

4、Multi-View Code（MVC）标准中采用的方式即2D图像加景深MAP的模式，如下图所示：

这种模式，景深数据的内容虽然少了，但是数据的分辨率以及像素没有少，在进行图像压缩时，需要的网络带宽和左右两帧单独压缩占用的带宽一样。

三、3D图像的编码传输格式探索

众所周知的，其实左右眼图像中大部分的内容是相同的，只有很少的一部分是不同的，因此是否可以将大部分相同的数据形成独立数据帧――主图像帧，再将左右眼图像不同的部分取出来形成数据帧――视差数据帧，然后按照“主帧视差帧主帧视差帧……”这种序列进行压缩传输。

1、实现原理

实现这种方式的基本原理如下图：

左画面和右画面图像先进行比较，分割出主帧数据，将左画面和右画面不同的数据封装成视差帧，按照这种方式压缩传输需要的带宽：（1920-i）+（i左）+（i右）。

i：左右图像视差像素点数。

传输帧结构如下图所示：

要实现以上的传输方式，需要有一些限制，而这些限制可以在前端的3D图像捕捉的地方实现。

（1） 要保证左右眼视图的水平线一致；

（2） 要保证左右眼视图的光学参数一致，也就是镜头的焦距、对焦等参数一致；

（3） 要保证左右眼视图的调整一致，也就是两个图像捕捉是同步的。

2、实现方法

在编码端实现原理如下图所示，左右图像经过视差处理模块，形成主帧图像和视差帧图像，然后经过标准的264压缩，利用RTP封包进行传输。

在解码显示还原端实现原理如下图所示，由主帧和视差帧构成的RTP图像数据序列经过解包和解码拆分成主帧和视差帧，主帧和视差帧经过视差还原模块，分别还原出左视频帧图像和右视频帧图像，送入显示器显示即可。

四、 分析与结论

通常在立体显示图像中左右帧图像的视差像素也就是在几个像素左右，在一个1080p的图像中，视差数据最大不会超过20个像素，即使按照100个像素的视差来计算，采用这种方式处理后的图像数据比采用左右帧间隔传输减少的带宽为：（1920+100）/1920×2=50.3%，也就是说采用这种方式压缩带宽减少了将近50%，而经过还原后左右眼的图像分辨率还是1080p，图像并没有任何的损失。