热门搜索 :
考研考公
您的当前位置:首页正文

一种基于H.264的立体视频编码中的视差估计快速算法

来源:东饰资讯网
维普资讯 http://www.cqvip.com 浙江大 学学报(理学版) 第33卷第4期 Journalht of Zhejitp://www.ang Unijournalversity(Science Editis.zju.edu.cn/sci on) Vo1J2006年7月 u1.3.2006 3 No.4 一种基于H.264的立体视频编码中的 视差估计快速算法 徐彬 ,郁梅 ~,叶锡恩 ,蒋刚毅 (1.中国科学院计算技术研究所,北京100080;2.宁波大学 电路与系统研究所,浙江宁波315211; 3.南京大学软件新技术国家重点实验室,江苏南京210093) 摘 要:视差估计与补偿是立体视频图像压缩编码中的关键技术.本文分析了立体摄像系统视差分布的约束条件 (外极线约束、方向性约束等)和视差矢量的相关性(帧内视差矢量的空域相关性和帧间视差矢量的时域相关性), 并结合H.264标准中的多种块选择模式之间的相关性,提出了基于H.264的立体视频编码的视差估计快速算法. 实验结果表明,提出的快速算法能有效地降低视差估计的计算复杂度. 关键词:视差估计;立体视频编码;约束条件 中图分类号:TN9l1.73 文献标识码:A 文章编号:1008—9497(2006)04—412—05 XU Bin “,YU Mei ,YE Xi—en ,JIANG Gang yi。‘。(1.Institute of Computer Technology,Chinese Academy of Sciences,Beijing 100080,China;2.Institute of Circuits and Systems,NingboUniversity,Ningbo 315211,Chi— na;3.National Key Lab of Software New Technology,Nanjing University,Nanjing 210093,China) A fast disparity estimation algorithm for stereo video coding based on H.264.Journal of Zhejiang University(Science E— dition),2006,33(4):412~416 Abstract:Fast and efficient disparity estimation and compensation are the key technique in stereo video processing. The constraints on disparity distribution and correlations among disparity vectors were first analyzed,including the constraints of the epipolar lines and directions,the temporal correlation among inter-frame disparity vectors and spa— tial correlation among intra—frame disparity vectors.The correlation between block selection modes in H.264 was u— tilized to optimize the strategy of disparity estimation.Experimental results showed that,as compared with the full search algorithm,the fast algorithm proposed in the paper is more effective regarding computing complexity while the quality of reconstructed images is close to the one by means of the full search method, Key words:disparity estimation;stereo video coding;constraints 以近似作为零[2]. 0 引 言 视差估计方法主要有像素匹配法 ]、贝叶斯 法l_4]、块匹配法[ ]和基于对象的方法[ 等.块匹配法 与普通的单通道视频相比,立体视频要处理的 虽然精度低一些,但算法简单、有效,常被采用;像素 数据量相当大(至少是单通道视频数据量的两倍), 匹配法精度最高,获得的图像质量好,但计算复杂度 因此如何解决针对立体视频数据的压缩传输问题就 高;贝叶斯法易于将视差估计和物体分割结合起来, 显得尤其重要.视差估计与补偿是立体视频图像压 有较严格的数学框架,复杂度较高;基于对象的方法 缩编码中的关键技术[1].与运动估计相比,视差估计 在单通道视频编码中得到深入的研究,在立体图像 要复杂得多.在运动估计中,移动的像素点通常只有 编码中的应用中算法复杂度很高,有很多问题还没 一小部分,而在视差估计中几乎所有像素的视差大 有解决. 都不为零,除非物体表面离成像平面很远,视差才可 H.264标准是ITU—T的VCEG和ISO/IEC 收稿日期:2005—02—20. 基金项目:国家121然科学基金资助项目(61472100);浙江省科学基金青年人才基金资助项目(RC01057);浙江省科技攻关资助项目 (2004C31105);宁波市博士基金资助项目(2004A610001、2004A630002、2003A61001). 作者简介:徐彬(1981 ),男,硕士生,主要从事立体视频编码方面的研究. 维普资讯 http://www.cqvip.com 第4期 徐彬,等:一种基于H.264的立体视频编码中的视差估计快速算法 413 的MPEG联合开发的一种高效的视频编码压缩标 准.H.264采用了先进的运动估计和运动补偿技 术、帧内预测、变换编码、统一的熵编码、去块效应滤 波器等新技术.与H.263+或MPEG一2相比,H. 264在大多数码率条件下能持续提供较高的视频质 量并且最多可节省5O 的码率.因此,H.264标准 为解决以上立体视频编码大数据量的问题提供了空 间,但计算复杂度是影响H.264标准在立体和多视 点视频编码的重要因素. 在基于H.264的立体视频图像编码中,视差估 计和运动估计一样,是采用块匹配的方法.视差矢量 要受到一定的约束,如相机的几何参数、物体表面的 光滑性等.这些约束如果运用得当将会大大简化视 差估计.本文分析了视差估计中的偏振约束、方向约 束、视差矢量的时域相关性和空域相关性,在此基础 上给出了视差估计的快速算法,并分析了实验结果. 1 基于H.264的立体视频编码解决 方案 基于H.264标准,有如下3种编码方案: (1)独立MCP(运动补偿预测)编码两通道分 别采用H.264进行单通道编码.这种方案没有利用 两个通道之间的相关性,编码效率低. (2)层间DCP(视差预测补偿)编码 左通道采 用H.264进行单通道编码,右通道编码采用基于左 通道的视差补偿预测.这种方案利用了两通道图像 间的空域相关性,但没有利用右通道内部图像之间 的时域相关性,编码效率仍然不高. (3)MCP和DCP相结合的方案 左通道作H. 264的单通道编码,对右通道的每个图像块通过 MCP和DCP两种方式进行预测,从中选择误差较 小的作为预测结果,其编码方案如图1所示.它能有 效地去除左右通道内部前后帧图像之间的时域信息 冗余以及通道间图像对间的空域相关性.本文采用 第3种编码方案. 帧1 帧3 帧5 帧7 左通道图像 右通道图像 帧2帧4 帧6 帧8 图1 MCP和DCP联合预测 Fig.1 Predicting the disparity vector through the com bination of MCP and DCP 2视差匹配的约束条件与视差估计快 速新算法 本文的视差估计算法采用了以下约束条件. 2.1偏振约束 在立体平行相机系统中,左右两个相机的特性 相同,且被设置成平行放置的,这样两个相机的成像 平面是平行的,位于同一个平面内,如图2所示.w 是景物表面任意一点,C 和C 代表左右相机光心 的位置, 和 是左右成像平面,W与C 、C 确定 的平面称为偏振平面,该偏振平面与 和 的交 线P 和P 称为偏振线.对于给定的景物点,其在 左右图像平面上的图像点总是出现在对应的左右偏 振线上,因此在进行视差搜索时只需沿着偏振线进 行即可.在平行相机系统中,偏振线和图像的水平扫 描线是平行的,所以搜索只须沿着右边图像点所在 的水平线即可. CI CR 图2平行相机系统的偏振特性 Fig.2 Epipolar geometry in the parallel camera configu— ration 2.2方向性约束 对于平行相机系统,在左右两个相机的焦距相 同的情况下,其视差可以表示如下: dx(X,Y,Z)一zI 一zR—FB/Z, (1) 其中,dx(X,Y,Z)表示点(X,Y,Z)在左右图像平面 所形成的水平视差,F为相机的焦距,B为两相机的 基线距离.式(1)表明水平方向的视差值始终是正 的,也就是说,对于同一个景物,其透视投影左图像 相对于右图像局部地向右移动.因此在搜索时只须 沿一个方向搜索即可.例如,当寻找右图像块在左图 像中的匹配块时,可优先向右进行搜索. 2.3视差矢量的空域相关性 在立体图像序列中,有些区域可近似看作是光 滑的或局部光滑的,相应视差值的变化也应该是连 续的,因此,在这些区域中,当前宏块与其相邻宏块 的运动矢量有很强的相关性.在进行视差匹配时,以 临近块已求出的视差矢量作为参考,在小范围内搜 维普资讯 http://www.cqvip.com 414 浙江大学学报(理学版) 第33卷 索当前块的视差矢量,能较快地找到当前视差. 2.4视差矢量的时域相关性 对于相邻两帧图像,仅有少数像素发生了运动, 多数像素的位置并没有变化.对于位置不变的像素 来说,其视差基本不变.所以在进行视差估计时,可 以用前一帧图像的对应视差矢量作为搜索起始点进 行小范围内的搜索,从而快速找到实际视差矢量. 基于以上分析,本文综合考虑了视差匹配的约 束条件以及视差矢量的时间和空间相关性,提出了 视差估计快速算法.算法分为如下两部分: (1)初始运动矢量的预测 第一步,利用时间相关性预测视差矢量的起始 值.采用当前帧K的前一帧K一1中对应宏块P的 视差矢量来预测当前块D的视差矢量(如图3(a)所 示),设预测得到的预测视差矢量为’M 第二步,利用空间相关性预测视差矢量的起始 值.本文采用当前块D的左边块A的视差矢量 M 、上边块B的视差矢量M 和右上块C的视 差矢量M (如图3(b)所示)联合来预测当前块D 的视差矢量. B C A D (a)利用时间相关性预测视差矢量 (b)相邻块关系 图3(a)利用时间相关性预测视差矢量,(b)相邻块关系 Fig.3 (a)Predicting the disparity vector through the temporal correlation:(b)Correlation among the neighboring blocks 预测方法可以表示为:令d 一I M —M !、 d :I M 一M I、d。一I M 一M I,如果d 、 d 、d。都在[O,T。]范围内,则认为相邻块的视差矢 量相关性强,取M 、M 、M 三者的平均值作 为空间预测的视差矢量,设预测得到的预测视差矢 量为M d2{否则,认为相邻块的视差矢量相关性 不强,不作空间相关性预测. 第三步,利用宏块相关性预测视差矢量的起始 值.H.264中有7种帧间宏块模式(如图4所示),本 文采用了当前宏块的上层宏块 ](model是mode2 和mode3的上层,mode2和mode3是mode4的上 层,以此类推)的视差矢量进行初始视差矢量的预 测,设预测得到的预测视差矢量为M 。. 第四步,比较M 、M 、M 。,取其最 小值作为初始的预测视差矢量. (2)得到初始预测视差矢量之后,进行小范围的搜索 根据视差矢量的偏振约束特点,在视差匹配时 只沿偏振线进行.因为本文是基于平行相机系统的, 所以其偏振线和扫描线是平行的,左右像素的匹配 点位于同一水平线上,进行搜索时沿水平方向即可. 根据方向性约束,搜索时优先向一个方向搜索. 考虑到左通道图像作为基本层编码,右通道图像作 为增强层编码,视差估计是搜索右通道图像中的图像 块在左通道图像中的匹配块,由方向性约束分析可 知,视差估计时可优先向右进行搜索.搜索步骤如下: 第一步,进行水平方向比较.比较起始搜索点1 和它右边点2,如果1的SAD较小,则水平方向搜 索结束,到第二步;否则,以点2为起始搜索点,回到 第一步,水平方向最多比较4个点. 第二步,进行垂直方向比较.比较点3(如图5 所示,假设水平搜索结束后点3为最优点)与其上下 两个点4、5,如果点3的SAD最小,垂直方向搜索 结束.如果点4的SAD最小,说明最优点在点3的 下面,则比较点4与点4下面的点的SAD值,如果 较小点为点4,垂直方向搜索结束;否则继续向下比 较,直至垂直方向搜索下边界.如果点5的SAD最 小,说明最优点在点3的上面,则比较点5与点5上 面的点的SAD值,如果较小点为点5,垂直方向搜索 结束;否则继续向上比较,直至垂直方向搜索上边界. 16×16 16×8 8×16 8×8 mode=l 目田田 mode=2 mode=3 mode=4 8×8 8×4 4×8 4×4 mode=4 目田田 mode=5 mode=6 mode=7 图4 H.264中的7种块模式 Fig.4 7 kinds of block modes in H.264 6I I5 r 2' I T4 图5本文算法的搜索模式 Fig.5 The proposed search scheme in this paper 第三步,如果向右搜索得到的匹配块SAD超 过阈值T ,则搜索点1的左边一个点,如果该点的 SAD小于丁 ,则开始向左搜索,重复前面的步骤, 水平方向同样最多比较4个点. 维普资讯 http://www.cqvip.com 第4期 徐彬,等:一种基于H.264的立体视频编码中的视差估计快速算法415 3实验结果及分析 本文分别对booksale、crowd和soccer立体图 像序列的第5帧到第54帧做了实验.本文算法是在 H.264校验模型JM8.5_8]基础上实现的.对于左通 道的编码,均采用IPPP编码方式,即只有第1帧采 用帧内编码(I帧),其余帧都采用预测方式进行编 码(P帧);编码帧率为30 f/s;运动估计水平和垂直 搜索范围为[一16,+163,视差估计水平搜索范围为 [一48,+481,垂直范围为[一2,+2].比较的对象是 本文的快速算法和通常的全搜索算法,评价指标是 右通道重建后图像的质量(用峰值信噪比PSNR表 示)和算法的复杂度(用搜索点数表示). 设利用全搜索算法和本文算法视差估计并编码 立体序列右通道第i帧图像视差匹配时( ≤i≤ z) 的搜索点数分别为S 。和S 定义 12 /12 p一∑S 。/∑S一 (2) i Jl 1 i J 式中,口表示本文搜索算法与全搜索算法相比在搜 索点数上下降的倍数.并设△为采用本文搜索算法 与全搜索算法进行视差估计导致的信噪比下降. 图6给出了搜索范围为[一2。+2]时(对应于曲 线3)、[一4,+4]时(对应于曲线2)以及用全搜索 (对应于曲线1)时的编码曲线 .表1为取不同搜 索范围时本文算法与全搜索法相比搜索点数下降的 倍数.显然,随着搜索点数的增多,本文搜索算法的 编码性能逐渐接近全搜索算法,但搜索算法计算复 杂度明显降低了. 图7给出了采用全搜索算法与本文搜索算法对 不同立体视频序列进行视差估计、并编码得到的率 失真曲线.对crowd序列进行视差估计和压缩并解 码得到的重建图像如图8所示(量化步长为26,第 15帧的右图像). 实验结果表明,对于不同的立体视频序列,本文 的视差估计快速搜索算法与全搜索算法相比,编码 的主观质量差别不明显,PSNR下降很少,码率相差 不大,但搜索算法复杂度降低. 4 结 论 本文综合考虑了立体摄像系统中视差分布的约 束条件和视差矢量的空间及时间相关性,并结合 H.264中宏块选择的可扩展性,提出了一种视差估 计的快速选择算法,实验证明了该算法的有效性. 0 帧 (a)bool(saIe立体视频序列 帧 (b)cr0wd立体视频序列 帧 (c)soccer立体视频序列 图6不同搜索点数的编码性能比较 Fig.6 Comparison of coding efficiency through differ ent search pixels 表1 不同搜索范围的搜索点数下降倍数 /4--g噪比下降△ Table 1 Reduction of search points |PSNR loss A // 主,瑗系 鲁  :O 本文方法 Bit rate(kbit/s) (a)booksale立体视频序列 维普资讯 http://www.cqvip.com 416 浙江大学学报(理学版) 第33卷 38 37.5 37 36.5 36 ∽ 参考文献(References): [1] REDERT A,HENDRISK E,BIEMOND J.Corre— spondence estimation in image pairs[J].IEEE Signal +盆 挡素 孛# .35.5 35 34.5 Processing Magazine,1999,16(3):29—46. / Bit rate(kbit/s) [2] NAEMURA T,KANEK0 M,HARASHIMA H. 34 300 400 500 600 700 800 900 1000ll00 Compression and representation of 3-D images[J]. IEICE Trans INF&SYST,1999,E82一D(3):558-565. (b)c 0wd立体视频序列 37 36.5 36 35.5 ∽  。[3] 0HM J R.Encoding and reconstruction of multiview // video objects[J].IEEE Sinalg Processing Magazine, 1999,12(7):47—54. ibration of [4] REDERT P A,HENDRILKS E A.Self cal/ stereo cameras with lens distortion[C]∥Prceediongs of IEEE IMDSP Workshop,1998:163—166. 35 34.5 / ,十§ :搜著 法 O本文方法 : [5] 朱仲杰,蒋刚毅,郁梅,等.一种基于MPEG-2的立体 视频编码中的时差匹配算法[J].电路与系统学报, 2003,8(1):32—35. /. 34 350 400 450 500 550 600 650 700 750 Bit rate(kbit/s) ZHU Zhong—jie,JIANG Gang—yi,YU Mei,et a1.Fast disparity correspondence algorithm for stereo video (c)soccer立体视频序列 图7对不同立体视频序列编码得到的率失真曲线 Fig.7 Rate-distortion curves of different stereo sequences coding based on MPEG-2[J].Journal of Circui ̄and Systems,2003,8(1):32—35. [6] 朱仲杰,蒋刚毅,郁梅,等.多视点视频编码中的视频目 一■ (a1 (b) 标提取与视差匹配[J].电子学报,2004,32(5):143— 145. ZHU Zhong-jie,JIANG Gang-yi,YU Mei,et a1.Vid— eo object extraction and disparity estimation in multi— view video coding[J].Acta Electronica Sinica,2004,32 (5):143—145. 图8(a)全搜索编解码重建图像PSNR=36.57dB, (b)本文算法编解码重建图像PSNR=36.5ldB Fig.8 (a)Reconstructed image through the full search method,PSNR=36.57dB,(b)Reconstructed image through the proposed method,PSNR一 36.51dB [7] CHEN Zhi—bo,ZHOU Peng,HE Yun.Fast Integer Pixel and Fractional Pixel Motion Estimation for I VT [c]#JVT-FO17.doe.6th Meeting.Japan,2002. [8] ITU—T Rec.H.264  lIS0/IEC 11496—10 AVC[S].JM 8.5. (责任编辑涂红) (上接第4l1页) [5] 余党军,程捷,陈偕雄.基于K图的布尔差分计算的图形 方法D].浙江大学学报:理学版,2002,29(5):506—511. YU Dang—jun,CHENG Jie,CHEN Xie-xiong.Graph— ic method calculating Boolean difference based on K— 2004. [7]吴桂初,刘观生,陈偕雄.基于 图计算逻辑函数布尔 差分的新方法[J].浙江大学学报:理学版,2004,31 (1):43—47. WU Gui—chu,LIU Guan—sheng,CHEN Xi ̄xiong. map[J].Journal of Zhejiang University:Science Edi- tion,2002,29(5):506-511. New method of calculation of Boolean difference based [6]陈偕雄,余党军.数字逻辑的图形方法[M].北京:机 械工业出版社,2004. CHEN Xi ̄xiong,YU Dang-j un.Graphic Method of on 一map[J].Journal of Zhejiang University:Science Edition,2004,31(1):43—47. (责任编辑涂红) Digital Logic[M].Beijing:China Machine Press, 

因篇幅问题不能全部显示,请点此查看更多更全内容

Top