畢業(yè)論文 視頻壓縮編碼技術(shù)設計

《畢業(yè)論文 視頻壓縮編碼技術(shù)設計》由會員分享，可在線閱讀，更多相關(guān)《畢業(yè)論文 視頻壓縮編碼技術(shù)設計（33頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、摘 要 H.264標準是由國際標準化組織和國際電工委員會（ISO/IEC）與國際電信聯(lián)盟電信標準化部門（ITU-T）組成的聯(lián)合視頻組(JVT)制定的新一代視頻壓縮編碼標準。H.264和以前的標準一樣，也是差分脈沖編碼調(diào)制（differential pulse code modulation, DPCM）加離散余弦（Discrete Cosine Transform, DCT）變換編碼的混合編碼模式。 在技術(shù)上，H.264集中了以往標準的優(yōu)點，并吸收了它們的經(jīng)驗。H.264應用了幀內(nèi)預測，整數(shù)變換，不同的預測塊大小，多個參考幀，1/4象素預測精度，自適應算術(shù)編碼，去塊效應濾波器（De

2、-blocking filter）以及基于率失真優(yōu)化的模式選擇算法等技術(shù)。H.264分為視頻編碼層(Video Coding Layer, VCL)和網(wǎng)絡提取層(Network Abstraction Layer, NAL)。因此，H.264可以達到極高的壓縮比，在所有碼率下都能持續(xù)提供較高的視頻質(zhì)量。 本文詳細介紹了H.264的主要技術(shù)，并用軟件實現(xiàn)了H.264編碼器。本論文包含以下內(nèi)容，首先回顧了視頻壓縮技術(shù)的背景知識，評述了國內(nèi)外視頻編碼的研究狀況，對H.264 編碼方案作了一個整體的說明；接著分析了整數(shù)變換，基于內(nèi)容的自適應可變長度編碼技術(shù)（CAVLC）和結(jié)合宏塊大小的自適應塊變換（

3、ABT）技術(shù)；然后論文對H.264的預測編碼技術(shù)進行了詳細的分析，對比了各種標準的幀內(nèi)編碼效率；最后介紹軟件H.264編碼器并對編碼結(jié)果做出分析。 關(guān)鍵詞：視頻編碼，整數(shù)變換，運動補償，幀內(nèi)預測，去方塊濾波 Abstract H.264 standard is a new generation of video compression coding standard which formulate by the Joint video team (JVT) who composed by the ISO/IEC and ITU-T. H.264 standard, just

4、 like the standards before, also commix by differential pulse code modulation (DPCM) and Discrete Cosine Transform (DCT) transformation coding. Technically, H.264 standard concentrated the merits of all the standards before and absorb their experience. H.264 applied technical such as forecast i

5、n frame, integer conversion, the different size forecast pieces, multiple reference frames, 1/4 image forecast precision, adaptive arithmetic coding, Deblocking filter, and based on the rate distortion algorithm optimization model selection algorithms. H.264 classified into Video Coding Layer (VCL)

6、and Network Abstraction Layer (NAL).Therefore, H.264 can achieve extremely high compression ratio, provide higher quality video in all code rate. This paper detailed introduced the main technique of H.264 standard, and accomplish H.264 code device with software implementation. It include the be

7、low substance, first of all reviewed video compression technique backdrop information, the condition of video coding research at the home and abroad, do an entirety directions to the H.264 coding scheme; Then analyze the whole number transformation, and Context-Adaptive Variable Length Coding (CAVLC

8、) and unite the macro-block size Self-adapt Block Transition( ABT ) technique; Afterwards the paper detailed analyze the intra-frame coding, and compare the different standards intra-frame coding effectiveness; Finally introducing the code device and make an analysis to the coding result. Keyword

9、s: Video coding, Whole number transformation, Motion estimate, Intra-frame coding, De-blocking filter 29 目 錄 摘 要 I Abstract II 1 緒 論 1 1.1 課題背景 1 1.2 視頻壓縮編碼的理論基礎 1 1.3 視頻壓縮編碼標準 2 1.3.1 H.261視頻編碼標準 2 1.3.2 H.263視頻編碼標準 2 1.3.3 MPEG-x視頻編碼標準 3 1.4 H.264視頻編碼標準 3 2 H.264算法

10、分析 5 2.1 H.264的三個不同檔次的應用 5 2.2 幀內(nèi)預測 5 2.2.1 16 x16幀內(nèi)預測 6 2.2.2 4x4幀內(nèi)預測模式 7 2.2.3 色差分量的幀內(nèi)預測 8 2.3 幀間預測 8 2.3.1 樹型構(gòu)造的運動補償 8 2.3.2 1/4像素精度的運動估計 9 2.3.3 多參考幀模式選擇 9 2.4 變換與量化 9 2.4.1 整數(shù)DCT 變換 9 2.4.2 量化 10 2.5 熵編碼 10 2.5.1 Exp-Golomb碼 11 2.5.2 CAVLC 11 2.5.3 CABAC 12 2.6

11、 去方塊濾波 12 2.7 碼率控制 13 2.7.1 Lagrangian優(yōu)化算法 13 2.8 h.264傳輸 13 3 H.264標準中的幀預測技術(shù) 14 3.1 幀內(nèi)預測 14 3.1.1 4 x 4幀內(nèi)預測 14 3.1.2 16 x16幀內(nèi)預測 17 3.1.3 色差分量的幀內(nèi)預測 18 3.2 幀間預測 18 3.2.1 樹結(jié)構(gòu)的運動補償 19 3.2.2 半象素搜索與象素填充 20 3.2.1 SP幀(Primary SP-Frame)技術(shù) 22 4 H.264的軟件實現(xiàn) 23 4.1 開發(fā)環(huán)境 23 4.2 軟件介紹

12、 23 4.3 軟件設計結(jié)構(gòu) 23 4.4 結(jié)果分析 24 結(jié)束語 25 致 謝 27 參考文獻 28 1 緒 論 本章闡述目前網(wǎng)絡和多媒體通訊的現(xiàn)狀和由此帶來的挑戰(zhàn)，回顧了視頻壓縮技術(shù)的背景知識，扼要評述了國內(nèi)外視頻編碼的研究狀況和相關(guān)的國際標準與建議，針對這些問題指出了在H.264 中相應的解決辦法，闡述H.264的研究背景、現(xiàn)狀以及發(fā)展方向，明確指出了H.264所面臨的問題。 1.1 課題背景 隨著半導體技術(shù)在處理能力及存儲容量上的進步，Internet的不斷發(fā)展，人們希望在網(wǎng)上傳送更多的多媒體信息。視頻信號的傳輸是多媒體信息傳輸?shù)暮诵?，?/p>

13、頻信號在計算機終端播放已不成問題，關(guān)鍵問題在于信號的壓縮及傳輸技術(shù)以及視頻編碼算法的發(fā)展，人們希望開發(fā)出一種性能更好的視頻編碼國際標準。在此需求下，ITU-T的視頻編碼專家組（VCEG）和ISO/IEC的活動圖像專家組（MPEG）組成了一個聯(lián)合視頻小組(JVT)，著手制訂一個比現(xiàn)有任何標準壓縮性能都要高出很多的嶄新的標準11-31，這個標準在ITU-T中稱為H.264，在ISO/IEC中稱為高級視頻編碼(AM ，并且編入MPEG-4，成為其第10部分.本文中，該標準被稱為H.264。 1.2 視頻壓縮編碼的理論基礎 視頻壓縮編碼的理論基礎是信息論。壓縮就是從時域、空域兩方面去除冗

14、余信息，即將可推知的確定信息去掉。如圖1.1為圖像編碼的一般原理： 原始圖像 量化器 反映射變換 熵編碼 信道 重建圖像 映射變換 熵解碼器 反量化器 圖1.1 圖像編碼的一般框圖 編碼方法大致可分為三類： （1）考慮到圖像信源的統(tǒng)計特性采用的預測編碼方法、變換編碼方法、矢量量化編碼方法、子帶－小波編碼方法及神經(jīng)網(wǎng)絡編碼方法等; （2）考慮到視覺特性采用的基于方向濾波的圖像編碼方法、基于圖像輪廓/紋理的編碼方法; （3）考慮到圖像傳遞的景物特征，采用的分形編碼、基于模塊的編碼方法。針對不同的數(shù)據(jù)冗余，可使用不同的壓縮編碼方法。 經(jīng)典的圖像壓縮編碼方法

15、就是利用統(tǒng)計冗余來達到減少圖像數(shù)據(jù)量的目的，其一般框圖如圖1.1所示。由圖可以看出，經(jīng)典的圖像編碼采用的是混合編碼的方法。 1.3 視頻壓縮編碼標準 1.3.1 H.261視頻編碼標準 H.261是ITU-T為在綜合業(yè)務數(shù)字網(wǎng)(ISDN)上開展雙向聲像業(yè)務(可視電話、視頻會議)而制定的，速率為64kb/s的整數(shù)倍。H.261只對CIF和QCIF兩種圖像格式進行處理，每幀圖像分成圖像層、宏塊組(GOB)層、宏塊(MB)層、塊(Block)層來處理。 　　H.261是最早的運動圖像壓縮標準，它詳細制定了視頻編碼的各個部分，包括運動補償?shù)膸g預測、DCT變換、量化、熵編碼，以及與固定速率

16、的信道相適配的速率控制等部分。 1.3.2 H.263視頻編碼標準 H.263是最早用于低碼率視頻編碼的ITU-T標準，隨后出現(xiàn)的H.263+及H.263++增加了許多選項，使其具有更廣泛的適用性。 H.263是ITU-T為低于64kb/s的窄帶通信信道制定的視頻編碼標準。它是在H.261基礎上發(fā)展起來的，其標準輸入圖像格式可以是S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亞取樣圖像。H.263采用了半象素的運動補償，并增加了4種有效的壓縮編碼模式。 　　無限制的運動矢量模式允許運動矢量指向圖像以外的區(qū)域?；诰浞ǖ乃阈g(shù)編碼模式使用算術(shù)編碼代

17、替霍夫曼編碼，可在信噪比和重建圖像質(zhì)量相同的情況下降低碼率。先進的預測模式允許一個宏塊中4個8×8亮度塊各對應一個運動矢量，從而提高了預測精度；兩個色度塊的運動矢量則取這4個亮度塊運動矢量的平均值。補償時，使用重疊的塊運動補償，8×8亮度塊的每個象素的補償值由3個預測值加權(quán)平均得到。 　　PB-幀模式規(guī)定一個PB-幀包含作為一個單元進行編碼的兩幀圖像。PB-幀模式可在碼率增加不多的情況下，使幀率加倍。 　 H.263+采用先進的幀內(nèi)編碼模式；增強的PB-幀模式改進了H.263的不足，增強了幀間預測的效果；去塊效應濾波器不僅提高了壓縮效率，而且提高重建圖像的主觀質(zhì)量。

18、 　　H263++在H263+基礎上增加了3個選項，主要是為了增強碼流在惡劣信道上的抗誤碼性能，同時為了提高增強編碼效率。 1.3.3 MPEG-x視頻編碼標準 MPEG-1標準的碼率為1.2Mbit/s左右，可提供30幀CIF (352x288)質(zhì)量的圖像，是為CD-ROM光盤的視頻存儲和播放所制定的。MPEG-1標準視頻編碼部分的基本算法與H.261/H.263相似，也采用運動補償?shù)膸g預測、二維DCT，VLC游程編碼等措施。此外還引入了幀內(nèi)幀(I)、預測幀(P)、雙向預測幀(B)和直流幀(D)等概念，進一步提高了編碼效率。在MPEG-1的基礎上，MPEG-2標準在提高圖像

19、分辨率、兼容數(shù)字電視等方面做了一些改進，例如它的運動矢量的精度為半像素；在編碼運算中（如運動估計和DCT）區(qū)分“幀”和“場’，引入了編碼的可分級性技術(shù)，如空間可分級性、時間可分級性和信噪比可分級性等。近年推出的MPEG-4標準引入了基于視聽對象( AVO：Audio-Visual Object)的編碼，大大提高了視頻通信的交互能力和編碼效率。MPEG-4中還采用了一些新的技術(shù)，如形狀編碼、自適應DCT、任意形狀視頻對象編碼等。但是MPEG-4的基本視頻編碼器還是屬于和H.263相似的一類混合編碼器。 1.4 H.264視頻編碼標準 2003年，ISO/IEC的運動圖像專家組（MP

20、EG）與ITU-T的視頻編碼專家組（VCEG）聯(lián)手制定了最新的第三代視頻編碼標準H.264/AVC。其主要目的就是為了提供更高的編碼效率和更好的網(wǎng)絡適應性。H.264有多個技術(shù)改進，如：標準統(tǒng)一的VLC符號編碼，高精度、多模式的位移估計，多參考幀，基于4x4塊的整數(shù)變換、在相同重構(gòu)圖像質(zhì)量下，與H.263+和MPEG-4 ASP標準相比，能節(jié)約50%的碼流；采用分層模式，定義了視頻編碼層（VCL）和網(wǎng)絡提取層（NAL），后者專為網(wǎng)絡傳輸設計，能適應不同網(wǎng)絡中的視頻傳輸，進一步提高網(wǎng)絡的‘親和性’。H.264引入了面向IP包的編碼機制，有利于網(wǎng)絡中的分組傳輸，支持網(wǎng)絡中視頻的流媒體傳輸；具有較強

21、的抗誤碼特性，特別適應丟包率高、干擾嚴重的無線視頻傳輸?shù)囊蟆? H.264標準提供了許多種編碼模式，例如僅幀內(nèi)編碼的luminance分量就有4種16x16預測模式和9種4x4預測模式，再加上4種chrominance分量的預測模式，這樣一個宏塊可能的模式組合就有(16*9+4)*4=592種。而該軟件在實現(xiàn)時為了找到R-D意義上最優(yōu)的模式，采用了拉格朗日乘法，即最小的J=D+ x R所對應的模式被認為是最優(yōu)的。這樣對每一個宏塊，程序要計算592次J=D+ x R，而D和R都要經(jīng)過實際的編碼和解碼過程才能得到，因此每編碼一個宏塊相當于做了592次編碼和解碼。盡管這里的解碼不需要熵解碼

22、過程，有些MB也不是所有的模式組合都可用，但這種窮舉算法顯然太耗時。如果在編碼P幀時再和7種幀間預測模式組合一下，以判斷采用幀間編碼還是幀內(nèi)編碼，計算量就更大了。因此，H.264算法復雜度極大，編碼速度極慢，對硬件要求也很高。因此需要改進，開發(fā)快速算法。 2 H.264算法分析 視頻信號的數(shù)據(jù)量是很大的，為了達到高效的壓縮，必須充分利用各種冗余，一般來講，視頻序列里的冗余包括兩類。 一類是統(tǒng)計冗余，它包含： （1）頻譜冗余，指色彩分量之間的相關(guān)性； （2）空間冗余； （3）時間冗余，這是視頻壓縮區(qū)別于靜止圖像壓縮的根本點，視頻壓縮主要利用時間冗余來實現(xiàn)大的壓縮比。 另

23、一類是視覺生理冗余，這是由于人類的視覺系統(tǒng)(HVS)特性造成的，比如人眼對色彩分量沒有對亮度分量敏感，對圖像高頻(即細節(jié))處的噪聲不敏感等。 針對這些冗余，視頻壓縮算法采用了不同的方法加以利用，但主要的考慮集中在空間冗余和時間冗余上。與以前的標準類似，H.264也采用了所謂的混合(hybrid)結(jié)構(gòu)，即對空間冗余和時間冗余分別進行處理。對空間冗余，標準通過變換及量化達到消除的目的，這樣編碼的幀叫做I幀；而時間冗余則是通過幀間預測，即運動估計和補償來去除的，這樣編碼的幀叫做P幀或B幀。 2.1 H.264的三個不同檔次的應用 （1）基本檔次：主要用于視頻會話，如會議電視，可視電話

24、，遠程教育，遠程醫(yī)療等。 （2）擴展檔次：主要用于網(wǎng)絡視頻流。 （3）主要檔次：主要用于消費應用電子，如數(shù)字電視廣播。 2.2 幀內(nèi)預測 與以前的標準不同的是，H.264在編碼I幀時，采用了幀內(nèi)預測，然后對預測誤差進行編碼。這樣就充分利用了空間相關(guān)性，提高了編碼效率。H.2 64 幀內(nèi)預測以16x16的宏塊為基本單位。首先，編碼器將與當前宏塊同一幀的鄰近像素作為參考，產(chǎn)生對當前宏塊的預測值，然后對預測殘差進行變換與量化，再對變換與量化后的結(jié)果做熵編碼。熵編碼的結(jié)果就可以形成碼流了。由于在解碼器端能夠得到的參考數(shù)據(jù)都是經(jīng)過反變換與反量化后的重建圖像，所以為了使編、解碼一

25、致，編碼器端用于預測的參考數(shù)據(jù)就和解碼器端一樣，也是經(jīng)過反變換與反量化后的重建圖像。 幀內(nèi)預測的目的是生成對當前宏塊的預測值。一個宏塊由一個16x16的luminance分量和兩個8x8的chrominance分量構(gòu)成，luminance塊有兩類幀內(nèi)預測方式，按標準中的記號表示為:Intra _16x 16和Intra_4x4，而兩個chrominance分量則采用相同的預測方式。Intra _16x 16是對整個16x16大小的luminance進行預測，一般用于圖像比較平坦的區(qū)域，共有4種預測方式.而Intra 4x4方式是將16x16大小的luminance劃分為16個4x4大小的亮度

26、塊，然后對每個4x4大小的塊進行預測，共有9種預測方式。 對于chrominance分量(Cr和Cb)，預測是對整個8x8塊進行的，共4種預測方式。 H.264的幀內(nèi)編碼框圖如圖2.1所示： 宏塊 幀內(nèi)預測 熵編碼 反變換 反量化 熵編碼 量化 變換 圖2.1 幀內(nèi)編碼框圖 2.2.1 16 x16幀內(nèi)預測 16 x 1 6 預測方式是基于在16x16塊的基礎上，用于對圖像中的相對不變的部分進行編碼。16x16幀內(nèi)預測模式根據(jù)與當前宏塊鄰近的33個像素來生成luminance分量的預測數(shù)據(jù)，共有4種預測方式，如圖2.2.1，垂直（vertical）、水平（ho

27、rizontal）, DC和平面（plane）。在進行預測之前，首先要判斷這些鄰近像素是否可用(available)，如果這些像素不可用，例如鄰近像素所在的宏塊位于其它Slice之中或當前宏塊位于圖像邊緣時某些預測模式就用不起來。 Mean(H+V) 圖2.2.1 16 x16幀內(nèi)預測 2.2.2 4x4幀內(nèi)預測模式 在此模式下，編碼器將當前宏塊16x16的luminance分量劃分為16個4x4的塊，然后根據(jù)每個4x4塊周圍的鄰近像素對該塊做預測。按理說，對一塊像素做預測，其上下左右的像素都應當作為參考，但由于編碼順序的原因，H.264只選擇了13個像素作為參考。

28、 同 Intra_16x16模式一樣，在開始預測之前，首先需判斷A-M這些參考像素是否可用，如果有些參考像素不可用，那么有些預測模式也就不能用了。編碼器端用于預測的參考數(shù)據(jù)是經(jīng)過反變換與反量化后的重建圖像，所以判斷的主要依據(jù)就是看這些像素是否在當前的4x4塊之前已經(jīng)完成編碼，即已經(jīng)是經(jīng)過重建了的圖像。如果4x4塊E-H參考像素所在的4x4塊尚未編碼，那么它們的E-H參考像素是不可用的。另外，如果E-H不可用而D是可用的，則用D來替代E-H并將E-H標記為可用。 在決定了哪些參考像素可用后，就可以通過它們產(chǎn)生預測值了。H.264一共定義了9種Intra _4x4預測方式，除了DC方式(模式2

29、)之外，其它8種都是向某一個方向上進行預測，也就是做外插。 這8個預測方向和預測的方式如圖2.2.2所示： 8 6 1 4 5 0 7 3 圖2.2.2 4x4塊的8個預測方向 由圖中可以看出，如果某一塊區(qū)域內(nèi)的像素值呈現(xiàn)出一種方向性，那么選用與這個方向相近的某個預測方式，將會達到較好的預測效果。作為空間相關(guān)性的一種表現(xiàn)，在空間上相臨的塊其預測模式也是相近的，所以對于Intra 4x4預測，H.264并不直接編碼各個塊的預測模式，而是根據(jù)當前塊左邊和上邊塊的預測模式，對當前塊的預測模式進行估計，只有當前塊的預測模式和這個估計出來的預測模式不相同時才額外傳送當前塊的預

30、測模式。 2.2.3 色差分量的幀內(nèi)預測 該預測針對的是當前宏塊的兩個8x8的色差分量Cr和Cb，共有4種模式，兩個chrominance分量采用相同的預測模式，預測對兩個分量分別進行，預測的范圍是整個8x8的色差分量。預測的參考像素是同一個chrominance分量的周圍17個像素。 預測的過程同16x16基本相似，首先判斷這17個參考像素的可用性(availability)，然后進行預測。 2.3 幀間預測 2.3.1 樹型構(gòu)造的運動補償 H.264編碼支持從16x16到4x4范圍尺寸的運動補償塊，在這個范圍中亮度樣本可有多個選擇。每個圖像宏模塊亮

31、度組件可以按4種方式分開（如圖1所示）：16x16、 16x8、8x16 和 8x8。每一個被分的子區(qū)是宏模塊的一部分。如果選擇了8x8的模式，每一個8x8模塊被按4種模式分成多個子塊（如圖2所示）：8x8、 8x4、4x8 和 4*4 (被稱作宏模塊子區(qū))。這種模塊區(qū)和模塊子區(qū)在每個宏模塊產(chǎn)生大量的組合。這種劃分宏模塊為各種尺寸的動態(tài)子模塊的方法被稱作樹型運動補償。 每一個區(qū)和子區(qū)要求由各自的運動矢量描述。每一個運動矢量都要被編碼和發(fā)送；除此之外，所選的區(qū)需在壓縮的比特流中編碼。選擇了大的區(qū)域意味著用少量的比特數(shù)據(jù)去描述運動矢量和區(qū)域類型。然而，經(jīng)過補償后的運動的畫面還有大量的運動細節(jié)描寫

32、。選擇小的區(qū)的劃分會在使用運動補償后產(chǎn)生少量的編碼。因此，選擇分區(qū)的尺寸大小具有顯著的意義?？傊?，大的分區(qū)適合均勻的區(qū)域，小的分區(qū)適合描述細節(jié)。在宏模塊中每一個顯示組件的分辨率是亮度組件的一半，每一個顯示被按同一方式分成亮度元素。 2.3.2 1/4像素精度的運動估計 幀間編碼宏塊的每個分割或者子宏塊都是對參考圖像的某一相同尺寸區(qū)域進行預測而得到的。兩者之間的差異（MV）對亮度成分采用1/4像素精度，色度1/8像素精度。亞像素位置的亮度和色度像素并不存在于參考圖像中，需利用鄰近已編碼點進行內(nèi)插而得。如果MV的垂直和水平分量為整數(shù)，參考塊相應像素就已實際存在。如果其中一個或兩個為分

33、數(shù)，預測像素則要通過參考幀中相應像素內(nèi)插獲得。 2.3.3 多參考幀模式選擇 H.264標準為幀間圖像編碼提供了多參考幀選擇,可選擇5個不同的參考幀， 進行幀間預測，這使得幀間編碼更加有效，恢復視頻的主觀效果更好，而且，使用多參考幀將會有助于H.264比特流錯誤的恢復，這樣比單獨參考幀方法可以節(jié)省5 %～10 %的傳輸碼率。另外，圖像編碼順序不是基于時間的圖像顯示順序，而是基于圖像之間的依賴關(guān)系。 2.4 變換與量化 將圖像的當前像素值與預測值相減，就形成了預測殘差。殘差內(nèi)仍然含有空間冗余，為了消除這種冗余，通常采用變換編碼，即變換－量化－熵編碼三步。變換并不壓縮數(shù)

34、據(jù)，它只是消除數(shù)據(jù)中的相關(guān)性，或者說將數(shù)據(jù)中的冗余(或相關(guān)性)以一種便于隨后進行熵編碼的方式表現(xiàn)出來。壓縮是在熵編碼步驟中完成的。此外為了進一步減少數(shù)據(jù)量，編碼器還對變換后的系數(shù)進行量化，它的實質(zhì)是減少數(shù)據(jù)的取值范圍以減少每一個符號的熵。它會造成信息的損失，是有損編碼的一個重要步驟，它也是控制圖像率失真(R-D)特性的一個主要手段。在H.264中，變換與量化兩個步驟緊密相連。 2.4.1 整數(shù)DCT 變換 圖像編碼中常用的變換是DCT，因為它在某種條件下近似于理論上最優(yōu)的K-L變換。但是如果直接采用DCT的定義進行變換，會帶來兩個問題：一個是需要進行浮點數(shù)操作，從而造成系統(tǒng)設計上

35、的復雜性：第二，由于變換核都是無理數(shù)，而有限精度的浮點數(shù)不可能精確地表示無理數(shù)，再加上浮點數(shù)的運算可能會引入舍入誤差，這就使得在具體實現(xiàn)時會導致編解碼的不一致(mismatch),即反變換的輸出結(jié)果和正變換的輸入不一樣。為了克服這些問題，H.264采用整數(shù)DCT變換，使得變換操作僅用整數(shù)加減和移位操作就可以完成，這樣既降低了設計復雜度，又避免了編解碼的不一致，而由此帶來的編碼性能的減少微乎其微。需要注意的是，此時的變換已經(jīng)不是真正的DCT，仍然稱其為DCT變換只是為了說它是由DCT推導而來，且為了和另一個哈達瑪變換(Hadamard變換)相區(qū)別罷了。 H.264 編碼器的變換與量化過

36、程如圖2.3所示： Hadamard變換44 整數(shù)DCT變換44 Hadamard變換22 整數(shù)DCT變換44 整數(shù)DCT變換44 DC系數(shù)量化 AC系數(shù)量化 AC系數(shù)量化 AC系數(shù)量化 AC系數(shù)量化 AC系數(shù)量化 DC系數(shù)量化 AC系數(shù)量化 AC系數(shù)量化 16*16 4*4 其他 DC DC 圖2.3 H.264編碼器變換與量化過程 圖中輸入為預測殘差，輸出為準備進行熵編碼的數(shù)據(jù)，一共有五類。為了更大程度地利用空間冗余，對于16x16幀內(nèi)預測模式，H.264在對16x16的luminance分量的

37、16個4x4塊進行DCT變換后，將每個4x4塊的DC系數(shù)(還沒有經(jīng)過量化)提取出來，組成一個4x4的luminance DC塊，對其再進行4x4的哈達瑪（Hadamard）變換。同樣，對8x8 chrominance分量的4個4x4塊進行DCT變換后，也將每個4x4塊的DC系數(shù)提取出來，組成一個2x2的chrominance DC塊，對其進行2x2的Hadamard變換。 2.4.2 量化 一般量化原理為： FQ=round(y/QP) 其中：y為輸入樣本點編碼，QP為量化步長，F(xiàn)Q為y的量化值，round()為取整函數(shù)。 2.5 熵編碼 在完成變換與量

38、化之后，這些數(shù)據(jù)就送往熵編碼器，完成整個變換編碼的最后一步。H.264一共有3種熵編碼： (1)Exp-Golomb碼(Exponential Golomb codes); (2)CAVLC (Context-based Variable Length Coding): (3)CABAC(Context-based Adaptive Binary Arithmetic Coding). H.264對這三種碼的使用范圍做了規(guī)定:(1)不出現(xiàn)在殘差數(shù)據(jù)中;(2)僅出現(xiàn)在殘差數(shù)據(jù)中:(3)僅出現(xiàn)在Slice層以下(從Slice data開始)的數(shù)據(jù)中。(1)和(2)都是采用查表方式，但是(

39、1)的表是固定的，而(2)在編碼過程中會根據(jù)周圍宏塊以及在之前編碼的數(shù)據(jù)信息，選擇不同的表，從而具有上下文自適應功能。(3)屬于自適應算術(shù)編碼，能夠獲得比(2)更好的壓縮性能和自適應能力.。 2.5.1 Exp-Golomb碼 Exp-Golomb碼的編碼過程分為兩步:第一步將待編碼的數(shù)據(jù)轉(zhuǎn)換為一個中間變量code-Num。根據(jù)轉(zhuǎn)換方式，可將Exp-Golomb碼分為4種，按H.264的記號分別表示為uc, mc, sc和tc.其中uc和sc分別用于無符號整數(shù)和有符號整數(shù)的編碼，mc用于對coded_block_pattern編碼，這是表示當前宏塊中哪些子塊含有非零系數(shù)的一個參數(shù)

40、，to用于編碼ref_idx_10和ref_idx_l1，該參數(shù)表示使用緩存中的哪個參考幀做幀間預測，第二步是將code-Num映射為二進制編碼。 2.5.2 CAVLC CAVLC是基于上下文的自適應變長碼的英文簡稱，它用于編碼預測殘差。VLC的基本思想是對經(jīng)常出現(xiàn)的符號賦予較短的碼字，反之則較長。與一般的VLC碼不同的是，CAVLC能夠根據(jù)以往編碼的數(shù)據(jù)在若干碼表中自適應地選擇，找出與當前編碼數(shù)據(jù)統(tǒng)計特性最相符的一個碼表來進行編碼.并且它將以前標準中所采用的(Run, Level)二元組拆開來，分別進行編碼，從而能達到更好的自適應性，提高了編碼性能。由于CAVLC改進的編碼性

41、能以及實現(xiàn)簡單，它被JVT所采納，同上面的Exp-Golomb碼一起代替了原先的UVLC. CAVLC 的設計考慮了如下幾個事實： 1）經(jīng)過變換與量化后的預測殘差中含有較多的0，這樣在Zig-Zag掃描之后，用Run和Level表示預測殘差可以取得較好壓縮效果。這一點在以前的標準中也用到了。這里Level表示非零系數(shù)值Run表示非零系數(shù)之前的0的數(shù)目. 2）殘差末尾的幾個非零系數(shù)一般為+1或-1，CAVLC對它們單獨進行了編碼。 3）作為空間相關(guān)性的一種表現(xiàn)，當前塊中的非零系數(shù)個數(shù)和周圍塊的中的非零系數(shù)個數(shù)應該差不多，CAVLC利用這一點自適應地選擇編碼當前塊中非零系數(shù)數(shù)的碼表。

42、4）位于低頻處的系數(shù)值一般較大，而位于高頻處的則相反，CAVLC利用這一點自動地選擇編碼Level的碼表。 5）位于低頻處的非零系數(shù)一般是連著的，中間沒有零，此時用(Run，Level)形式來表示它們就顯得效率不高，因此CAVLC將Run和Level分開單獨進行編碼。 2.5.3 CABAC CABAC只對二進制符號0和1進行編碼，所以首先要對輸入的Syntax Element (SE)的值做二值化(Bin－variation)，即映射成一串0，1序列，序列中的每一個二進制符號稱為一個“bin", bin是CABAC的編碼單元。對每一個bin的編碼包括兩個步驟：選擇c

43、ontext和進行算術(shù)編碼。 由于空間相關(guān)性，SE的取值與鄰近相同的SE取值是相關(guān)的，這樣，描述當前SE的概率就應該用條件概率模型。Context就是這樣一個條件概率模型，每一個context描述了在鄰近SE的某一個取值或取值組合下，當前SE中某一個bin的條件概率。由于一般鄰近SE有多種可能取值，所以當前bin也對應有多種不同的context(以ctxIdx索引)，這就需要編碼器根據(jù)鄰近SE的取值選取不同的context(也就是ctxIdx )對當前bin進行編碼，這里鄰近的含義不僅包括空間上相鄰，而且也包括先前編碼的bin，即時間上相鄰。 在選擇了合適的context之后，編碼器就開始

44、算術(shù)編碼，在編碼完成后編碼器更新bin的概率(實際上是FSM的狀態(tài))，記錄在所用的context中。如前所述，編碼過程中計算子區(qū)間長度和概率估計均采用查表操作，避免了乘除法運算，而其它的一些運算和操作也是針對整數(shù)進行的。 當前 bin 的編碼完成后，編碼器對下一個bin重復上述兩個步驟直至當前SE的所有bin都編碼完畢。 2.6 去方塊濾波 在H.264/MPEG-4 AVC視頻編碼標準中，編解碼器反變換量化后圖像會出現(xiàn)方塊效應。其產(chǎn)生的原因有兩個： 1)在基于塊的幀內(nèi)和幀間預測殘差的DCT變換中，其變換系數(shù)的量化過程相對粗糙，因而反量化過程恢復的變換系數(shù)帶有誤差，會造成在圖

45、像塊邊界上的視覺不連續(xù)。 2)來自于運動補償預測，運動補償塊可能是從非同一幀的不同位置上的內(nèi)插樣點數(shù)據(jù)中復制而來的，因為運動補償塊的匹配不可能是絕對準確的，所以就會在復制塊的邊界上產(chǎn)生數(shù)據(jù)不連續(xù)。而參考幀中存在的邊界的不連續(xù)也被復制到需要補償?shù)膱D像塊內(nèi)。 H.264采用了去除塊效應濾波器，應用于所有的宏塊之中。通過對宏塊邊緣的平滑濾波，減輕視頻編碼中的塊效應。當塊邊界上兩邊差較小則使用濾波器使差別“平滑”掉, 若邊界上圖像特征明顯則不使用濾波。這樣既減弱“塊效應”的影響又避免濾掉圖像的客觀特征, 同時在相同主觀質(zhì)量下使比特率減少5%～ 10%。H.264根據(jù)內(nèi)容來選擇濾波器強度，按照所處理

46、的當前邊緣附近像素值的不同， 選取不同強度的濾波器。 2.7 碼率控制 基于Lagrangian優(yōu)化算法的編碼控制模型。 2.7.1 Lagrangian優(yōu)化算法 若有集合S=(S1,S2……Sk)，對每一個Sk選取編碼模式Q＝(Q1,Q2…….Qk)中的Ik(Ik∈Qk)進行編碼，在給定碼率Rc下，使編碼后的失真度最小。 即：D(S,I)R(S,I)<=Rc。 在實際中，若：J(S,I/X)=D(S,I)+X×R(S,I)，最小則最優(yōu)。 其中，D(S,I) 為輸出流的失真度，R(S,I)為碼率， X為Lagrang參數(shù)。因此，對每一樣本選擇最

47、優(yōu)編碼模式，可以得到J(S,I/X)的最小值，實現(xiàn)碼率控制。 2.8 h.264傳輸 h.264的視頻編碼序列包括一系列NAL的單元，每個NAL單元包含一個RBSP。編碼片和序列RBSP結(jié)束符被定義為VCL NAL單元，其余的為NAL單元。典型的RBSP單元序列如圖2.8.1所示。每個單元都按獨立的NAL單元傳送。NAL單元的頭信息定義了RBSP單元的類型，NAL單元的其余部分則為RBSP數(shù)據(jù)。 SPS SEI PPS I片 圖像定界符 P片 P片 圖2.8.1 RBSP序列 3 H.264標準中的幀預測技術(shù) H.264標準中的基本預測技術(shù)是基于塊，而

48、不是基于對象的。它的編碼器是利用混合的編碼方案來提高編碼效率，這些方案包括高級的預測技術(shù)和有效熵編碼技術(shù)。在運動預測中它使用不同的塊的大小進行預測，以樹結(jié)構(gòu)的方式來組織預測模式。其主要的特點也包含在多參考幀預測方式和通用B幀的概念上。下面我們就從運用在標準中兩種不同預測方式分別加以討論。 3.1 幀內(nèi)預測 在 H.2 64標準中，幀內(nèi)預測是在變換編碼之前進行的，并且運用了多種不同的幀內(nèi)預測方法，最大程度地減少圖像的空間冗余信息。就亮度信號而言，幀內(nèi)預測可分為4x4和16x16兩種預測方式，其中4x4方式有9種可選的預測模式，16x16方式有4種可選方式，而I_ PCM編碼方式是作

49、為這兩種方式的替代方式，允許編碼器不經(jīng)過預測和變換編碼過程，而是直接把編碼的抽樣值傳送過去。對色差信號則采用8x8預測方式，只有1種預測模式。 在 H. 264標準的幀內(nèi)預測中，當前塊的抽樣值總是利用鄰塊的抽樣值來獲取。這樣也許會因為在相鄰的幀間編碼的宏塊的運動補償誤差而引起圖像誤差的擴散。因此，在圖像編碼過程中還有一種限制幀內(nèi)編碼模式，此時只允許相鄰的幀內(nèi)預測宏塊才可以作為其他當前宏塊的參考宏塊。 3.1.1 4 x 4幀內(nèi)預測 4x4 幀內(nèi)預測方法是獨立地基于在4X4塊上，用于對圖像細節(jié)部分進行編碼。它的基本思路是從不同的方向計算、比較塊中各個像素之間的亮度差值，即梯度值。

50、通過選擇具有最小預測誤差的方向作為最佳的預測方向。下面對其中的預測模式舉例說明。見下圖3.1.1，其中4X4塊中16個抽樣值(a-p) 是由先前解碼鄰近宏塊抽樣值(A-Q)利用各種預測模式預測得來。 各預測模式（見圖2.2.2）的實現(xiàn)： （1）模式2：D C預測 如果所有的參考樣點均在圖像內(nèi)，那么: DC= (A+B+C+D+I+J+K+L+4) /8 如果A, B, C, D在圖像外，而I, J, K和L在圖像中， DC＝(I+J+K+L+2) 14 如果I, J, K和L在圖像外，而A，日，C, D在圖像中， DC= (A+B+C+D+2) /4 如果所有的參考樣點均在

51、圖像外，那么: DC =128 相關(guān)程序如下： s0=0; if(block_available_up&&block_available_left) { s0=(P_A+P_B+PC+PD+P_I+P_J+P_K+P_L+4)/(2+BLOCK_SIZE); } else if (block_available_up&&!block_available_left) { s0 =(P_I+P_J+P_K+P_L+2)/BLOCK_SIZE; } else if (block_available_ up && !block_

52、available_left) { s0=(P_A+P_ B+P_C +P_D+2)/BLOCK_SIZE; } else //if (!block_available_up && !block_available_left) s0 = 128; for(j =0;j< BLOCK_SIZE;j+ +) for (i =0;i< BLOCK_SIZE;i+ +) img ->mpr[i+ioff][j+joff]=s0; 其中P _A-P_ L分別代表著圖3.1.1中A-L的值，BLOCK SIZE的值為4。 （2）模式0：垂直預測 如

53、果A, B, C, D存在，那么: a, e, i, m由A預測得到; b, f , j , n 由B預測得到: c, g ,k ,o 由C預測得到; d, h ,!.p由D預測得到。 相關(guān)程序如下： for(j=0;j<BLOCK_SIZE;j++) for (i= 0;i <BLOCK_SIZE;i++) img->mpr[i+ioff][j+joff]= imgY[pixb.pos.y][pix.b.pos.x]; 其中 imgY[pixb.pos.y][pix.b.pos.x]存放著上面鄰近塊的抽樣值，相當于A--D的值。 （3）模式1：:水平預測

54、 如果 !， J, K 和 L 存在，那么： a, b , c ,d 由I預測得到; e, f , g ,h 由J預測得到: i, j , k , ! 由K預測得到; m, n ,o ,p由L預測得到。 相關(guān)程序如下： for(j=0;j<BLOCK_SIZE;j++) for (i= 0;i <BLOCK_SIZE;i++) img->mpr[i+ioff][j+joff]=imgY[pix_a[j].pos_y][pix_a[j].pos_x]; 其中imgY[pix_a[j].pos_y][pix_a[j].pos_x]存放著左邊鄰近塊的抽樣值，相當

55、于I一L的值。 （4）模 式 3:：對角方向－下/左方向預測 如果 A, B ,C ,D ,E ,F ,G ,H 存在，那么: a= (A + 2 B+ C +2 ) / 4 e, b = (B + 2C + D +2 ) 1 4 i，f, c= (C+2D+E+2) /4; m,j,g,d=(D+2E+F+2) /4 n, k, h = (E+2 F+G+2) /4 o,l=(F+2G+H+2) /4 p= (G+3H+2) /4 相關(guān)程序如下： img->mpr[O+ioff][O+joff]=(P_A +P_C+2*(P_B)+2)/4; img->m

56、pr[1+ioff][O+joff]= img->mpr[O+ioff][O+joff]=(P_B+P_D+2*(P_C)+2)/4; img->mpr[2+ioff][O+joff]= img->mpr[1+ioff][1+joff]= img->mpr[O+ioff][2+joff]=(P_C+P_E+2*(P_D)+2)/4; img->mpr[3+ioff][O+joff]= img->mpr[2+ioff][1+joff]= img->mpr[1+ioff][2+joff]= img->mpr[O+ioff][3+jof

57、f]=(P_D+P_F+2*(P_E)+2)/4; img->mpr[3+ioff][1+joff]= img->mpr[2+ioff][2+joff]= img->mpr[1+ioff][3+joff]=(P_E+P_G+2*(P_F)+2)/4; img->mpr[3+ioff][2+joff]= img->mpr[2+ioff][3+joff]=(P_F+P_H +2*(P_G)+2)/4; img->mpr[3+ioff][3+joff]=(P_G+3*(P_H)+2)/4; 當相對于本塊的右上角的鄰塊不存在時，那么P_E=P_F=P_

58、G=P_H=P_D。 a b c d e f g h i j k l m n o p A B C D E F G H I J K L 圖3.1.1 4X4子快中及其參考樣點分布 3.1.2 16 x16幀內(nèi)預測 16 x 16預測方式是基于在16x16塊的基礎上，用于對圖像中的相對不變的部分進行編碼。 Intra_16x16幀內(nèi)預測模式根據(jù)與當前宏塊鄰近的33個像素來生成luminance分量的預測數(shù)據(jù)，共有4種預測方式，垂直（vertical）、水平（horizontal）, DC和平面（plane）。在進

59、行預測之前，首先要判斷這些鄰近像素是否可用(available)，如果這些像素不可用，例如鄰近像素所在的宏塊位于其它Slice之中或當前宏塊位于圖像邊緣時某些預測模式就用不起來。對于垂直模式，如果H可用的話，預測值即為H，否則不能使用此模式，對于水平模式，如果V可用的話，預測值即為V，否則不能使用此模式，對于 DC 模式，如果H和V都可用，就用這32個像素的均值作為預測值，如果只有H或V可用，就用這16個像素的均值作為預測值，如果H和V都不可用，例如當前宏塊位于一個Slice的開頭，則預測值為128.，對于plane模式，要求必須所有的33個鄰近像素都可用，這種方式實質(zhì)上就是利用H和V做外插(

60、extrapolation)，為便于敘述，引入一個坐標系，其中橫向為x軸，縱向為Y軸，定義當前宏塊左上角像素的坐標為(0,0)。用P(x,y)表示位于坐標(x,y)處的33個鄰近像素值，其中H對應p(x, -1),x= 0…15, V 對應P(-1,Y ),y= 0…15，而左上角處的鄰近像素值為p(-1,1) 。預測值用pred(x,y),x,y= 0…15表示。其中如果參考樣點不在編碼圖像內(nèi)則以128代替。 模式0: 垂直預測 Pred (i,j)=P(i,-1) i,j =0...15 模式1: 水平預測 Pred(i,j)=P(-1,j) i, j= 0...15 模式2

61、: 直流預測 Pred(i,j)=((∑(P(-1,j)+P(i,-1)))+16)>>5 i,j=1...15 模式3: 平面預測 predc(x,y)＝Clipl(( a+ b * (x 一7)+c*(y一7)+16)>>5) x,y =0..15 其中： a=16 * (p(-1,15) + p(15,-1)) b=(5 * H + 32)>>6 c=(5 * V + 32)>>6 H=∑(x+1 ) *(p (8+x , -1)－p(6－x,-1)) x=0…7 V=∑(y+ 1) *(p (-1,8+y )－p(-

62、1,6-y)) y=0…7 Clipl(x )代表將x位于0到255之間(含)，即 Clipl(x)＝255 x> 255 0 x <0 x 0<_x<_255 3.1.3 色差分量的幀內(nèi)預測 該預測針對的是當前宏塊的兩個8x8的色差分量Cr和Cb，共有4種模式，兩個chrominance分量采用相同的預測模式，預測對兩個分量分別進行，預測的范圍是整個8x8的色差分量。預測的參考像素是同一個chrominance分量的周圍17個像素。 預測的過程同Intra_16x16基本相似，首先判斷這17個參考像素的可用性(avail

63、ability)，然后進行預測。 3.2 幀間預測 幀間預測是利用先前已編碼的圖像作為參考圖像對當前圖像進行預測的一種方式。它把參考圖像的抽樣點通過運動矢量的補償作為當前圖像抽樣值的參考值。H.264/AVC標準中使用了從H.261標準以來主要標準中使用的塊結(jié)構(gòu)運動補償。然而，它與早期標準最大區(qū)別在于： 1） 支持多種塊結(jié)構(gòu)的預測； 2） 運算精度能精確到1/4像素點上。 在H.26 4標準中還使用了H.263標準中曾使用過的多幀預測的方法，主要思想是增加運動矢量中時間軸的估計參考幀數(shù)。在宏塊的級別上，允許選擇一個或幾個前面視頻幀作為參考幀。用于運動補償?shù)亩鄮A測方式在大多

64、數(shù)情況下會明顯改善預測增益。 下面我們就以在兩種不同類型的條（slice）中使用的幀間預測方式進行討論。在說明它們之前我們首先介紹樹結(jié)構(gòu)的運動補償，其中主要簡述了宏塊的分塊。 3.2.1 樹結(jié)構(gòu)的運動補償 在H.264標準中獲得運動補償?shù)膲K結(jié)構(gòu)大小不再局限于在宏塊的基礎上，可以從宏塊的分塊或子分塊中獲取運動矢量。每個宏塊也許被按照圖3.2.1.和3.2.2中的方式進行分解。 16×16 8 × 16 16×8 8×8 圖3.2.1 宏塊分塊中的子分塊:16x16, 8x16, 16x8, 8x8 8×8

65、4 × 8 8×4 4×4 圖3.2.1宏塊分塊中的子分塊:8x8,4x8,8x4,4x4 由圖3.2.1可知，16 x 1 6宏塊可能被分解為一個16 x 16塊，或2個8 x16塊，或2個16 x 8塊，或4個8 x 8塊。如果使用8 x 8模式，每個8 x 8的宏塊分塊(Macro-block partitions)將會按照圖3.2.2進一步分解為8 x 8, 4 x 8, 8 x 4, 4 x 4類型的塊。 這些分塊和子分塊將會使得每個宏塊中包含有許多不同大小塊。利用各種大小的塊進行運動補償?shù)姆椒ㄎ覀儗⒎Q為樹結(jié)構(gòu)的運動補償(tre

66、e structured motion compensation.)。 每個塊或子塊都包含有一個獨立的運動矢量。每個運動矢量都將會被編碼，傳送，另外分塊方式也必須被編碼在數(shù)據(jù)流中。選擇大的分塊方式(16 x 16或16 x 8, 8 x 16)也許只需要傳送很少的比特用于說明運動矢量和分塊方式。但是運動補償后抽樣點差值也許將會比較大。選擇小的分塊方式(8 x 4或4 x 4)也許能得到很小運動補償后抽樣點差值，但是花費很多比特去傳輸運動矢量和分塊方式。因此對于分塊的選擇將會對壓縮效果有著重大的影響。通常，大的分塊方式用于幀內(nèi)均勻的部分，而小的分塊方式將有利于圖像中細節(jié)描述。由于采用不同大小的

67、塊進行幀間預測，使得運動估計模型更接近物體的實際運動，一般來說，使用小的運動補償塊可以提高預測精度，具體地說，小的塊增強了編碼模型處理精細運動細節(jié)能力，而且不會產(chǎn)生大的塊效應，同時提高了主觀視覺質(zhì)量。 每個色度塊將按照亮度的分塊方式進行分塊。由于宏塊中色度分辨率是亮度分辨率的一半，因此其塊的大小不管在水平還是垂直方向上都只是亮度塊的一半。同時，色度塊上垂直運動向量和水平運動向量也只是亮度塊的一半。 3.2.2 半象素搜索與象素填充 H.264比其它壓縮標準有更高的壓縮比，同時也能保證更好的圖像質(zhì)量，其原因就在于能夠最大程度上的消除冗余數(shù)據(jù)，這也就要求能將運動估計做得足夠精確，這樣，H.264的算法中引入了半像素搜索，也就是在做運動估計的時候，當完成整數(shù)像素搜索后，在匹配的像素點周圍就可以進行半像素搜索了，也稱之為小菱形搜索，如圖3.2.2： 圖3.2.2 全象素和半象素搜索圖