視頻壓縮原理.docx
《視頻壓縮原理.docx》由會(huì)員分享,可在線(xiàn)閱讀,更多相關(guān)《視頻壓縮原理.docx(75頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、第1章介紹 1. 為什么要進(jìn)行視頻壓縮? 未經(jīng)壓縮的數(shù)字視頻的數(shù)據(jù)量巨大 存儲(chǔ)困難 一張DVD只能存儲(chǔ)幾秒鐘的未壓縮數(shù)字視頻。 傳輸困難 1兆的帶寬傳輸一秒的數(shù)字電視視頻需要大約4分鐘。 2.為什么可以壓縮 去除冗余信息 空間冗余:圖像相鄰像素之間有較強(qiáng)的相關(guān)性 時(shí)間冗余:視頻序列的相鄰圖像之間內(nèi)容相似 編碼冗余:不同像素值出現(xiàn)的概率不同 視覺(jué)冗余:人的視覺(jué)系統(tǒng)對(duì)某些細(xì)節(jié)不敏感 知識(shí)冗余:規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到 3.數(shù)據(jù)壓縮分類(lèi) 無(wú)損壓縮(Lossless) 壓縮前解壓縮后圖像完全一致X=X
2、 壓縮比低(2:1~3:1) 例如:Winzip,JPEG-LS 有損壓縮(Lossy) 壓縮前解壓縮后圖像不一致X≠X 壓縮比高(10:1~20:1) 利用人的視覺(jué)系統(tǒng)的特性 例如:MPEG-2,H.264/AVC,AVS 4.編解碼器 編碼器(Encoder) 壓縮信號(hào)的設(shè)備或程序 解碼器(Decoder) 解壓縮信號(hào)的設(shè)備或程序 編解碼器(Codec) 編解碼器對(duì) 5. 壓縮系統(tǒng)的組成 (1) 編碼器中的關(guān)鍵技術(shù) (2) 編解碼中的關(guān)鍵技術(shù) 6.編解碼器實(shí)現(xiàn) 編解碼器的實(shí)現(xiàn)平臺(tái):
3、 超大規(guī)模集成電路VLSI ASIC, FPGA 數(shù)字信號(hào)處理器DSP 軟件 編解碼器產(chǎn)品: 機(jī)頂盒 數(shù)字電視 攝像機(jī) 監(jiān)控器 7. 視頻編碼標(biāo)準(zhǔn) 編碼標(biāo)準(zhǔn)作用: 兼容: 不同廠家生產(chǎn)的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼 高效: 標(biāo)準(zhǔn)編解碼器可以進(jìn)行批量生產(chǎn),節(jié)約成本。 主流的視頻編碼標(biāo)準(zhǔn): MPEG-2 MPEG-4 Simple Profile H.264/AVC AVS VC-1 標(biāo)準(zhǔn)化組織: ITU:International Telecommunications Unio
4、n VECG:Video Coding Experts Group ISO:International Standards Organization MPEG:Motion Picture Experts Group 8. 視頻傳輸 視頻傳輸:通過(guò)傳輸系統(tǒng)將壓縮的視頻碼流從編碼端傳輸?shù)浇獯a端 傳輸系統(tǒng):互聯(lián)網(wǎng),地面無(wú)線(xiàn)廣播,衛(wèi)星 9. 視頻傳輸面臨的問(wèn)題 傳輸系統(tǒng)不可靠 帶寬限制 信號(hào)衰減 噪聲干擾 傳輸延遲 視頻傳輸出現(xiàn)的問(wèn)題 不能解碼出正確的視頻 視頻播放延遲 10. 視頻傳輸差錯(cuò)控制 差錯(cuò)控制(Error
5、 Control)解決視頻傳輸過(guò)程中由于數(shù)據(jù)丟失或延遲導(dǎo)致的問(wèn)題 差錯(cuò)控制技術(shù): 信道編碼差錯(cuò)控制技術(shù) 編碼器差錯(cuò)恢復(fù) 解碼器差錯(cuò)隱藏 11.視頻傳輸?shù)腝oS參數(shù) 數(shù)據(jù)包的端到端的延遲 帶寬:比特/秒 數(shù)據(jù)包的流失率 數(shù)據(jù)包的延遲時(shí)間的波動(dòng) 第2章 數(shù)字視頻 1.圖像與視頻 圖像:是人對(duì)視覺(jué)感知的物質(zhì)再現(xiàn)。 三維自然場(chǎng)景的對(duì)象包括:深度,紋理和亮度信息 二維圖像:紋理和亮度信息 視頻:連續(xù)的圖像。 視頻由多幅圖像構(gòu)成,包含對(duì)象的運(yùn)動(dòng)信息,又稱(chēng)為運(yùn)動(dòng)圖像。 2. 數(shù)字視頻 數(shù)字視頻:自然場(chǎng)景空間和時(shí)間的數(shù)字采樣表示。
6、 空間采樣 解析度(Resolution) 時(shí)間采樣 幀率:幀/秒 3. 空間采樣 二維數(shù)字視頻圖像空間采樣 4. 數(shù)字視頻系統(tǒng) 采集 照相機(jī),攝像機(jī) 處理 編解碼器,傳輸設(shè)備 顯示 顯示器 5. 人類(lèi)視覺(jué)系統(tǒng)HVS HVS 眼睛 神經(jīng) 大腦 HVS特點(diǎn): 對(duì)高頻信息不敏感 對(duì)高對(duì)比度更敏感 對(duì)亮度信息比色度信息更敏感 對(duì)運(yùn)動(dòng)的信息更敏感 6. 數(shù)字視頻系統(tǒng)的設(shè)計(jì)應(yīng)該考慮HVS的特點(diǎn): 丟棄高頻信息,只編碼低頻信息 提高邊緣信息的主觀
7、質(zhì)量 降低色度的解析度 對(duì)感興趣區(qū)域(Region of Interesting,ROI)進(jìn)行特殊處理 7. RGB色彩空間 三原色:紅(R),綠(G),藍(lán)(B)。 任何顏色都可以通過(guò)按一定比例混合三原色產(chǎn)生。 RGB色度空間 由RGB三原色組成 廣泛用于BMP,TIFF,PPM等 每個(gè)色度成分通常用8bit表示[0,255] 8. YUV色彩空間 YUV色彩空間: Y:亮度分量 UV:兩個(gè)色度分量 YUV更好的反映HVS特點(diǎn) 9. RGB轉(zhuǎn)化到Y(jié)UV空間 亮度分量Y與三原色有如下關(guān)系: 經(jīng)過(guò)大量實(shí)驗(yàn)后ITU-R給出
8、了,,, 主流的編解碼標(biāo)準(zhǔn)的壓縮對(duì)象都是YUV圖像 10.YUV圖像分量采樣 YUV圖像可以根據(jù)HVS的特點(diǎn),對(duì)色度分量下采樣,可以降低視頻數(shù)據(jù)量。 根據(jù)亮度和色度分量的采樣比率,YUV圖像通常有以下幾種格式: 11. 通用 的YUV圖像格式 根據(jù)YUV圖像的亮度分辨率定義圖像格式 12. 幀和場(chǎng)圖像 一幀圖像包括兩場(chǎng)——頂場(chǎng),底場(chǎng) 13. 逐行與隔行圖像 逐行圖像:一幀圖像的兩場(chǎng)在同一時(shí)間得到,ttop=tbot。 隔行圖像:一幀圖像的兩場(chǎng)在不同時(shí)間得到,ttop≠tbot。 14. 視頻質(zhì)量評(píng)價(jià) 有損視頻壓縮使編解碼圖像不同,
9、需要一種手段來(lái)評(píng)價(jià)解碼圖像的質(zhì)量。 質(zhì)量評(píng)價(jià): 客觀質(zhì)量評(píng)價(jià) 主觀質(zhì)量評(píng)價(jià) 基于視覺(jué)的視頻質(zhì)量客觀評(píng)價(jià) 客觀質(zhì)量評(píng)價(jià):通過(guò)數(shù)學(xué)方法測(cè)量圖像質(zhì)量評(píng)價(jià)的方式。 優(yōu)點(diǎn): 可量化 測(cè)量結(jié)果可重復(fù) 測(cè)量簡(jiǎn)單 缺點(diǎn): 不完全符合人的主觀感知 15. 客觀評(píng)價(jià)的方法 常用的客觀評(píng)價(jià)方法: 16. 主觀評(píng)價(jià)方法 主觀質(zhì)量評(píng)價(jià):用人的主觀感知直接測(cè)量的方式。 優(yōu)點(diǎn): 符合人的主觀感知 缺點(diǎn): 不容易量化 受不確定因素影響,測(cè)量結(jié)果一般不可重復(fù) 測(cè)量代價(jià)高 常用主觀評(píng)價(jià)方法 17.基于視覺(jué)的
10、視頻質(zhì)量客觀評(píng)價(jià)方法 基于視覺(jué)的視頻質(zhì)量客觀評(píng)價(jià):將人的視覺(jué)特性用數(shù)學(xué)方法描述并用于視頻質(zhì)量評(píng)價(jià)的方式。 結(jié)合了主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)兩方面優(yōu)點(diǎn)。 常用方法:結(jié)構(gòu)相似度(Structural SIMilarity,SSIM)方法。 將HVS的特征用數(shù)學(xué)模型表達(dá)出來(lái)。 未來(lái)重要的研究方向 第3章 信息論基礎(chǔ) 1. 通信系統(tǒng)的組成 信源:產(chǎn)生消息 信道:傳輸消息 信宿:接收消息 2. 基本概念 通信中對(duì)信息的表達(dá)分為三個(gè)層次:信號(hào),消息,信息。 信號(hào):是信息的物理層表達(dá),可測(cè)量,可描述,可顯示。如電信號(hào),光信號(hào)。 消息:是信息的載
11、體,以文字,語(yǔ)言,圖像等人類(lèi)可以認(rèn)知的形式表示。 信息:不確定的內(nèi)容。 3. 信息熵 信息的特點(diǎn) 信息的測(cè)量 自信息量 條件信息量 4. 信息熵 5. 條件熵和聯(lián)合熵 6. 熵的性質(zhì) 非負(fù)性:信源熵是非負(fù)值,即 H(X) >=0; 擴(kuò)展性:信源熵X有M個(gè)符號(hào),如果其中一個(gè)符號(hào)出現(xiàn)的概率趨于零,信源熵就等于剩余M-1個(gè)符號(hào)的信源熵; 極值性(最大信息熵):對(duì)于具有M個(gè)符號(hào)的信源,只有在所有符號(hào)等概率出現(xiàn)的情況下,信源熵達(dá)到最大值,即 可加性: 熵不增:條件熵不大于信息熵H(X|Y) <= H(X); 聯(lián)合熵不大于各信息熵的和,即
12、H(XY) <= H(X) + H(Y)。 7. 互信息量 8. 互信息 物理意義:H(X)是X所含的信息,H(X|Y)是已知Y的條件下X還能帶來(lái)的信息量。那么兩者之差就是由于知道Y使得X減少的信息量,也即由Y可以得到的關(guān)于X的信息量。 9. 各種熵的關(guān)系 11. 信源編碼 信源編碼:將消息符號(hào)轉(zhuǎn)變成信道可傳輸?shù)男畔ⅰ? 兩個(gè)基本問(wèn)題: 用盡可能少的信道傳輸符號(hào)來(lái)傳遞信源消息,提高傳輸效率; 減少由于信道傳輸符號(hào)的減少導(dǎo)致的失真。 12. 離散信源統(tǒng)計(jì)特性 13. 離散信源類(lèi)型:簡(jiǎn)單無(wú)記憶信源和馬爾可夫信源 14. 編碼分類(lèi) 等
13、長(zhǎng)碼:在一組碼字集合C中的所有碼字cm(m= 1,2, …,M),其碼長(zhǎng)都相同,則稱(chēng)這組碼C為等長(zhǎng)碼。 變長(zhǎng)碼:若碼字集合C中的所有碼字cm(m= 1,2, …,M),其碼長(zhǎng)不都相同,稱(chēng)碼C為變長(zhǎng)碼。 15. 平均碼長(zhǎng) 16. 等長(zhǎng)碼與變長(zhǎng)碼比較 等長(zhǎng)編碼將信源輸出符號(hào)序列的任意一種取值(概率可能不同)都編碼成相同長(zhǎng)度的輸出碼字,沒(méi)有利用信源的統(tǒng)計(jì)特性; 變長(zhǎng)編碼可以根據(jù)信源輸出符號(hào)序列各種取值的概率大小不同,將他們編碼成不同長(zhǎng)度的輸出碼字,利用了信源的統(tǒng)計(jì)特性。因此又稱(chēng)其為熵編碼。 17. Huffman編碼 Huffman編碼:典型的變長(zhǎng)編碼。 步驟:
14、 將信源符號(hào)按概率從大到小的順序排列,假定p(x1)≥p(x2)… ≥p(xn) 給兩個(gè)概率最小的信源符號(hào)p(xn-1),p(xn)各分配一個(gè)碼位"0"和"1",將這兩個(gè)信源符號(hào)合并成一個(gè)新符號(hào),并用這兩個(gè)最小的概率之和作為新符號(hào)的概率,結(jié)果得到一個(gè)只包含(n-1)個(gè)信源符號(hào)的新信源。稱(chēng)為信源的第一次縮減信源,用S1表表示。 將縮減信源S1的符號(hào)仍按概率從大到小的順序排列,重復(fù)步驟2,得到只含(n-2)個(gè)符號(hào)的縮減信源S2。 重復(fù)上述步驟,直至縮減信源只剩下兩個(gè)符號(hào)為止,此時(shí)所剩兩個(gè)符號(hào)的概率之和必為1。然后從最后一級(jí)縮減信源開(kāi)始,依編碼路徑向前返回,就得到各信源符號(hào)所對(duì)應(yīng)的碼字
15、。 18. 信道編碼 信道編碼主要考慮如何增加信號(hào)的抗干擾能力,提高傳輸?shù)目煽啃裕⑶姨岣邆鬏斝省? 一般是采用冗余編碼法,賦予信碼自身一定的糾錯(cuò)和檢錯(cuò)能力,使信道傳輸?shù)牟铄e(cuò)概率降到允許的范圍之內(nèi)。 19. 信道類(lèi)型 根據(jù)信道連續(xù)與否分類(lèi) 離散信道 連續(xù)信道 半連續(xù)信道 根據(jù)信道是否有干擾分類(lèi) 無(wú)干擾信道 有干擾信道 根據(jù)信道的統(tǒng)計(jì)特性分類(lèi) 無(wú)記憶信道 有記憶信道 恒參信道 變參信道 對(duì)稱(chēng)信道 非對(duì)稱(chēng)信道 20. 信道容量 在信息論中,稱(chēng)信道無(wú)差錯(cuò)傳輸?shù)淖畲笮畔⑺俾蕿樾诺廊萘俊? 仙農(nóng)信道容
16、量公式: 假設(shè)連續(xù)信道的加性高斯白噪聲功率為N,信道帶寬為B,信號(hào)功率為S,則該信道的容量為 由于噪聲功率N與信道帶寬B有關(guān),則噪聲功率N=n0B。因此,仙農(nóng)公式還可以表示為 21. 香農(nóng)信道容量公式的意義 在給定B和S/N的情況下,信道的極限傳輸能力為C,而且此時(shí)能夠做到無(wú)差錯(cuò)傳輸。如果信道的實(shí)際傳輸速率大于C值,則無(wú)差錯(cuò)傳輸在理論上就已不可能。因此,實(shí)際傳輸速率一般不能大于信道容量C,除非允許存在一定的差錯(cuò)率。 提高信噪比S/N(通過(guò)減小n0或增大S),可提高信道容量C。特別是,若n0->0,則C->∞ ,這意味著無(wú)干擾信道容量為無(wú)窮大; 增加信道帶寬B,也可增加
17、信道容量C,但做不到無(wú)限制地增加。這是因?yàn)?,如果S、n0一定,有 維持同樣大小的信道容量,可以通過(guò)調(diào)整信道的B及S/N來(lái)達(dá)到,即信道容量可以通過(guò)系統(tǒng)帶寬與信噪比的互換而保持不變。 22. 失真 失真:信源的消息經(jīng)過(guò)編解碼后不能完全復(fù)原 在實(shí)際的信源和信道編碼中,消息的傳輸并不總是無(wú)失真的。 由于存儲(chǔ)和傳輸資源的限制 噪聲等因素的干擾 23. 率失真理論 仙農(nóng)定義了信息率失真函數(shù)R(D) D是消息失真 R是碼率 率失真定理:在允許一定失真度D的情況下,信源輸出的信息率可壓縮到R(D)。 24. 失真函數(shù) 失真函數(shù):信源符號(hào)X={x1,x2
18、, …..xn},經(jīng)信道傳輸接收端符號(hào)Y={y1,y2….yn},對(duì)于每一對(duì)(xi,yj)指定一個(gè)非負(fù)函數(shù)d(xi,yj),稱(chēng)d(xi,yj)為單個(gè)符號(hào)的失真度或失真函數(shù)。對(duì)于連續(xù)信源連續(xù)信道的情況,常用d(x,y)表示。 常用失真函數(shù): 平均失真度: 第四章 視頻編碼基礎(chǔ) 1. 壓縮碼流 語(yǔ)法:碼流中各個(gè)元素的位置關(guān)系 01001001… 圖像編碼類(lèi)型(01),宏塊類(lèi)型(00),編碼系數(shù)1001等 語(yǔ)義:每個(gè)語(yǔ)法元素所表達(dá)的意義。 例如:圖像編碼類(lèi)型 2. 編碼層次 序列(Sequence) 圖像組(G
19、roup of Pictures,GOP) 圖像(Picture) 條帶(Slice) 宏塊(Macroblock,MB) 塊(Block) 3. 碼流結(jié)構(gòu) 3. PB幀編碼 4. 序列編碼對(duì)象 (1)IBBP序列 序列:一段連續(xù)編碼的并具有相同參數(shù)的視頻圖像。 序列起始碼:專(zhuān)有的一段比特串,標(biāo)識(shí)一個(gè)序列的壓縮數(shù)據(jù)的開(kāi)始 MPEG-2的序列起始碼為十六進(jìn)制數(shù)000001(B3)。 序列頭:記錄序列信息 檔次(Profile),級(jí)別(Level),寬度,高度,是否是逐行序列,幀率等。 序列結(jié)束碼:專(zhuān)有的一段比特串,標(biāo)識(shí)該序
20、列的壓縮數(shù)據(jù)的結(jié)束 MPEG-2的序列結(jié)束碼為十六進(jìn)制數(shù)000001(B7)。 5. 圖像組編碼對(duì)象 6. 圖像編碼結(jié)構(gòu) 圖像: 圖像起始碼:專(zhuān)有的一段比特串,標(biāo)識(shí)一個(gè)圖像的壓縮數(shù)據(jù)的開(kāi)始 MPEG-2的圖像起始碼為十六進(jìn)制數(shù)000001(00)。 圖像頭:記錄圖像信息 圖像編碼類(lèi)型,圖像距離,圖像編碼結(jié)構(gòu),圖像是否為逐行掃描。 7. 圖像分塊編碼 8. 條帶編碼結(jié)構(gòu) 條帶:多個(gè)宏塊的組合。 條帶起始碼:專(zhuān)有的一段比特串,標(biāo)識(shí)一個(gè)條帶的壓縮數(shù)據(jù)的開(kāi)始 MPEG-2的條帶起始碼為十六進(jìn)制數(shù)000001(0~AF)。
21、條帶頭:記錄當(dāng)前圖像的相關(guān)信息 條帶位置,條帶量化參數(shù),宏塊編碼技術(shù)標(biāo)識(shí)等。 9. 條帶編碼對(duì)象 10. 宏塊編碼結(jié)構(gòu) 宏塊:16x16的像素塊(對(duì)亮度而言)。 宏塊內(nèi)容:宏塊編碼類(lèi)型,編碼模式,參考幀索引,運(yùn)動(dòng)矢量信息,宏塊編碼系數(shù)等。 11. 宏塊編碼對(duì)象 12. 塊編碼結(jié)構(gòu) 8x8或4x4塊的變換量化系數(shù)的熵編碼數(shù)據(jù)。 CBP (Coded Block Patten):用來(lái)指示塊的變換量化系數(shù)是否全為零。 對(duì)于YUV(4:2:0)編碼,CBP通常6比特長(zhǎng),每個(gè)比特對(duì)應(yīng)一個(gè)塊,當(dāng)某一塊的變換量化系數(shù)全為零時(shí),其對(duì)應(yīng)比特位值為0,否則為1。
22、 每個(gè)塊的變換量化系數(shù)的最后用一個(gè)EOB (End of Block)符號(hào)來(lái)標(biāo)識(shí)。 13. 視頻編解碼關(guān)鍵技術(shù) 預(yù)測(cè):通過(guò)幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)降低視頻圖像的空間冗余和時(shí)間冗余。 變換:通過(guò)從時(shí)域到頻域的變換,去除相鄰數(shù)據(jù)之間的相關(guān)性,即去除空間冗余。 量化:通過(guò)用更粗糙的數(shù)據(jù)表示精細(xì)的數(shù)據(jù)來(lái)降低編碼的數(shù)據(jù)量,或者通過(guò)去除人眼不敏感的信息來(lái)降低編碼數(shù)據(jù)量。 掃描:將二維變換量化數(shù)據(jù)重新組織成一維的數(shù)據(jù)序列。 熵編碼:根據(jù)待編碼數(shù)據(jù)的概率特性減少編碼冗余。 14. 預(yù)測(cè) 空間預(yù)測(cè):利用圖像空間相鄰像素的相關(guān)性來(lái)預(yù)測(cè)的方法。 幀內(nèi)預(yù)測(cè)技術(shù):利用當(dāng)前編碼塊周?chē)?/p>
23、已經(jīng)重構(gòu)出來(lái)的像素預(yù)測(cè)當(dāng)前塊 Intra圖像編碼(I幀) 時(shí)間預(yù)測(cè):利用時(shí)間上相鄰圖像的相關(guān)性來(lái)預(yù)測(cè)的方法。 幀間預(yù)測(cè):運(yùn)動(dòng)估計(jì)(Motion Estimation,ME),運(yùn)動(dòng)補(bǔ)償(Motion Compensation,MC) Inter圖像編碼:前向預(yù)測(cè)編碼圖像(P幀),雙向預(yù)測(cè)編碼圖像(B幀) 15. 幀內(nèi)預(yù)測(cè) I幀圖像的每個(gè)宏塊都采用幀內(nèi)(Intra)預(yù)測(cè)編碼模式。 宏塊分成8x8或者4x4塊,對(duì)每個(gè)塊采用幀內(nèi)預(yù)測(cè)編碼,稱(chēng)作Intra8x8或者Intra4x4。 幀內(nèi)預(yù)測(cè)有多個(gè)預(yù)測(cè)方向:水平,垂直,左下,右上。 幀內(nèi)預(yù)測(cè)還有直流(DC)預(yù)測(cè)。
24、 色度塊預(yù)測(cè)還有平面預(yù)測(cè)。 16. 幀間預(yù)測(cè) 塊基運(yùn)動(dòng)估計(jì):為待預(yù)測(cè)塊在參考幀上找到最佳的預(yù)測(cè)塊,并記錄預(yù)測(cè)塊在參考幀上的相對(duì)位置。 運(yùn)動(dòng)矢量(MV):參考幀上的預(yù)測(cè)塊與當(dāng)前幀上的的待預(yù)測(cè)塊的相對(duì)位置。 MV有兩個(gè)分量:(x,y) 分像素運(yùn)動(dòng)估計(jì) 最佳的預(yù)測(cè)塊不在整像素位置,而在分像素位置; 1/2,1/4,1/8像素插值得到分像素值。 幀間預(yù)測(cè)流程: 運(yùn)動(dòng)補(bǔ)償:給定MV和參考幀,為待解碼塊從參考幀上獲取預(yù)測(cè)塊。 運(yùn)動(dòng)矢量編碼 MV預(yù)測(cè):用當(dāng)前塊的周?chē)傻玫洁弶K的運(yùn)動(dòng)矢量來(lái)預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)矢量
25、 運(yùn)動(dòng)矢量差(MV difference,MVD):實(shí)際運(yùn)動(dòng)矢量與預(yù)測(cè)運(yùn)動(dòng)矢量的差,即: 運(yùn)動(dòng)矢量差采用變長(zhǎng)編碼。 17. 預(yù)測(cè)殘差 18. 變換編碼 變換編碼:通過(guò)變換將空域信號(hào)轉(zhuǎn)換為頻域信號(hào)來(lái)去除空間信號(hào)的冗余信息,減少編碼數(shù)據(jù)。 二維離散余弦變換 4x4變換,8x8變換 二維離散余弦變換 例: 變換系數(shù):直流(DC)系數(shù),交流(AC)系數(shù) 19. 量化 量化原理:將含有大量的數(shù)據(jù)集合映射到含有少量的數(shù)據(jù)集合中。 一般情況下量化后高頻部分包含大量的零系數(shù) 量化對(duì)主觀質(zhì)量的影響 20
26、. 掃描 掃描:將二維數(shù)據(jù)轉(zhuǎn)換為一維的數(shù)據(jù)序列。 21. 熵編碼 熵編碼:根據(jù)符號(hào)出現(xiàn)的概率,對(duì)經(jīng)常出現(xiàn)的符號(hào)分配較短的碼字,對(duì)不常出現(xiàn)的符號(hào)分配較長(zhǎng)的碼字。 Level-Run編碼:用數(shù)據(jù)中非零值和其前面非零值之間出現(xiàn)零值的個(gè)數(shù)重新描述量化系數(shù)序列為(Level,Run)二元組序列 變長(zhǎng)編碼 將Level-Run編碼后的(level,run)變長(zhǎng)編碼成最終的比特串。 22. 碼率控制 受到緩沖區(qū),帶寬的限制,編碼碼率不能無(wú)限制的增長(zhǎng),因此需要通過(guò)碼率控制來(lái)將編碼碼流控制在目標(biāo)碼率范圍內(nèi)。 一般通過(guò)調(diào)整量化參數(shù)的手段控制碼率 幀級(jí)
27、控制 條帶級(jí)控制 宏塊級(jí)控制 碼率控制考慮的問(wèn)題 防止碼流有較大的波動(dòng),導(dǎo)致緩沖區(qū)發(fā)生溢出, 同時(shí)保持緩沖區(qū)盡可能的充滿(mǎn),讓圖像質(zhì)量盡可能的好而且穩(wěn)定 CBR(Constant Bit Rate) 比特率穩(wěn)定,但圖像質(zhì)量變化大 VBR(Variable Bit Rate) 比特率波動(dòng)大,但圖像質(zhì)量穩(wěn)定 碼率控制算法 碼率分配 碼率控制 碼率控制屬于非標(biāo)準(zhǔn)技術(shù) 編碼端有,解碼端沒(méi)有 第5章 預(yù)測(cè) 1. 預(yù)測(cè)技術(shù) 目的:去除空間冗余和時(shí)間冗余。 視頻存在大量的空間冗余和時(shí)間冗余 空間冗余:
28、用幀內(nèi)預(yù)測(cè)編碼去除 基于塊的幀內(nèi)預(yù)測(cè) 時(shí)間冗余:用幀間預(yù)測(cè)編碼去除 基于塊匹配(Block Matching)的幀間預(yù)測(cè) 預(yù)測(cè)后得到去除大部分空間或時(shí)間冗余的殘差 2. 空間冗余 圖像空間相鄰像素具有很強(qiáng)的相關(guān)性。 幀內(nèi)預(yù)測(cè)技術(shù)去除空間冗余 3. 亮度預(yù)測(cè)模式 4. 色度預(yù)測(cè)模式 5. 時(shí)間冗余 視頻圖像在時(shí)間上有較強(qiáng)的相關(guān)性,即存在時(shí)間冗余 去除時(shí)間冗余的編碼技術(shù) 運(yùn)動(dòng)估計(jì)(Motion Estimation,ME) 為待編碼塊搜索最相似的預(yù)測(cè)塊 記錄運(yùn)動(dòng)矢量(Motion Vector,MV)
29、 記錄預(yù)測(cè)殘差: 運(yùn)動(dòng)補(bǔ)償(Motion Compensation,MC) 根據(jù)運(yùn)動(dòng)矢量獲取預(yù)測(cè)塊 根據(jù)預(yù)測(cè)殘差計(jì)算重構(gòu)塊: 6. 運(yùn)動(dòng)模型 (1)平移 7. 匹配準(zhǔn)則 8. 匹配準(zhǔn)則簡(jiǎn)化 簡(jiǎn)化技術(shù)方法 分別計(jì)算當(dāng)前塊和預(yù)測(cè)塊的象素值和 根據(jù)簡(jiǎn)化形式,比較當(dāng)前塊和預(yù)測(cè)塊 如果用簡(jiǎn)化準(zhǔn)則對(duì)預(yù)測(cè)塊和當(dāng)前塊比較的結(jié)果比以前最好的結(jié)果差,可以確定預(yù)測(cè)效果不好,不必對(duì)預(yù)測(cè)塊再進(jìn)行比較。 9. 運(yùn)動(dòng)估計(jì) 去除視頻圖像的時(shí)間冗余 運(yùn)動(dòng)估計(jì)在搜索范圍內(nèi)為當(dāng)前塊尋找匹配最好的預(yù)測(cè)塊 全搜索方式的運(yùn)動(dòng)估計(jì)計(jì)算復(fù)雜度高
30、10. 全搜索復(fù)雜度分析 圖像大?。篗xM 預(yù)測(cè)塊大?。篘xN 搜索范圍:(-R,R) 每個(gè)搜索點(diǎn)象素比較個(gè)數(shù):N2 搜索點(diǎn)個(gè)數(shù)(2R+1)2 在搜索范圍內(nèi)的象素比較個(gè)數(shù)總和N2(2R+1)2 一幀圖像所有塊的全搜索象素比較個(gè)數(shù)總和N2(2R+1)2(M/N)2=(2R+1)2M2 例:M=512,N=4,R=8,幀率:30幀/秒 (2R+1)2M2 =172X5122 = 75759616次/幀 = 75759616x30次/秒 =2272788480次/秒 采用SSD匹配準(zhǔn)則:每次象素比較需1個(gè)減法,1個(gè)乘法,1個(gè)加法,
31、則上述全搜索計(jì)算每秒需要2272788480x2次加減法和2272788480次乘法操作。 11. 快速運(yùn)動(dòng)估計(jì) 在保持預(yù)測(cè)精度的同時(shí)減少運(yùn)動(dòng)估計(jì)的搜索次數(shù)。 三步搜索(Three Step Search,TSS) 二維Log搜索(2D Logarithmic Search,2DLOG) 正交搜索(Orthogonal Search Algorithm,OSA) 十字搜索(Cross Search Algorithm,CSA) 新三步搜索(New Three Step Search,NTSS) 四步搜索(Four Step Search,F(xiàn)SS) 共
32、軛方向搜索(Conjugate Direction Search,CDS) 梯度下降搜索(Gradient Descent Search,GDS) 層次塊搜索(Hierarchical Block Matching Algorithm,HBMA) 12. 三步搜索 由粗到精搜索最優(yōu)點(diǎn),初始步長(zhǎng)為R/2. 第一步:檢查起始點(diǎn)和其周?chē)介L(zhǎng)為R/2的8個(gè)點(diǎn),將最優(yōu)點(diǎn)作為第二步的起始點(diǎn); 第二步:以新的起始點(diǎn)為中心檢查其周?chē)介L(zhǎng)為R/4的8個(gè)點(diǎn),找到最優(yōu)點(diǎn)作為第三步的起始點(diǎn); 第三步:以新的起始點(diǎn)為中心檢查其周?chē)介L(zhǎng)為R/8的8個(gè)點(diǎn),找到最優(yōu)點(diǎn),如果R/8=1則搜索終止,最優(yōu)
33、點(diǎn)位置的預(yù)測(cè)塊作為最優(yōu)的預(yù)測(cè)塊,否則重復(fù)該過(guò)程直到R/n2=1; 三步搜索方法檢查點(diǎn)的個(gè)數(shù)為1+8log2(d+1),當(dāng)d=8時(shí),檢查點(diǎn)個(gè)數(shù)為9+8+8=25 13. 二維Log搜索 每一步采用十字搜索模式 如果每一步的最優(yōu)點(diǎn)為中心點(diǎn)或者搜索窗的邊界點(diǎn),搜索步長(zhǎng)減半,否則搜索步長(zhǎng)不變 當(dāng)搜索步長(zhǎng)為1時(shí),中心點(diǎn)周?chē)?個(gè)點(diǎn)都要檢查 兩個(gè)搜索路徑一個(gè)需要5+3+3+8=19,另外一個(gè)需要5+3+2+3+2+8=23 14. 正交搜索 起始搜索步長(zhǎng)R/2,從起始點(diǎn)開(kāi)始水平搜索三個(gè)點(diǎn),得到最優(yōu)點(diǎn)并沿著最優(yōu)點(diǎn)垂直方向搜索相鄰的兩個(gè)點(diǎn),得到最優(yōu)點(diǎn),以搜索步長(zhǎng)為R/4再以
34、同樣的方式先水平再垂直搜索,當(dāng)步長(zhǎng)為1時(shí)停止搜索 搜索方法檢查點(diǎn)的個(gè)數(shù)為1+4log2(d+1),當(dāng)d=8時(shí),檢查點(diǎn)個(gè)數(shù)為3+2+2+2+2+2=13。 15. 十字搜索 起始搜索步長(zhǎng)R/2,從起始點(diǎn)開(kāi)始以"X"形十字搜索,當(dāng)搜索步長(zhǎng)降為1時(shí),如果上一步的最優(yōu)點(diǎn)為中心點(diǎn),左上點(diǎn)或右下點(diǎn),則這一步搜索以"+"形狀十字搜索,然后結(jié)束搜索,否則還是以"X"形十字搜索,然后結(jié)束搜索。 十字搜索方法檢查點(diǎn)的個(gè)數(shù)為1+4log22d,當(dāng)d=8時(shí),檢查點(diǎn)個(gè)數(shù)為5+4+4+4=17 16. 新三步搜索 與三步搜索方法不同的是,考慮到運(yùn)動(dòng)矢量高的中心分布特點(diǎn),新三步搜索方法,除了
35、圍繞起始點(diǎn)為中心搜索步長(zhǎng)為R/2的8個(gè)點(diǎn)之外,在起始點(diǎn)周?chē)黾恿瞬介L(zhǎng)為1的8個(gè)搜索點(diǎn),如果最優(yōu)點(diǎn)為步長(zhǎng)為1的8個(gè)搜索點(diǎn)之一,則在最優(yōu)點(diǎn)鄰近的三個(gè)點(diǎn)中搜索最優(yōu)點(diǎn),然后結(jié)束搜索,否則,和三步搜索方法過(guò)程一樣 其中一個(gè)搜索路徑需要檢查點(diǎn)個(gè)數(shù)為17+3=20,另一個(gè)需要17+8+8=33。 17. 塊梯度下降搜索 該方法以起始點(diǎn)為中心搜索8個(gè)步長(zhǎng)為1的相鄰點(diǎn),確定最優(yōu)點(diǎn),再以最優(yōu)點(diǎn)為中心搜索8個(gè)步長(zhǎng)為1的相鄰點(diǎn),如此循環(huán)下去,不限制搜索步驟,但當(dāng)搜索得到的最優(yōu)點(diǎn)為中心點(diǎn)或者到搜索窗的邊界,搜索終止。 18. 層次塊搜索 對(duì)編碼圖像和參考圖像下采樣,分別得到編碼圖像和參考圖像
36、的下采樣圖像,未經(jīng)采樣處理的編碼圖像和參考圖像屬于第0層,一次下采樣的編碼圖像和參考圖像屬于第1層,對(duì)第1層圖像再進(jìn)行下采樣得到的編碼圖像和參考圖像屬于第2層,依次重復(fù)上述過(guò)程,得到第n層下采樣的編碼圖像和參考圖像。 然后在n層下采樣參考圖像的搜索范圍中找到與下采樣編碼圖像塊最佳匹配塊的MV,該MV作為n-1層的運(yùn)動(dòng)估計(jì)搜索范圍的中心點(diǎn),依次重復(fù)上述過(guò)程,直到n=0為止,此時(shí)得到的最佳匹配塊就是編碼圖像的預(yù)測(cè)塊,其對(duì)應(yīng)的MV為最終的最優(yōu)MV。 19. 搜索算法復(fù)雜度比較 20 . 分像素運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償 時(shí)域運(yùn)動(dòng)位置更可能在整象素之間,即分像素上。 利用相鄰的整象素
37、可以估計(jì)出分象素的值 常用線(xiàn)性或雙線(xiàn)性插值得到分象素的值。 分象素運(yùn)動(dòng)估計(jì)有更高的預(yù)測(cè)精度,但復(fù)雜度也更高, 1/2分象素運(yùn)動(dòng)估計(jì),圖像存儲(chǔ)空間增加4倍,運(yùn)動(dòng)矢量需要放大2倍,1/4分象素運(yùn)動(dòng)估計(jì),圖像存儲(chǔ)空間增加16倍,運(yùn)動(dòng)矢量需要放大4倍,計(jì)算復(fù)雜度也成倍增加。 21. 分像素插值 22. 多參考幀預(yù)測(cè) 有更多的候選圖像,搜索更精確的預(yù)測(cè)塊 需要更多的參考圖像存儲(chǔ)空間 碼流需要標(biāo)識(shí)參考幀索引的語(yǔ)法元素 23. 圖像分塊編碼 視頻內(nèi)容的運(yùn)動(dòng)非常復(fù)雜,圖像分塊編碼可以更好的提高運(yùn)動(dòng)預(yù)測(cè)精度,提高壓縮效率。 要在編碼塊大小和附信息(MV,Mode)編碼比特?cái)?shù)之間權(quán)衡,小的編碼塊大小會(huì)有更好的預(yù)測(cè)但有更多的附信息比特?cái)?shù)。 23. 雙向預(yù)測(cè)編碼 24. B幀有更好的編碼效率 B幀有更好的編碼效率 新出現(xiàn)的對(duì)象參考將來(lái)的幀有更好的預(yù)測(cè)效果 前后兩個(gè)預(yù)測(cè)的平均值可以減少預(yù)測(cè)方差 25. 全局運(yùn)動(dòng)估計(jì) 基于全局仿射運(yùn)動(dòng)模型 預(yù)測(cè)精度不如基于塊的運(yùn)動(dòng)估計(jì) MV數(shù)目少,適合簡(jiǎn)單運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)估計(jì)
- 溫馨提示:
1: 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
2: 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
3.本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
5. 裝配圖網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 6.煤礦安全生產(chǎn)科普知識(shí)競(jìng)賽題含答案
- 2.煤礦爆破工技能鑒定試題含答案
- 3.爆破工培訓(xùn)考試試題含答案
- 2.煤礦安全監(jiān)察人員模擬考試題庫(kù)試卷含答案
- 3.金屬非金屬礦山安全管理人員(地下礦山)安全生產(chǎn)模擬考試題庫(kù)試卷含答案
- 4.煤礦特種作業(yè)人員井下電鉗工模擬考試題庫(kù)試卷含答案
- 1 煤礦安全生產(chǎn)及管理知識(shí)測(cè)試題庫(kù)及答案
- 2 各種煤礦安全考試試題含答案
- 1 煤礦安全檢查考試題
- 1 井下放炮員練習(xí)題含答案
- 2煤礦安全監(jiān)測(cè)工種技術(shù)比武題庫(kù)含解析
- 1 礦山應(yīng)急救援安全知識(shí)競(jìng)賽試題
- 1 礦井泵工考試練習(xí)題含答案
- 2煤礦爆破工考試復(fù)習(xí)題含答案
- 1 各種煤礦安全考試試題含答案