MPEG視頻壓縮編碼技術(shù)詳解樣本

《MPEG視頻壓縮編碼技術(shù)詳解樣本》由會員分享，可在線閱讀，更多相關(guān)《MPEG視頻壓縮編碼技術(shù)詳解樣本（9頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 MPEG4視頻壓縮編碼技術(shù)詳解 MPEG 全稱是 Moving Pictures Experts Group, 它是 " 動態(tài)圖象專家組 " 的英文縮寫 , 該專家組成立于 1988 年, 致力于運(yùn)動圖像及其伴音的壓縮編碼標(biāo)準(zhǔn)化工作 , 原先她們打算開發(fā) MPEG1、 MPEG2、 MPEG3和 MPEG4四個版本 , 以適用于不同帶寬和數(shù)字影像質(zhì)量的要求。 當(dāng)前 , MPEG1技術(shù)被廣泛的應(yīng)用于 VCD, 而 MPEG2標(biāo)準(zhǔn)則用于廣播電視和 DVD 等。 MPEG3最初是為 HDTV開

2、發(fā)的編碼和壓縮標(biāo)準(zhǔn) , 但由于 MPEG2的出眾性能表現(xiàn) , MPEG3 只能是死于襁褓了。而我們今天要談?wù)摰闹鹘?--MPEG4于 1999 年初 正式成為國際標(biāo)準(zhǔn)。它是一個適用于低傳輸速率應(yīng)用的方案。與 MPEG1和 MPEG2 相比 , MPEG4更加注重多媒體系統(tǒng)的交互性和靈活性。下面就讓我們一起進(jìn)入多 彩的 MPEG4世界。 MPEG4 的技術(shù)特點(diǎn) MPEG1 、 MPEG2技術(shù)當(dāng)初制定時 , 它們定位的標(biāo)準(zhǔn)均為高層媒體表示與結(jié)構(gòu) , 但隨著計(jì)算機(jī)軟件及網(wǎng)絡(luò)技術(shù)的快速發(fā)展 , MPEG1.MPEG2技術(shù)的弊端就顯示出來了 : 交互性及靈活性較

3、低 , 壓縮的多媒體文件體積過于龐大 , 難以實(shí)現(xiàn)網(wǎng)絡(luò)的實(shí)時傳播。而 MPEG4技術(shù)的標(biāo)準(zhǔn)是對運(yùn)動圖像中的內(nèi)容進(jìn)行編碼 , 其具體的編碼對象就是圖像中的音頻和視頻 , 術(shù)語稱為 "AV對象 ", 而連續(xù)的 AV對象組合在一起又能夠形成 AV場景。因此 , MPEG4標(biāo)準(zhǔn)就是圍繞著 AV 對象的編碼、 存儲、傳輸和組合而制定的 , 高效率地編碼、 組織、 存儲、 傳輸 AV 對象是 MPEG4 標(biāo)準(zhǔn)的基本內(nèi)容。 在視頻編碼方面 , MPEG4支持對自然和合成的視覺對象的編碼。 ( 合成的視覺對象包括 2D、 3D 動畫和人面部表情動畫等 ) 。在音頻編碼上 , MPEG4能夠在一

4、組編碼工具支持下 , 對語音、 音樂等自然聲音對象和具有回響、 空間方位感的合成聲音對象進(jìn)行音頻編碼。 由于 MPEG4只處理圖像幀與幀之間有差異的元素 , 而舍棄相同的元素 , 因此大大減少了合成多媒體文件的體積。 應(yīng)用 MPEG4技術(shù)的影音文件最顯著特點(diǎn)就是壓縮率高且成像清晰 , 一般來說 , 一小時的影像能夠被壓縮為 350M 左右的數(shù)據(jù) , 資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 而一部高清晰度的 DVD電影 , 能夠壓縮成兩張甚至一張 650MCD光碟來存儲。 對廣大的 " 平民 " 計(jì)算機(jī)用戶來說 , 這就意味著 , 您不需要購

5、置 DVD-ROM就能夠欣賞近似 DVD質(zhì)量的高品質(zhì)影像。而且采用 MPEG4編碼技術(shù)的影片 , 對機(jī)器硬件配置的要求非常之低 , 300MHZ 以上 CPU, 64M的內(nèi)存和一個 8M 顯存的顯卡就能夠流暢的播放。在播放軟件方面 , 它要求也非常寬松 , 你只需要安裝一個 500K 左右的 MPEG4編碼驅(qū)動后 , 用 WINDOWS自帶的媒體播放器就能夠流暢的播放 了 ( 下面我們會具體講到 ) 。 視頻編碼研究與 MPEG標(biāo)準(zhǔn)演進(jìn) 人類獲取的信息中 70%來自于視覺 , 視頻信息在多媒體信息中占有重要地位 ; 同時視頻數(shù)據(jù)冗余度最大 , 經(jīng)壓縮處理

6、后的視頻質(zhì)量高低是決定多媒體服務(wù)質(zhì) 量的關(guān)鍵因素。因此數(shù)字視頻技術(shù)是多媒體應(yīng)用的核心技術(shù) , 對視頻編碼的研究 已成為信息技術(shù)領(lǐng)域的熱門話題。 視頻編碼的研究課題主要有數(shù)據(jù)壓縮比、 壓縮 / 解壓速度及快速實(shí)現(xiàn)算法三方面 內(nèi)容。以壓縮 / 解壓后數(shù)據(jù)與壓縮前原始數(shù)據(jù)是否完全一致作為衡量標(biāo)準(zhǔn) , 可將 數(shù)據(jù)壓縮劃分為無失真壓縮 ( 即可逆壓縮 ) 和有失真壓縮 ( 即不可逆壓縮 ) 兩 類。 傳統(tǒng)壓縮編碼建立在仙農(nóng)信息論基礎(chǔ)之上的 , 以經(jīng)典集合論為工具 , 用概 率統(tǒng)計(jì)模型來描述信源 , 其壓縮思想基于數(shù)據(jù)統(tǒng)計(jì) ,

7、 因此只能去除數(shù)據(jù)冗余 , 屬于低層壓縮編碼的范疇。 伴隨著視頻編碼相關(guān)學(xué)科及新興學(xué)科的迅速發(fā)展 , 新 一代數(shù)據(jù)壓縮技術(shù)不斷誕生并日益成熟 , 其編碼思想由基于像素和像素塊轉(zhuǎn)變 為基于內(nèi)容 ( content-based) 。它突破了仙農(nóng)信息論框架的束縛 , 充分考慮 了人眼視覺特性及信源特性 , 經(jīng)過去除內(nèi)容冗余來實(shí)現(xiàn)數(shù)據(jù)壓縮 , 可分為基于 對象 ( object-based) 和基于語義 ( semantics-based) 兩種 , 前者屬于中層壓 縮編碼 , 后者屬于高層壓縮編碼。 與此同時 , 視頻編碼相關(guān)標(biāo)

8、準(zhǔn)的制定也日臻完善。視頻編碼標(biāo)準(zhǔn)主要由 ITU-T 和 ISO/IEC 開發(fā)。 ITU-T 發(fā)布的視頻標(biāo)準(zhǔn)有 H.261、 H.262 、 H.263 、 H.263+、H.263++, ISO/IEC 公布的 MPEG系列標(biāo)準(zhǔn)有 MPEG-、1MPEG-2 、MPEG-4 資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 和 MPEG-7, 而且計(jì)劃公布 MPEG-21。 MPEG 即 Moving Picture Expert Group( 運(yùn)動圖像專家組 ) , 它是專門從事 制定多媒體視音頻壓縮編碼標(biāo)準(zhǔn)的國

9、際組織。 MPEG系列標(biāo)準(zhǔn)已成為國際上影響最大的多媒體技術(shù)標(biāo)準(zhǔn) , 其中 MPEG-1和 MPEG-2是采用以仙農(nóng)信息論為基礎(chǔ)的預(yù)測編碼 、 變 換編碼 、 熵編碼 及運(yùn)動補(bǔ)償?shù)鹊谝?代數(shù)據(jù)壓縮編碼技術(shù) ; MPEG-4( ISO/IEC 14496) 則是基于第二代壓縮編碼技術(shù)制定的國際標(biāo)準(zhǔn) , 它以視聽媒體對象為基本單元 , 采用基于內(nèi)容的壓縮編碼 , 以實(shí)現(xiàn)數(shù)字視音頻、 圖形合成應(yīng)用及交互式多媒體的集成。 MPEG系列標(biāo)準(zhǔn)對 VCD、 DVD 等視聽消費(fèi)電子及數(shù)字電視和高清晰度電視 ( DTV&&HDTV)、 多媒體通信等信息產(chǎn)業(yè)的發(fā)展產(chǎn)生了巨大而深遠(yuǎn)的影響。 MPEG

10、-4 視頻編碼核心思想及關(guān)鍵技術(shù) 核心思想 在 MPEG-4制定之前 , MPEG-、1 MPEG-2、 H.261 、 H.263 都是采用第一代壓縮編碼技術(shù) , 著眼于圖像信號的統(tǒng)計(jì)特性來設(shè)計(jì)編碼器 , 屬于波形編碼的范疇。 第一代壓縮編碼方案把視頻序列按時間先后分為一系列幀 , 每一幀圖像又分成宏塊以進(jìn)行運(yùn)動補(bǔ)償和編碼 , 這種編碼方案存在以下缺陷 : 將圖像固定地分成相同大小的塊 , 在高壓縮比的情況下會出現(xiàn)嚴(yán)重的塊效應(yīng) , 即馬賽克效應(yīng) ; 不能對圖像內(nèi)容進(jìn)行訪問、 編輯和回放等 * 作 ; 未充分利用人類視覺系

11、統(tǒng) ( HVS, Human Visual System) 的特性。 MPEG-4 則代表了基于模型 / 對象的第二代壓縮編碼技術(shù) , 它充分利用了人 眼視覺特性 , 抓住了圖像信息傳輸?shù)谋举|(zhì) , 從輪廓、 紋理思路出發(fā) , 支持基于 視覺內(nèi)容的交互功能 , 這適應(yīng)了多媒體信息的應(yīng)用由播放型轉(zhuǎn)向基于內(nèi)容的訪 問、 檢索及 * 作的發(fā)展趨勢。 AV對象 ( AVO, Audio Visual Object) 是 MPEG-4為支持基于內(nèi)容編碼而提出的 資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 重要概念。

12、對象是指在一個場景中能夠訪問和 * 縱的實(shí)體 , 對象的劃分可根據(jù)其獨(dú)特的紋理、 運(yùn)動、 形狀、 模型和高層語義為依據(jù)。在 MPEG-4中所見的視音頻已不再是過去 MPEG-、1 MPEG-2 中圖像幀的概念 , 而是一個個視聽場景 ( AV 場景 ) , 這些不同的 AV場景由不同的 AV對象組成。 AV對象是聽覺、 視覺、 或者視聽內(nèi)容的表示單元 , 其基本單位是原始 AV 對象 , 它能夠是自然的或合成的聲音、 圖像。原始 AV對象具有高效編碼、 高效存儲與傳輸以及可交互 * 作的特性 , 它又可進(jìn)一步組成復(fù)合 AV對象。因此 MPEG-4標(biāo)準(zhǔn)的基本內(nèi)容就是對 AV 對象進(jìn)行高效編碼、

13、組織、 存儲與傳輸。 AV 對象的提出 , 使多媒體通信具有高度交互及高效編碼的能力 , AV 對象編碼就是 MPEG-4的核心編碼技術(shù)。 MPEG-4 不但可提供高壓縮率 , 同時也可實(shí)現(xiàn)更好的多媒體內(nèi)容互動性及全方位的存取性 , 它采用開放的編碼系統(tǒng) , 可隨時加入新的編碼算法模塊 , 同時也可根據(jù)不同應(yīng)用需求現(xiàn)場配置解碼器 , 以支持多種多媒體應(yīng)用。 MPEG-4 采用了新一代視頻編碼技術(shù) , 它在視頻編碼發(fā)展史上第一次把編碼 對象從圖像幀拓展到具有實(shí)際意義的任意形狀視頻對象 , 從而實(shí)現(xiàn)了從基于像 素的傳統(tǒng)編碼向基于對象和內(nèi)容的現(xiàn)代編碼的轉(zhuǎn)變 , 因而引

14、領(lǐng)著新一代智能圖 像編碼的發(fā)展潮流。 關(guān)鍵技術(shù) MPEG-4除采用第一代視頻編碼的核心技術(shù) , 如變換編碼、 運(yùn)動估計(jì)與運(yùn)動補(bǔ) 償、 量化、 熵編碼外 , 還提出了一些新的有創(chuàng)見性的關(guān)鍵技術(shù) , 并在第一代視 頻編碼技術(shù)基礎(chǔ)上進(jìn)行了卓有成效的完善和改進(jìn)。 下面重點(diǎn)介紹其中的一些關(guān)鍵 技術(shù)。 A. 視頻對象提取技術(shù) MPEG-4實(shí)現(xiàn)基于內(nèi)容交互的首要任務(wù)就是把視頻 / 圖像分割成不同對象或者把運(yùn)動對象從背景中分離出來 , 然后針對不同對象采用相應(yīng)編碼方法 , 以實(shí)現(xiàn)高效壓縮。因此視頻對象提取即視頻對象分割 , 是 MPEG-

15、4視頻編碼的關(guān)鍵技術(shù) , 也是新一代視頻編碼的研究熱點(diǎn)和難點(diǎn)。 視頻對象分割涉及對視頻內(nèi)容的分析和理解 , 這與人工智能、 圖像理解、 模式 資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 識別和神經(jīng)網(wǎng)絡(luò)等學(xué)科有密切聯(lián)系。 當(dāng)前人工智能的發(fā)展還不夠完善 , 計(jì)算機(jī)還 不具有觀察、 識別、 理解圖像的能力 ; 同時關(guān)于計(jì)算機(jī)視覺的研究也表明要實(shí) 現(xiàn)正確的圖像分割需要在更高層次上對視頻內(nèi)容進(jìn)行理解。因此 , 盡管 MPEG-4 框架已經(jīng)制定 , 但至今仍沒有通用的有效方法去根本解決視頻對象分割問題 , 視頻對象分割

16、被認(rèn)為是一個具有挑戰(zhàn)性的難題 , 基于語義的分割則更加困難。 當(dāng)前進(jìn)行視頻對象分割的一般步驟是 : 先對原始視頻 / 圖像數(shù)據(jù)進(jìn)行簡化以 利于分割 , 這可經(jīng)過低通濾波、 中值濾波、 形態(tài)濾波來完成 ; 然后對視頻 / 圖 像數(shù)據(jù)進(jìn)行特征提取 , 能夠是顏色、 紋理、 運(yùn)動、 幀差、 位移幀差乃至語義 等特征 ; 再基于某種均勻性標(biāo)準(zhǔn)來確定分割決策 , 根據(jù)所提取特征將視頻數(shù)據(jù) 歸類 ; 最后是進(jìn)行相關(guān)后處理 , 以實(shí)現(xiàn)濾除噪聲及準(zhǔn)確提取邊界。 在視頻分割中基于數(shù)學(xué)形態(tài)理論的分水嶺 ( watershed) 算法被廣泛使用 , 它又稱

17、水線算法 , 其基本過程是連續(xù)腐蝕二值圖像 , 由圖像簡化、 標(biāo)記提取、決策、 后處理四個階段構(gòu)成。 分水嶺算法具有運(yùn)算簡單、 性能優(yōu)良 , 能夠較好提取運(yùn)動對象輪廓、 準(zhǔn)確得到運(yùn)動物體邊緣的優(yōu)點(diǎn)。 但分割時需要梯度信息 , 對噪聲較敏感 , 且未利用幀間信息 , 一般會產(chǎn)生圖像過度分割。 B. VOP  視頻編碼技術(shù) 視頻對象平面 ( VOP, Video Object Plane) 是視頻對象 ( VO) 在某一時刻的采樣 , VOP 是 MPEG-4視頻編碼的核心概念。 MPEG-4 在編碼過程中針對不同 VO采用不同的編碼策略 , 即對前景

18、 VO的壓縮編碼盡可能保留細(xì)節(jié)和平滑 ; 對背 景 VO則采用高壓縮率的編碼策略 , 甚至不予傳輸而在解碼端由其它背景拼接而成。這種基于對象的視頻編碼不但克服了第一代視頻編碼中高壓縮率編碼所產(chǎn)生 的方塊效應(yīng) , 而且使用戶可與場景交互 , 從而既提高了壓縮比 , 又實(shí)現(xiàn)了基于內(nèi)容的交互 , 為視頻編碼提供了廣闊的發(fā)展空間。 MPEG-4支持任意形狀圖像與視頻的編解碼。對于任意形狀視頻對象。對于極低 比特率實(shí)時應(yīng)用  ,  如可視電話、  會議電視  , MPEG-4  則采用  VLBV

19、( Very Low Bit-rate Video,  極低比特率視頻  )  核進(jìn)行編碼。 傳統(tǒng)的矩形圖在 MPEG-4中被看作是 VO的一種特例 , 這正體現(xiàn)了傳統(tǒng)編碼與 資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 基于內(nèi)容編碼在 MPEG-4中的統(tǒng)一。 VO概念的引入 , 更加符合人腦對視覺信息的 處理方式 , 并使視頻信號的處理方式從數(shù)字化進(jìn)展到智能化 , 從而提高了視頻信號的交互性和靈活性 , 使得更廣泛的視頻應(yīng)用及更多的內(nèi)容交互成為可能。 因 此 VOP視頻編碼技術(shù)

20、被譽(yù)為視頻信號處理技術(shù)從數(shù)字化進(jìn)入智能化的初步探索。 C. 視頻編碼可分級性技術(shù) 隨著因特網(wǎng)業(yè)務(wù)的巨大增長 , 在速率起伏很大的 IP( Internet Protocol) 網(wǎng)絡(luò)及具有不同傳輸特性的異構(gòu)網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)囊蠛蛻?yīng)用越來越多。 在 這種背景下 , 視頻分級編碼的重要性日益突出 , 其應(yīng)用非常廣泛 , 且具有很高 的理論研究及實(shí)際應(yīng)用價(jià)值 , 因此受到人們的極大關(guān)注。 視頻編碼的可分級性  ( scalability)  是指碼率的可調(diào)整性  ,  即視頻數(shù)據(jù)只 壓縮一次

21、  ,  卻能以多個幀率、  空間分辨率或視頻質(zhì)量進(jìn)行解碼  ,  從而可支持多 種類型用戶的各種不同應(yīng)用要求。 MPEG-4 經(jīng)過視頻對象層 ( VOL, Video Object Layer) 數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)分級 編碼。 MPEG-4提供了兩種基本分級工具 , 即時域分級 ( Temporal Scalability) 和空域分級 ( Spatial Scalability) , 另外還支持時域和空域的混合分級。每 一種分級編碼都至少有兩層 VOL, 低層稱為基本層 , 高層稱為增強(qiáng)層。

22、 基本層提 供了視頻序列的基本信息 , 增強(qiáng)層提供了視頻序列更高的分辨率和細(xì)節(jié)。 在隨后增補(bǔ)的視頻流應(yīng)用框架中 , MPEG-4 提出了 FGS( Fine Granularity Scalable, 精 細(xì)可 伸縮 性 ) 視頻 編 碼 算 法以 及 PFGS( Progressive Fine Granularity Scalable, 漸進(jìn)精細(xì)可伸縮性 ) 視頻編碼算法。 FGS 編碼實(shí)現(xiàn)簡單 , 可在編碼速率、 顯示分辨率、 內(nèi)容、 解碼復(fù)雜度等 方面提供靈活的自適應(yīng)和可擴(kuò)展性 , 且具有很強(qiáng)的帶寬自適應(yīng)能力和抗誤碼性 能。

23、但還存在編碼效率低于非可擴(kuò)展編碼及接收端視頻質(zhì)量非最優(yōu)兩個不足。 PFGS 則是為改進(jìn) FGS編碼效率而提出的視頻編碼算法 , 其基本思想是在增 強(qiáng)層圖像編碼時使用前一幀重建的某個增強(qiáng)層圖像為參考進(jìn)行運(yùn)動補(bǔ)償 , 以使 運(yùn)動補(bǔ)償更加有效 , 從而提高編碼效率。 D. 運(yùn)動估計(jì)與運(yùn)動補(bǔ)償技術(shù) 資料內(nèi)容僅供您學(xué)習(xí)參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系改正或者刪除。 MPEG-4 采用 I-VOP、 P-VOP、 B-VOP 三種幀格式來表征不同的運(yùn)動補(bǔ)償類 型。它采用了  H.263  中的半像素搜索 ( hal

24、f  pixel  searching)  技術(shù)和重疊運(yùn)動 補(bǔ) 償  (  overlapped  motion  compensation)  技 術(shù)  ,  同 時 又 引 入 重 復(fù) 填 充 ( repetitive padding)  技術(shù)和修改的塊  (  多邊形  )  匹配  ( modified block ( polygon) matching)  技術(shù)以支持任意

25、形狀的  VOP區(qū)域。 另外 , 為提高運(yùn)動估計(jì)算法精度 , MPEG-4 采用了 MVFAST ( Motion Vector Field Adaptive Search Technique) 和改進(jìn)的 PMVFAST ( Predictive MVFAST) 方法用于運(yùn)動估計(jì)。對于全局運(yùn)動估計(jì) , 則采用了基于特征的快速頑健的 FFRGMET( Feature- based Fast and Robust Global Motion Estimation Technique) 方法。 在 MPEG-4視頻編碼中 ,

26、運(yùn)動估計(jì)相當(dāng)耗時 , 對編碼的實(shí)時性影響很大。因此這里特別強(qiáng)調(diào)快速算法。 運(yùn)動估計(jì)方法主要有像素遞歸法和塊匹配法兩大類 , 前者復(fù)雜度很高 , 實(shí)際中應(yīng)用較少 , 后者則在 H.263 和 MPEG中廣泛采用。在塊匹配 法中 , 重點(diǎn)研究塊匹配準(zhǔn)則及搜索方法。當(dāng)前有三種常見的匹配準(zhǔn)則: ( 1) 絕對誤差和 ( SAD, Sum of Absolute Difference) 準(zhǔn)則 ; ( 2) 均方誤差 ( MSE, Mean Square Error) 準(zhǔn)則 ; ( 3) 歸一化互相關(guān)函數(shù) ( NCCF, Normalized Cross Corre

27、lation Function) 準(zhǔn) 則。 在上述三種準(zhǔn)則中 , SAD 準(zhǔn)則具有不需乘法運(yùn)算、 實(shí)現(xiàn)簡單方便的優(yōu)點(diǎn)而 使用最多 , 但應(yīng)清楚匹配準(zhǔn)則的選用對匹配結(jié)果影響不大。 在選取匹配準(zhǔn)則后就應(yīng)進(jìn)行尋找最優(yōu)匹配點(diǎn)的搜索工作。最簡單、 最可靠的方 法是全搜索法 ( FS, Full Search) , 但計(jì)算量太大 , 不便于實(shí)時實(shí)現(xiàn)。因此快速搜索法應(yīng)運(yùn)而生 , 主要有交叉搜索法、 二維對數(shù)法和鉆石搜索法 , 其中鉆石 搜索法被 MPEG-4校驗(yàn)?zāi)Ｐ?( VM, Verification Model) 所采納 , 下面詳細(xì)介紹。 鉆石搜索 ( DS, Diamond Search) 法以搜索模板形狀而得名 , 具有簡單、 魯棒、高效的特點(diǎn) , 是現(xiàn)有性能最優(yōu)的快速搜索算法之一。 其基本思想是利用搜索模板