低碼率下實時高清視頻壓縮方案

《低碼率下實時高清視頻壓縮方案》由會員分享，可在線閱讀，更多相關(guān)《低碼率下實時高清視頻壓縮方案（5頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、低碼率下實時高清視頻壓縮方案 韓文俊 1，2，任國 強 1，吳欽章 1 （1. 中 國 科 學(xué) 院 光 電 技 術(shù) 研 究 所 ，四 川 成 都 610209； 2. 中 國 科 學(xué) 院 研 究 生 院 ，北 京 100039） 【摘 要 】 在 低 碼 率 的 條 件 下 ，H.264 視 頻 壓 縮 很 容 易 產(chǎn) 生 失 真 并 且 基 于 這 一 標(biāo) 準(zhǔn) 的 高 清 實 時 編 碼 具 有 較 高 復(fù) 雜 度 ， 在 硬 件 中 很 難 實 現(xiàn) 。 提 出 一 種 解 決 方 案 ，在 低 碼 率 的 條 件 下 ，可 以 在 TI TMS320C64

2、55 DSP 上 實 現(xiàn) 720p@25 f/s 高 清 格 式 視 頻 的 實 時 編 碼 。 該 方 案 通 過 在 整 數(shù) 變 換 和 量 化 前 采 取 全 零 塊 預(yù) 測 方 法 ，同 時 使 用 視 頻 抽 樣 、DSP 優(yōu) 化 和 插 值 處 理 來 降 低 編 碼 復(fù) 雜 度 ，達(dá) 到 高 速 實 時 壓 縮 的 目 的 。 實 驗 結(jié) 果 表 明 ，該 方 案 在 低 碼 率 下 ，編 碼 速 度 能 滿 足 實 時 視 頻 的 要 求 ，在 客 觀 峰 值 信 噪 比 指 標(biāo) （PSNR）及 人 眼 視 覺 特 性 上 都 遠(yuǎn) 優(yōu) 于 原 標(biāo) 準(zhǔn) 。 【關(guān) 鍵

3、詞 】 H.264；高 清 視 頻 ；DSP；視 頻 編 碼 【中 圖 分 類 號 】 TN919.8 【文 獻(xiàn) 標(biāo) 識 碼 】 A Scheme for Real-time HD Video Compression in Low Bit Rate HAN Wenjun1, 2, REN Guoqiang1, WU Qinzhang1 （1. Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu 610209, China; 2. Graduate

4、 University of Chinese Academy of Sciences, Beijing 100039, China ） 【Abstract】 In low bit rate, the video coded based on H.264 may have a lot of distortion, and HD real-time encoding based on H.264 is hard to implement on hardware because of its high complexity and large compu

5、tation, a scheme is presented that 720p@25 f/s HD format video can be real-time encoded on a TI TMS320C6455 DSP in low bit rate. Pre-detection algorithm for all-zero blocks is used before integer transform and quantization, meanwhile video sampling, DSP optimization and int

6、erpolation are used to reduce encoding complexity and achieve high-speed real-time compression purposes. Experimental results show that the scheme can satisfy real-time encoding, and is far superior to the original standard both in peak signal-to-noise ratio （PSNR） and hu

7、man visual system in low bit rate. 【Key words】 H.264; HD video; DSP; video encoding 引言 新一代視頻壓縮標(biāo)準(zhǔn) H.264 由于采用了很多新技 術(shù) [1]，使其編碼性能要遠(yuǎn)遠(yuǎn)優(yōu)于其他標(biāo)準(zhǔn) ，但 是 在 低 碼 率 條件下 ，其結(jié)果卻不盡如人意 ，比如在 較窄的帶寬中傳輸 高清視頻流 ，壓縮比非常 高 ，必須對現(xiàn)有的壓縮方法進(jìn)行 改進(jìn)，并且由 于 H.264 編碼過程較為 復(fù) 雜 ，基 于 這 一 標(biāo) 準(zhǔn) 實 現(xiàn) 的 案 例 [5]。 筆者針對低碼率條件下的 H.264 視 頻 壓 縮 ，

8、 提出了一種基于 C64x+內(nèi)核實現(xiàn)高清 720p@25 f/s 的 H.264 視頻壓縮方法 ， 該方法大大減少了算法的計 算 量 ， 提高了計算速度。 實驗結(jié)果表明，在低碼率下，PSNR 及人 眼主觀感覺上都遠(yuǎn)優(yōu)于原標(biāo)準(zhǔn)。 0 視頻質(zhì)量評價方法 視頻質(zhì)量的評定主要有主觀評定和客觀質(zhì) 量 評定兩 1 的實時 編解碼技術(shù)面臨著巨大的挑戰(zhàn) ， 對于高分辨 力圖 像更是很難做到實時 ， 因此 如 何 提 高 H.264 的 編 碼 效 率 和編碼速度是制約其發(fā)展的瓶頸 。 基于 DSP 的視頻壓縮具有易擴展、方便更改、成本低 的 特 點 ，是一種較好的解決方案 ，

9、但 是 由 于 耗 時 的 問 題 ， 使得視頻壓縮方法在 DSP 上 實 現(xiàn) 時 具 有 較 大 的 困 難[2-3]， 盡管 TI 推出了基于 C64x+內(nèi)核的 DSP，D1 分辨力的 H.264 實時編解碼技術(shù)在單片 DSP 上實現(xiàn)已成為可能[4]，但是由 于高清格式視頻壓縮的實現(xiàn)困難 ， 目前還沒有 在單核 上 種估計方法。 主觀評定取決于個人的視覺系統(tǒng)以及對視 頻內(nèi)容的熟悉程度 ，需要足夠 多 的 樣 本 ，通 常 需 耗 費 較 多 的人力和時間 ，除非圖像質(zhì)量 相 差 非 常 明 顯 ，否 則 很 難 得 到 確 切 的 結(jié) 果 ；客觀質(zhì)量評價主要是采用數(shù) 學(xué) 的方法

10、反 映圖像質(zhì)量的變化 ， 筆 者 將 使 用 PSNR 作 為 客 觀 評 價 標(biāo) 準(zhǔn)，定義為 n 2 PSNRdB=10lg（2 -1） /MSE （1） 3 3 L-1 ΣΣ xij ≤ 2 5 （3） i=0 j=0 A（QM，0，0） 4 n 2 式中：（2 -1） 為圖像中最大可能的信號值平方 ，n 為 每 個 像 素 的 比 特 數(shù) ，MSE 為 原 始 圖 像 和 編 碼 后 圖 像 之 間 的 均 方誤差，定義為 M-1 N-1 1 2 ΣΣ[f（x，y）-f （x，y）] MSE=

11、 （2） 0 MN x=0 y=0 式中：f0（x，y）和 f（x，y）分別為原始圖像和壓縮之后的圖像 在（x，y）處的灰度值，M，N 為整幅圖像的像素數(shù)。 式 中 ：L=15+Qp/6，QM=Qp%6（QM 為 量 化 步 長 ，Qp 為 量 化 H.264 結(jié)構(gòu) H.264 編碼算法總體上分為視頻編碼層（Video Coding Layer，VCL） 和 網(wǎng) 絡(luò) 適 配 層 （Network Abstraction Layer， 2 參 數(shù) ，Qp 每 增 加 6，Q 加 倍 ），A （Q ，u，v） 為 量 化 參 數(shù) 矩 M M 陣 ，A（QM

12、，0，0）為量化矩陣的最大值 。 該 判據(jù)在一定程度 上解決了全零塊判斷的問 題 ， 但是并未從提高量化及變 視頻編碼層是視頻處理的核心 ，完 成 對 視 頻 有 效 NAL）。 換速度的角度出發(fā) ，運算時不能充分發(fā)揮 DSP 的性能 ，結(jié) 合圖 2b 提出了新的全零塊預(yù)測方法 ，即 判 斷 1616 塊 是 否為全零塊。 如果將計算出的閾值乘以 16 作為新判據(jù)的 閾值， 在判斷出的 1616 全零塊內(nèi)部可能存在非全 零 的 44 塊，從而導(dǎo)致誤判。 經(jīng)實驗測試表明，1616 塊的閾值 按量化步長增幅的 12.5％來 遞 增 ，當(dāng) Qp=0 時 ，初 始 閾 值 數(shù)據(jù)

13、的描述； 網(wǎng)絡(luò)適配層主要是實現(xiàn)在不同網(wǎng) 絡(luò)應(yīng)用中 的 數(shù) 據(jù) 打 包 。 H.264 的視頻編碼層 框 圖 如 圖 1 所 示[6]，其 方法和 H.263 等視頻壓縮標(biāo)準(zhǔn)類似 ， 編碼方法。 都是 基于塊的混 合 Qp 為 13，從而每一個 Qp 對應(yīng)的閾值為 13（1+0.125） 。 在量 化步長為 29～47 區(qū) 間 ，采 用 720p25_rush_hour.yuv 測 試 的 準(zhǔn)確性 ，零塊檢出率和零塊預(yù)測錯誤的比例如表 1 所 示 ， 在 預(yù) 測 模 式 選擇或者運動估計過程中 1616 塊 的 SAD （Sum of Absolute Diffe

14、rences）已經(jīng)被計算，不會增加額外 的運算時間。 表 1 零 塊 預(yù) 測 檢 出 率 測 試 表 閾 值 800 900 1 012 1 139 1 281 1 440 1 600 1 800 2 025 2 277 2 561 2 880 盡 管 H.264 和 其 他 視頻壓縮標(biāo)準(zhǔn)的主要結(jié)構(gòu)相似 ， 但是由于使用了許多特殊的數(shù)據(jù)處理方法 ， 使得編碼效 率 有 了 很 大 的 提 高 ，主要體現(xiàn)在幀內(nèi)預(yù)測 、幀 間 預(yù) 測 、熵 編碼、整數(shù)變換、量化和掃描等[7]。 全零塊的提前預(yù)測算法 H.264 幀間編碼需要對殘差塊數(shù)據(jù)進(jìn) 行 整 數(shù) 變 換 和 量化，耗時較多

15、，原標(biāo)準(zhǔn)中執(zhí)行流程如圖 2a 所示。 很多情 況 下 ，特 別 是壓縮比較大時 ，殘差塊的絕對值 一 般較小 ， 3 在低碼率條件下 ，即量化 步 長 較 大 時 ，按 照 提 出 的 零 塊提前預(yù)測方法將會取得非常好的效 果 ， 在 DSP 中測試 發(fā)現(xiàn)可以減少 15%～25%的計算量。 硬件實現(xiàn) 在硬件實現(xiàn)時 ，首 先 將 YUV 視頻數(shù)據(jù)通過千兆網(wǎng)絡(luò) 從 PC 端傳到 DSP 中，然后 在 DSP 中對數(shù)據(jù)進(jìn)行抽樣 、編 碼，最后把數(shù)據(jù)回傳到主機，具體實現(xiàn)過程為： 1） YUV 視頻數(shù)據(jù)抽樣方法 讀 入 的 720p YUV 4∶2∶0 的 高 清 數(shù) 據(jù) 流 首 先

16、 進(jìn) 行 抽 樣，由于編碼 是基于 1616 宏 塊 ，抽樣后的圖像分辨力必 須被 16 整除。 方法如圖 3a 所示，抽樣只保留圖中黑色的 4 經(jīng)量化后系數(shù)大多為 0， 如果在變換和 量化前就可以正 確判決出全零塊 ， 可以避免 后續(xù)的變換 、 量化以及反變 換、反量化等運算過程 ，節(jié)省運算時間 ，如圖 2b 所示 。 文 獻(xiàn)[8-10]都對這一問題進(jìn)行了改進(jìn)，但是都是基 于 44 塊 進(jìn)行的判斷，筆者將參考的方法進(jìn)行改 進(jìn) ，提出了降低全 零塊漏判率的判決條件 Qp 35 36 37 38 39 40 41 42 43 44 45 46 判 決 零

17、 塊 預(yù) 測 錯 誤 1.01 1.00 0.80 0.40 0.74 0.30 0.44 0.27 0.19 0.12 0.19 0.12 比 例 /% 零 塊 檢 出 26.0 28.6 31.9 33.7 37.6 41.3 40.9 42.3 44.5 42.5 51.5 53.2 率/% 點，水平方向和豎直方向以二抽一的方式進(jìn) 行抽樣 ，保留 Mbyte， 可 以 設(shè) 置 為 SRAM，cache 或 部 分 cache 和 部 分 中 間 16 行 ，抽樣后圖像尺寸為 640368。 色 度

18、分 量 也 作 通過分析數(shù)據(jù) 、程 序的大小以及耗時的影響 ，從 內(nèi) RAM。 相應(yīng)的抽樣，如圖 3b 所示，抽樣后為 320184。 部 L2 SRAM 中分配 64 kbyte 用 作二級 cache。 占 用 空 間 相對較小的程序段放入 內(nèi) 部 SRAM， 原始視頻數(shù)據(jù)和參 考幀數(shù)據(jù)相對 較 大 ， 放 于 外 部 DDR2 存 儲 器 中 。 在 內(nèi) 部 RAM 中開辟 雙 緩 沖 區(qū) 用 作 ping-pong 操 作 ， 要的數(shù)據(jù)搬移到緩存區(qū) ，以減少 L2 miss[]。 編 碼 前 將 需 （2） 程序級優(yōu)化。 使用 CCS 的 profile

19、r 工具或直接調(diào) 用芯片的 timer 模塊來測試并記錄函數(shù)的 執(zhí) 行 時 間 ，將 程 序中的耗時部分用內(nèi)聯(lián)函數(shù) 、 線性匯 編等優(yōu)化以提高速 度。 H.264 壓縮標(biāo)準(zhǔn)中運動估計 、整數(shù)變換 、反整數(shù)變換 、 量 化 、反 量 化 、幀 間 預(yù) 測 插值等是最耗時的部分 ，將 其 用 線性匯編優(yōu)化， 如耗時比例較大的運動估計中 SAD 的計 算 ，可 以 采 用 SUBABS4 和 DOTPU4 指 令[11-12]實 現(xiàn) ，如 圖 5 所示。 2） 壓縮算法的 DSP 移植及優(yōu)化 算 法 的 DSP 移植主要包括更改數(shù)據(jù)輸入輸出 接 口 及配置硬件資源 。

20、對于輸入輸出接口 ，源 程 序 使 用 fread 和 fwrite 函數(shù)來讀取和保存數(shù)據(jù) ， 通過 JTAG 口 操 作 ，速 度較慢，采用網(wǎng)口對數(shù)據(jù)進(jìn)行讀入和保存。 程序執(zhí)行流程 如圖 4 所示，定義了兩個任務(wù) ，一個負(fù)責(zé)數(shù)據(jù)的 讀入和保 存，另一個負(fù)責(zé)完成編碼 ，任務(wù)之間 的通信使用旗語信號 量來實現(xiàn)。 編 譯 選 項 優(yōu) 化 。 設(shè) 置-pm，-o3，-mt 等 選 項 編 譯 （3） 程 序 。 經(jīng) 過 以 上 3 步 優(yōu)化編碼速度可以達(dá)到 25 f/s （幀/ 秒）以上。 視頻接收端的解碼和圖像插值過程 3） PC 端程序從網(wǎng)絡(luò)接收編碼后視頻流 ，解碼生成

21、 640 368 分 辨 力 的 YUV 視 頻 流 ， 再經(jīng)過像素插值恢復(fù)為 1 280720 的視頻并顯示。插值過程和抽樣相反，參考圖 3， 在黑色點已知的條件下 ，補充白 色 的 點 。 水 平 插 值 時 ，每 行的后一個像素值直接拷貝前 一 個 像 素 值 ， 豎 直 插 值 時 亮度數(shù)據(jù)除中間的 16 行 不需 插 值 外 ，其他行間隔拷貝上 一行的數(shù)據(jù)，色度插值時中間 8 行不需插值。 實驗結(jié)果 主機端配置為 E5300 CPU 雙核 2.6 Gbyte，內(nèi)存 2 Gbyte， 編碼端采用 TMS320C6455 DSP，對 720p25_rush_ho

22、ur.yuv 和 720p25_riverbed.yuv 各 選 取 連 續(xù) 100 幀 圖 像 做 測 試 ， 均 采 用 IPPP 編 碼 模 式 。 PSNR 和碼率的統(tǒng)計關(guān)系如圖 6 所示，可以看出在低 碼率條件下 ，本文算法處理效果要明 5 顯 優(yōu) 于 原 標(biāo) 準(zhǔn) 算 法 ， 特 別 是 對 于 720p25_riverbed.yuv 視 程序優(yōu)化分為 3 步： （1） 存儲及 cache 優(yōu) 化 。 頻，由于圖像細(xì)節(jié) 較多 ，本文算法和原標(biāo)準(zhǔn)算法的交點位 置的 碼率更高 ，即在高復(fù)雜度的視頻 處 理 上 ，本 文 算 法 較 原標(biāo)準(zhǔn)算法優(yōu)勢更明顯。 TMS

23、320C6455 具 有 高 速 的 兩 級 緩 存 結(jié) 構(gòu) ，內(nèi) 部 一 級 緩 沖 L1P SRAM 和 L1D SRAM 分 別 有 32 kbyte， 全 部 設(shè) 置 為 cache。 內(nèi) 部 RAM 有 2 final committee draft of joint video specification final committee draft[S].2002. 王 強 ，卓 力 ，沈 蘭 蓀. 基 于 DSP 平 臺 的 H.264 編 碼 器 的 優(yōu) 化 與 實 現(xiàn) [J]. 電 子 與 信 息 學(xué) 報 ，2007，

24、29（12）：2970-2973. 李 小 紅 ，蔣 建 國 ，齊 美 彬 ，等. 基 于 DSP 的 H.264 關(guān) 鍵 模 塊 技 術(shù) 的 研 究 及 實 現(xiàn)[J]. 儀 器 儀 表 學(xué) 報 ，2006，27(10）：1330-1333. 韓 文 俊 ，張 艷 艷 ，任 國 強 ，等 . 基 于 TI C64x+ 內(nèi) 核 DSP 的 H.264 壓 縮 關(guān) 鍵 模 塊 優(yōu) 化[J]. 電 視 技 術(shù) ，2010，34（3）：28-30. 韓 文 俊 ，張 艷 艷 ，任 國 強 ，等. 基 于 雙 DSP 的 實 時 高 清 H.264 視 頻 編 碼 器 實 現(xiàn)[J]. 電

25、 視 技 術(shù) ，2010，34（5）：33-35. WIEGAND T， SULLIVAN G J， BJONTEGAARD G， et al. Overview of the H.264/AVC video coding standard[J]. IEEE Trans. Circuits and Systems for Video Technology，2003，13（7）：560-576. 余 兆 明 ，查 日 勇 ，黃 磊 ，等. 圖 像 編 碼 標(biāo) 準(zhǔn) H.264 技 術(shù)[M]. 北 京 ：人 民 郵 電 出 版 社 ，2006. MOON Y H， K

26、IM G Y， KIM J H. An improved early detection algorithm for all -zero blocks in H.264 video encoding [J]. IEEE Trans. Circuits and Systems for Video Technology， 2005，15 （8）： 1053-1057. SU C Y. An enhanced detection algorithm for all-zero blocks in H.264 video coding[J]. IE

27、EE Trans. Consumer Electronics，2006，52 （2）：598-605. 沈 禮 權(quán) . 高 效 視 頻 編 碼 的 算 法 優(yōu) 化 及 其 擴 展 研 究[D]. 上 海 ：上 海 大 學(xué) ，2008. TMS320C64x + DSP cache user′ s guide [EB/OL]. [2010 -02 -09]. http：// TMS320C64x/C64x+ DSP CPU and instruction set reference guide [EB/OL]. [2010 -02 -09]. http ：//

28、spru732h.pdf. 筧 [2] [3] [4] [5] [6] 對于 720p25_rush_hour.yuv 視頻，在碼率為 452.6 kbit/s 條 件 下 ，選 取 連 續(xù) 100 幀 ，分別使 用原標(biāo)準(zhǔn)算法和本文 算 法 進(jìn) 行 壓 縮 ，抽 取 第 95 幀圖像進(jìn)行比較 ， 如 圖 7c 和 7d 所 示 。 原 H.264 標(biāo) 準(zhǔn) 壓 縮 后 ，有大面積的模糊塊 ，圖 像 的很多重要信息丟失 ，如 車 牌 號 等 ，本 文 方 法 在 主 觀 感 覺上明顯優(yōu)于 原 標(biāo) 準(zhǔn) 算 法 ， 且 原 標(biāo) 準(zhǔn) 處 理 后 YUV 分 量 平 均 PSNR

29、為 29.86/39.49/39.41，本 文 方 法 平 均 PSNR 為 33.07/40.52/40.39，原 標(biāo)準(zhǔn) 要獲得和本文方法相同的主觀 感覺，碼率需設(shè)置約在 800 kbit/s，如圖 7b 所示。 [7] [8] [9] [10] 小結(jié) 在低碼率條件下， 6 [11] 結(jié)合 DSP 的特點對 H.264 壓縮標(biāo) [12] 準(zhǔn)進(jìn)行 了結(jié)構(gòu)上的調(diào)整及算法上的改進(jìn) ， 在單核上 實 現(xiàn) 了高清視頻的實時編碼 ， 結(jié)果表明改進(jìn) 后的算法能 夠 更 充分發(fā)揮 DSP 并行計算的性能 ，編碼速度有了較大提高 ， 圖像質(zhì)量在客觀指標(biāo)及主觀感覺都遠(yuǎn)優(yōu)于原

30、H.264 壓 縮 作 者 簡 介 ： 韓 文 俊 （1984- ）， 博 士 生 ， 主 研 嵌 入 式 視 頻 壓 縮 處 理 及 高 速 數(shù) 據(jù) 傳 輸 ； 任 國 強 ，研 究 員 ，碩 士 生 導(dǎo) 師 ，從 事 嵌 入 式 系 統(tǒng) 研 究 ； 吳 欽 章 ，研 究 員 ，博 士 生 導(dǎo) 師 ，從 事 嵌 入 式 系 統(tǒng) 研 究 。 標(biāo)準(zhǔn)， 對于帶 寬較窄條件下的低碼率實時高清視頻編 碼 具有一定的參考意義。 參考文獻(xiàn)： [1] Joint Video Team （JVT）of ISO/ IEC MPEG&ITU-T VCE，Study of 責(zé)

31、任 編 輯 ：孫 卓 收 稿 日 期 ：2010-02-09 file:///D|/我的資料/Desktop/新建文本文檔.txt Appliance Error (configuration_error) Your request could not be processed because of a configuration error: "Could not connect to LDAP server." For assistance, contact your network support team. file:///D|/我的資料/Desktop/新建文本文檔.txt2012-07-12 20:42:52