H264視頻壓縮編碼標(biāo)準(zhǔn)

《H264視頻壓縮編碼標(biāo)準(zhǔn)》由會員分享，可在線閱讀，更多相關(guān)《H264視頻壓縮編碼標(biāo)準(zhǔn)（72頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、SLIDE 1 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結(jié) 構(gòu)幀 內(nèi) 預(yù) 測 幀 間 預(yù) 測變 換 與 量 化 SLIDE 2 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結(jié) 構(gòu)幀 內(nèi) 預(yù) 測 幀 間 預(yù) 測 變 換 與 量 化 SLIDE 3 H.264/AVC編 解 碼 器H.264編 解 碼 器 特 點 H.264并 不 明 確 地 規(guī) 定 一 個 編 解 碼 器 如 何 實 現(xiàn) ，而 是 規(guī) 定 了 一 個 編 碼 的 視 頻 比 特 流 的 句 法 ，和 該 比 特 流 的 解 碼 方 法 ， 各 個 廠 商 的 編 碼 器

2、和 解 碼 器 在 此 框 架 下 應(yīng) 能 夠 互 通 ， 在 實 現(xiàn) 上具 有 較 大 靈 活 性 ， 而 且 有 利 于 相 互 競 爭 。 SLIDE 4 H.264/AVC編 解 碼 器H.264編 碼 器 編 碼 器 采 用 的 仍 是 變 換 和 預(yù) 測 的 混 合 編 碼 法 。 輸 入 的 幀 或 場 Fn以 宏 塊 為單 位 被 編 碼 器 處 理 。 首 先 ， 按 幀 內(nèi) 或 幀 間 預(yù) 測 編 碼 的 方 法 進(jìn) 行 處 理 。 如 果 采 用 幀 內(nèi) 預(yù) 測 編 碼 ， 其 預(yù) 測 值 PRED（ 圖 中 用 P表 示 ） 是 由 當(dāng) 前 片 中前 面 已 編 碼 的

3、 參 考 圖 像 經(jīng) 運(yùn) 動 補(bǔ) 償 （ MC） 后 得 出 ， 其 中 參 考 圖 像 用 Fn-1表 示 。 為 了 提 高 預(yù) 測 精 度 ， 從 而 提 高 壓 縮 比 ， 實 際 的 參 考 圖 像 可 在 過去 或 未 來 （ 指 顯 示 次 序 上 ） 已 編 碼 解 碼 重 建 和 濾 波 的 幀 中 進(jìn) 行 選 擇 。 預(yù) 測 值 PRED和 當(dāng) 前 塊 相 減 后 ， 產(chǎn) 生 一 個 殘 差 塊 Dn， 經(jīng) 塊 變 換 、 量 化 后 產(chǎn)生 一 組 量 化 后 的 變 換 系 數(shù) X， 再 經(jīng) 熵 編 碼 ， 與 解 碼 所 需 的 一 些 邊 信 息（ 如 預(yù) 測 模 式

4、 量 化 參 數(shù) 、 運(yùn) 動 矢 量 等 ） 一 起 組 成 一 個 壓 縮 后 的 碼 流 。 正 如 上 述 ， 為 了 提 供 進(jìn) 一 步 預(yù) 測 用 的 參 考 圖 像 ， 編 碼 器 必 須 有 重 建 圖 像的 功 能 。 因 此 必 須 使 殘 差 圖 像 經(jīng) 反 量 化 、 反 變 換 后 得 到 的 Dn與 預(yù) 測 值 P相 加 ， 得 到 uFn（ 未 經(jīng) 濾 波 的 幀 ） 。 為 了 去 除 編 碼 解 碼 環(huán) 路 中 產(chǎn) 生 的 噪 聲 ， 為 了 提 高 參 考 幀 的 圖 像 質(zhì) 量 ， 從 而 提 高 壓 縮 圖 像 性 能 ， 設(shè) 置 了 一 個環(huán) 路 濾 波

5、 器 ， 濾 波 后 的 輸 出 Fn即 重 建 圖 像 可 用 作 參 考 圖 像 。 SLIDE 5 H.264/AVC編 解 碼 器H.264解 碼 器 由 圖 1可 知 ， 由 編 碼 器 的 NAL輸 出 一 個 壓 縮 后 的H.264壓 縮 比 特 流 。 由 圖 2， 經(jīng) 熵 解 碼 得 到 量 化 后 的一 組 變 換 系 數(shù) X， 再 經(jīng) 反 量 化 、 反 變 換 ， 得 到 殘 差Dn 。 利 用 從 該 比 特 流 中 解 碼 出 的 頭 信 息 ， 解 碼 器就 產(chǎn) 生 一 個 預(yù) 測 塊 PRED， 它 和 編 碼 器 中 的 原 始 PRED是 相 同 的 。

6、當(dāng) 該 解 碼 器 產(chǎn) 生 的 PRED與 殘 差 Dn 相 加后 ， 就 產(chǎn) 生 uFu ， 再 經(jīng) 濾 波 后 ， 最 后 就 得 到 濾 波后 的 Fn ， 這 個 Fn 就 是 最 后 的 解 碼 輸 出 圖 像 。 SLIDE 6 H.264/AVC編 解 碼 器 圖 1 H.264編 碼 器 SLIDE 7 H.264/AVC編 解 碼 器 圖 2 H.264解 碼 器 SLIDE 8 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結(jié) 構(gòu)幀 內(nèi) 預(yù) 測 幀 間 預(yù) 測 變 換 與 量 化 SLIDE 9 H.264/AVC的 結(jié) 構(gòu)名 詞 解 釋 場 和

7、幀 視 頻 的 一 場 或 一 幀 可 用 來 產(chǎn) 生 一 個 編 碼 圖 像 。 在 電視 中 ， 為 減 少 大 面 積 閃 爍 現(xiàn) 象 ， 把 一 幀 分 成 兩 個 隔行 的 場 。 SLIDE 10 H.264/AVC的 結(jié) 構(gòu)名 詞 解 釋 宏 塊 、 片 : 一 個 編 碼 圖 像 通 常 劃 分 成 若 干 宏 塊 組 成 ， 一 個宏 塊 由 一 個 16 16亮 度 像 素 和 附 加 的 一 個 8 8 Cb和 一 個8 8 Cr彩 色 像 素 塊 組 成 。 每 個 圖 象 中 ， 若 干 宏 塊 被 排 列 成片 的 形 式 。 I片 只 包 含 I宏 塊 ， P片

8、可 包 含 P和 I宏 塊 ， 而 B片 可 包 含 B和 I宏塊 。 I宏 塊 利 用 從 當(dāng) 前 片 中 已 解 碼 的 像 素 作 為 參 考 進(jìn) 行 幀 內(nèi) 預(yù) 測 。 P宏 塊 利 用 前 面 已 編 碼 圖 象 作 為 參 考 圖 象 進(jìn) 行 幀 內(nèi) 預(yù) 測 ， 一 個 幀 內(nèi) 編 碼 的 宏 塊 可 進(jìn) 一 步 作 宏 塊 的 分 割 ： 即 16 16、16 8、 8 16或 8 8亮 度 像 素 塊 （ 以 及 附 帶 的 彩 色 像 素 ） ；如 果 選 了 8 8的 子 宏 塊 ， 則 可 再 分 成 各 種 子 宏 塊 的 分 割 ， 其尺 寸 為 8 8、 8 4、

9、4 8或 4 4亮 度 像 素 塊 （ 以 及 附 帶 的 彩 色 像 素 ） 。 B宏 塊 則 利 用 雙 向 的 參 考 圖 象 （ 當(dāng) 前 和 未 來 的 已 編 碼 圖 象 幀 ）進(jìn) 行 幀 內(nèi) 預(yù) 測 。 。 SLIDE 11 H.264/AVC的 結(jié) 構(gòu)檔 次 和 級 H.264規(guī) 定 了 三 種 檔 次 ， 每 個 檔 次 支 持 一 組 特 定 的 編 碼 功 能 ，并 支 持 一 類 特 定 的 應(yīng) 用 。 1） 基 本 檔 次 ： 利 用 I片 和 P片 支 持 幀 內(nèi) 和 幀 間 編 碼 ， 支 持 利用 基 于 上 下 文 的 自 適 應(yīng) 的 變 長 編 碼 進(jìn) 行 的

10、 熵 編 碼 （ CAVLC） 。主 要 用 于 可 視 電 話 、 會 議 電 視 、 無 線 通 信 等 實 時 視 頻 通 信 ； 2） 主 要 檔 次 ： 支 持 隔 行 視 頻 ， 采 用 B片 的 幀 間 編 碼 和 采 用 加權(quán) 預(yù) 測 的 幀 內(nèi) 編 碼 ； 支 持 利 用 基 于 上 下 文 的 自 適 應(yīng) 的 算 術(shù) 編碼 （ CABAC） 。 主 要 用 于 數(shù) 字 廣 播 電 視 與 數(shù) 字 視 頻 存 儲 ； 3） 擴(kuò) 展 檔 次 ： 支 持 碼 流 之 間 有 效 的 切 換 （ SP和 SI片 ） 、 改進(jìn) 誤 碼 性 能 （ 數(shù) 據(jù) 分 割 ） ， 但 不 支

11、持 隔 行 視 頻 和 CABAC。 主要 用 于 網(wǎng) 絡(luò) 的 視 頻 流 ， 如 視 頻 點 播 圖 3為 H.264各 個 檔 次 具 有 的 不 同 功 能 ， 可 見 擴(kuò) 展 檔 次 包 括 了 基 本 檔 次 的 所 有 功 能 ， 而 不 能 包 括 主 要 檔 次 的 。 每 一 檔 次 設(shè)置 不 同 參 數(shù) （ 如 取 樣 速 率 、 圖 像 尺 寸 、 編 碼 比 特 率 等 ） ， 得到 編 解 碼 器 性 能 不 同 的 級 。 SLIDE 12 H.264/AVC的 結(jié) 構(gòu) 圖 3 H.264檔 次 SLIDE 13 H.264/AVC的 結(jié) 構(gòu)編 碼 數(shù) 據(jù) 格 式

12、H.264支 持 4:2:0的 逐 行 或 隔 行 視 頻 的 編 碼 和 解 碼 。 SLIDE 14 H.264/AVC的 結(jié) 構(gòu)參 考 圖 像 可 從 一 組 前 面 或 后 面 已 編 碼 圖 像 中 選 出 一 個 或 兩 個與 當(dāng) 前 最 匹 配 的 圖 像 作 為 幀 間 編 碼 間 的 參 數(shù) 圖 像 ， H.264中 最 多 可 從 15個 參 考 圖 像 中 進(jìn) 行 選 擇 ， 選 出最 佳 的 匹 配 圖 像 。 對 于 P片 中 幀 間 編 碼 宏 塊 可 從 表 “ 0” 中 選 擇 參 數(shù) 圖像 ； 對 于 B片 中 的 幀 間 編 碼 宏 塊 和 宏 塊 分 割

13、的 預(yù) 測 ，可 從 表 “ 0” 和 “ 1” 中 選 擇 參 考 圖 像 。 SLIDE 15 H.264/AVC的 結(jié) 構(gòu) 片 和 片 組 片 一 個 視 頻 圖 像 可 編 碼 成 一 個 或 更 多 個 片 ， 每 片 包 含整 數(shù) 個 宏 塊 （ MB） ， 即 每 片 至 少 一 個 MB， 最 多 時 每片 包 含 整 個 圖 像 的 宏 塊 。 設(shè) 片 的 目 的 是 為 了 限 制 誤 碼 的 擴(kuò) 散 和 傳 輸 ， 使 編 碼片 相 互 間 是 獨 立 的 。 某 片 的 預(yù) 測 不 能 以 其 它 片 中 的宏 塊 為 參 考 圖 像 ， 這 樣 某 一 片 中 的 預(yù)

14、 測 誤 差 才 不 會傳 播 到 其 它 片 中 去 。 編 碼 片 共 有 5種 不 同 類 型 ， I片 、 P片 、 B片 外 ， 還有 SP片 和 SI片 。 其 中 SP（ 切 換 P） 是 用 于 不 同 編 碼流 之 間 的 切 換 。 SLIDE 16 H.264/AVC的 結(jié) 構(gòu) 圖 4 片 的 句 法 結(jié) 構(gòu) SLIDE 17 H.264/AVC的 結(jié) 構(gòu) 片 和 片 組 片 組 片 組 是 一 個 編 碼 圖 象 中 若 干 MB的 一 個 子 集 ， 它 可 包含 一 個 或 若 干 個 片 。 在 一 個 片 組 中 ， 每 片 的 MB按 光 柵 掃 描 次 序

15、被 編 碼 ，如 果 每 幅 圖 象 僅 取 一 個 片 組 ， 則 該 圖 象 中 所 有 的 MB均 按 光 柵 掃 描 次 序 被 編 碼 。 還 有 一 種 片 組 ， 叫 靈 活 宏 塊 次 序 （ FMO） ， 它 可 用 靈活 的 方 法 ， 把 編 碼 MB序 列 映 射 到 解 碼 圖 象 中 MB的 分配 用 MB到 片 組 之 間 的 映 射 來 確 定 ， 它 表 示 每 一 個 MB屬 于 哪 個 片 組 。 表 1 為 MB到 片 組 的 各 種 映 射 類 型 。 SLIDE 18 H.264/AVC的 結(jié) 構(gòu) 表 1 MB到 片 組 的 映 射類 型 名 稱 描

16、 述0 交 錯 MB游 程 被 依 次 分 配 給 每 一 塊 組 （ 圖 8）1 散 亂 每 一 片 組 中 的 MB被 分 散 在 整 個 圖 象 中 （ 圖 9）2 前 景 和 背 景 例 見 圖 103 Box out 從 幀 的 中 心 開 始 ， 產(chǎn) 生 一 個 箱 子 ， 其 MB屬 于 片 組0， 其 它 MB屬 于 片 組 （ 圖 11）4 光 柵 掃 描 片 組 0包 含 按 光 柵 掃 描 次 序 從 頂 左 的 所 有 MB， 其 余 MB屬 片 組 1（ 圖 11）5 手 絹 片 組 0包 含 從 頂 左 垂 直 掃 描 次 序 的 MB， 其 余 MB屬 片 組 1

17、（ 圖 11）6 顯 式 每 一 Mbslice_group_id,用 于 指 明 它 的 片 組 （ 即 MB映 射 完 全 是 用 戶 定 義 的 ） SLIDE 19 H.264/AVC的 結(jié) 構(gòu) 圖 5 交 錯 型 片 組 圖 6 散 亂 型 片 組 圖 7 前 景 和 背 景 型 片 組 SLIDE 20 H.264/AVC的 結(jié) 構(gòu) 圖 8 片 組 SLIDE 21 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結(jié) 構(gòu)幀 內(nèi) 預(yù) 測 幀 間 預(yù) 測變 換 與 量 化 SLIDE 22 幀 內(nèi) 預(yù) 測 在 幀 內(nèi) 預(yù) 測 模 式 中 ， 預(yù) 測 塊 P是 基

18、 于 已 編 碼 重 建 塊和 當(dāng) 前 塊 形 成 的 。 對 亮 度 像 素 而 言 ， P塊 用 于 4 4子 塊 或 者 16 16宏 塊 的 相 關(guān) 操 作 。 4 4亮 度 子 塊 有9種 可 選 預(yù) 測 模 式 ， 獨 立 預(yù) 測 每 一 個 4 4亮 度 子 塊 ，適 用 于 帶 有 大 量 細(xì) 節(jié) 的 圖 像 編 碼 ； 16 16亮 度 塊 有4種 預(yù) 測 模 式 ， 預(yù) 測 整 個 16 16亮 度 塊 ， 適 用 于 平坦 區(qū) 域 圖 像 編 碼 ； 色 度 塊 也 有 4種 預(yù) 測 模 式 ， 類 似于 16 16亮 度 塊 預(yù) 測 模 式 。 編 碼 器 通 常 選

19、擇 使 P塊和 編 碼 塊 之 間 差 異 最 小 的 預(yù) 測 模 式 。 SLIDE 23 幀 內(nèi) 預(yù) 測 4 4亮 度 預(yù) 測 模 式 如 圖 6.14所 示 ， 4 4亮 度 塊 的 上 方 和 左 方 像 素 A M為 已 編 碼 和 重 構(gòu) 像 素 ， 用 作 編 解 碼 器 中 的 預(yù) 測 參 考像 素 。 a p為 待 預(yù) 測 像 素 ， 利 用 A M值 和 9種 模 式實 現(xiàn) 。 其 中 模 式 2(DC預(yù) 測 )根 據(jù) A M中 已 編 碼 像 素預(yù) 測 ， 而 其 余 模 式 只 有 在 所 需 預(yù) 測 像 素 全 部 提 供 才能 使 用 。 圖 6.15箭 頭 表 明

20、 了 每 種 模 式 預(yù) 測 方 向 。 對模 式 3 8， 預(yù) 測 像 素 由 A M加 權(quán) 平 均 而 得 。 例 如 ，模 式 4中 ， d=round(B/4+C/2+D/4)。 SLIDE 24 幀 內(nèi) 預(yù) 測 圖 1 SLIDE 25 幀 內(nèi) 預(yù) 測 a) b)圖 2 a)利 用 像 素 A-M對 方 塊 中 a-p像 素 進(jìn) 行 幀 內(nèi) 4 4預(yù) 測b)幀 內(nèi) 4 4 預(yù) 測 的 8個 預(yù) 測 方 向 SLIDE 26 幀 內(nèi) 預(yù) 測 圖 3 4 4亮 度 塊 預(yù) 測 模 式 SLIDE 27 幀 內(nèi) 預(yù) 測Example: 4x4 塊 ,9種 預(yù) 測 模 式 (0-8)對 于

21、當(dāng) 前 塊 的 最 佳 模 式 是 ： 模 式 7 (vertical-right) SLIDE 28 幀 內(nèi) 預(yù) 測 圖 4 SLIDE 29 幀 內(nèi) 預(yù) 測 16 16亮 度 預(yù) 測 模 式 宏 塊 的 全 部 16 16亮 度 成 分 可 以 整 體 預(yù) 測 ， 有 4種預(yù) 測 模 式 ， 如 表 2和 圖 5所 示 。 圖 5 16 16預(yù) 測 模 式 SLIDE 30 幀 內(nèi) 預(yù) 測 表 2 16 16預(yù) 測 模 式模 式 描 述模 式 0（ 垂 直 ） 由 上 邊 像 素 推 出 相 應(yīng) 像 素 值模 式 1（ 水 平 ） 由 左 邊 像 素 推 出 相 應(yīng) 像 素 值 模 式 2

22、（ DC） 由 上 邊 和 左 邊 像 素 平 均 值 推 出 相 應(yīng) 像 素 值模 式 3（ 平 面 ） 利 用 線 形 “ plane”函 數(shù) 及 左 、 上 像 素 推 出 相 應(yīng) 像 素 值 ， 適 用 于 亮度 變 化 平 緩 區(qū) 域 SLIDE 31 幀 內(nèi) 預(yù) 測 圖 6 16 16 宏 塊 圖 7 幀 內(nèi) 16 16 預(yù) 測 塊 舉 例 ： 圖 6給 出 了 一 個 左 上 方 像 素已 編 碼 的 亮 度 宏 塊 。 圖 7 給 出 了 4種 預(yù) 測 模 式 預(yù) 測 結(jié) 果 。 其 中 模 式 3最匹 配 原 始 宏 塊 。 幀 內(nèi) 16 16模 式 適 用于 圖 像 平 坦

23、 區(qū) 域 預(yù) 測 。 SLIDE 32 幀 內(nèi) 預(yù) 測 8 8色 度 塊 預(yù) 測 模 式 每 個 幀 內(nèi) 編 碼 宏 塊 的 8 8色 度 成 分 由 已 編 碼 左 上 方 色度 像 素 預(yù) 測 而 得 ， 兩 種 色 度 成 分 常 用 同 一 種 預(yù) 測 模 式 。 4種 預(yù) 測 模 式 類 似 于 幀 內(nèi) 16 16預(yù) 測 的 4種 預(yù) 測 模 式 ，只 是 模 式 編 號 不 同 。 其 中 DC（ 模 式 0） 、 水 平 （ 模 式1） 、 垂 直 （ 模 式 2） 、 平 面 （ 模 式 3） 。 SLIDE 33 幀 內(nèi) 預(yù) 測 幀 內(nèi) 預(yù) 測 模 式 幀 內(nèi) 預(yù) 測 模 式

24、 編 碼 例 如 ： 如 果 A塊 和 B塊 的 最 優(yōu) 預(yù) 測 模 式 均 是 預(yù) 測模 式 2， 那 么 ， 最 可 能 當(dāng) 前 塊 C的 最 優(yōu) 預(yù) 測 模 式是 模 式 2 圖 8 幀 內(nèi) 預(yù) 測 模 式 編 碼 SLIDE 34 幀 內(nèi) 預(yù) 測對 于 當(dāng) 前 塊 C, 編 解 碼 器 按 照 如 下 方 法 計 算probable prediction mode minprediction mode of A, prediction modes of B當(dāng) A (或 者 B） 的 預(yù) 測 模 式 不 可 用 時 ， prediction mode of A 2.例 如 A 和 B塊

25、的 預(yù) 測 模 式 分 別 為 3 和 1 most probable mode for block C =1 SLIDE 35 幀 內(nèi) 預(yù) 測編 碼 器 為 每 個 4x4 塊 發(fā) 送 一 個 標(biāo) 記 flag,解 碼 器 按 照 如 下 方 式 解 碼If flag=1, prediction mode=most_probable_modeIf flag=0 If rem_intra4 4_pred_mode most_probable_mode prediction mode=rem_intra4 4_pred_mode else prediction mode=rem_intra4 4

26、_pred_mode+1 這 樣 表 示 9中 預(yù) 測 模 式 只 需 要 8個 值 (0 to 7) SLIDE 36 幀 內(nèi) 預(yù) 測 SLIDE 37 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結(jié) 構(gòu)幀 內(nèi) 預(yù) 測 幀 間 預(yù) 測 變 換 與 量 化 SLIDE 38 幀 間 預(yù) 測 樹 狀 結(jié) 構(gòu) 運(yùn) 動 補(bǔ) 償 每 個 宏 塊 （ 16 16像 素 ） 可 以 4種 方 式 分 割 ： 一 個16 16， 兩 個 16 8， 兩 個 8 16， 四 個 8 8。 其 運(yùn)動 補(bǔ) 償 也 相 應(yīng) 有 四 種 。 而 8 8分 割 還 可 以 有 四 種 方式

27、的 分 割 ： 一 個 8 8， 兩 個 4 8或 兩 個 8 4及 4個4 4。 這 種 分 割 下 的 運(yùn) 動 補(bǔ) 償 則 稱 為 樹 狀 結(jié) 構(gòu) 運(yùn) 動補(bǔ) 償 。 SLIDE 39 幀 間 預(yù) 測 圖 1 宏 塊 分 割 SLIDE 40 幀 間 預(yù) 測 樹 狀 結(jié) 構(gòu) 運(yùn) 動 補(bǔ) 償 每 個 分 割 或 子 宏 塊 都 有 一 個 獨 立 的 運(yùn) 動 補(bǔ) 償 。 每 個MV必 須 被 編 碼 、 傳 輸 ， 分 割 的 選 擇 也 需 編 碼 到 壓 縮比 特 流 中 。 對 大 的 分 割 尺 寸 而 言 ， MV選 擇 和 分 割 類型 只 需 少 量 的 比 特 ， 但 運(yùn) 動

28、補(bǔ) 償 殘 差 在 多 細(xì) 節(jié) 區(qū) 域能 量 將 非 常 高 。 小 尺 寸 分 割 運(yùn) 動 補(bǔ) 償 殘 差 能 量 低 ，但 需 要 較 多 的 比 特 表 征 MV和 分 割 選 擇 。 分 割 尺 寸 的選 擇 影 響 了 壓 縮 性 能 。 整 體 而 言 ， 大 的 分 割 尺 寸 適合 平 坦 區(qū) 域 ， 而 小 尺 寸 適 合 多 細(xì) 節(jié) 區(qū) 域 。 SLIDE 41 幀 間 預(yù) 測 宏 塊 的 色 度 成 分 （ Cr和 Cb） 則 為 相 應(yīng) 亮 度 的 一 半（ 水 平 和 垂 直 各 一 半 ） 。 色 度 塊 采 用 和 亮 度 塊 同 樣的 分 割 模 式 ， 只 是

29、 尺 寸 減 半 （ 水 平 和 垂 直 方 向 都 減半 ） 。 例 如 ， 8 16的 亮 度 塊 相 應(yīng) 色 度 塊 尺 寸 為4 8， 8 4亮 度 塊 相 應(yīng) 色 度 塊 尺 寸 為 4 2等 等 。 色度 塊 的 MV也 是 通 過 相 應(yīng) 亮 度 MV水 平 和 垂 直 分 量 減 半而 得 。 舉 例 ： 如 圖 ： 一 個 殘 差 幀 （ 沒 有 進(jìn) 行 運(yùn) 動 補(bǔ) 償 ） 。H.264編 碼 器 為 幀 的 每 個 部 分 選 擇 了 最 佳 分 割 尺 寸 ，使 傳 輸 信 息 量 最 小 ， 并 將 選 擇 的 分 割 加 到 殘 差 幀 上 。在 幀 變 化 小 的

30、區(qū) 域 （ 殘 差 顯 示 灰 色 ） ， 選 擇 16 16分 割 ； 多 運(yùn) 動 區(qū) 域 （ 殘 差 顯 示 黑 色 或 白 色 ） ， 選 擇更 有 效 的 小 的 尺 寸 。 SLIDE 42 幀 間 預(yù) 測 圖 2 殘 差 幀 SLIDE 43 幀 間 預(yù) 測 運(yùn) 動 矢 量 幀 間 編 碼 宏 塊 的 每 個 分 割 或 者 子 宏 塊 都 是 從 參 考 圖像 某 一 相 同 尺 寸 區(qū) 域 預(yù) 測 而 得 。 兩 者 之 間 的 差 異（ MV） 對 亮 度 成 分 采 用 1/4像 素 精 度 ， 色 度 1/8像 素精 度 。 亞 像 素 位 置 的 亮 度 和 色 度 像

31、 素 并 不 存 在 于 參考 圖 像 中 ， 需 利 用 鄰 近 已 編 碼 點 進(jìn) 行 內(nèi) 插 而 得 。 圖中 ， 當(dāng) 前 幀 的 4 4塊 通 過 鄰 近 參 考 圖 像 相 應(yīng) 區(qū) 域 預(yù)測 。 如 果 MV的 垂 直 和 水 平 分 量 為 整 數(shù) ， 參 考 塊 相 應(yīng)像 素 實 際 存 在 （ 灰 色 點 ） 。 如 果 其 中 一 個 或 兩 個 為分 數(shù) ， 預(yù) 測 像 素 （ 灰 色 點 ） 通 過 參 考 幀 中 相 應(yīng) 像 素（ 白 色 點 ） 內(nèi) 插 獲 得 。 SLIDE 44 幀 間 預(yù) 測 圖 3 亮 度 半 像 素 位 置 內(nèi) 插 SLIDE 45 幀 間

32、預(yù) 測 內(nèi) 插 像 素 生 成 ： 生 成 參 考 圖 像 亮 度 成 分 半 像 素 像 素 。 半 像 素 點 （ 如b,h,m） 通 過 對 相 應(yīng) 整 像 素 點 進(jìn) 行 6抽 頭 濾 波 得 出 ， 權(quán) 重為 （ 1/32 ,-5/32 ,5/8, 5/8, -5/32, 1/32） 。 （ 6.1） 類 似 的 ， h由 A、 C、 G、 M、 R、 T濾 波 得 出 。 一 旦 鄰 近（ 垂 直 或 水 平 方 向 ） 半 素 點 的 所 有 像 素 都 計 算 出 ， 剩 余的 半 像 素 點 便 可 以 通 過 對 6個 垂 直 或 水 平 方 向 的 半 像 素點 濾 波

33、而 得 。 例 如 ， j由 cc, dd, h,m,ee,ff濾 波 得 出 。這 里 說 明 的 是 ， 6抽 頭 濾 器 比 較 復(fù) 雜 ， 但 可 明 顯 改 善 運(yùn)動 補(bǔ) 償 性 能 。 SLIDE 46 幀 間 預(yù) 測 圖 4 亮 度 1/4像 素 內(nèi) 插 半 像 素 點 計 算 出 來 以 后 ， 1/4像 素 點 就 可 通 過 線 性 內(nèi) 插 得 出 ， 如 圖 4所 示 。1/4像 素 點 （ 如 a, c, i, k, d, f, n, q） 由 鄰 近 像 素 內(nèi) 插 而 得 ， 如 剩 余 1/4像 素 點 （ p, r） 由 一 對 對 角 半 像 素 點 線 性

34、內(nèi) 插 得 出 。 如 ， e由 b和 h獲 得 。 SLIDE 47 幀 間 預(yù) 測 圖 5 色 度 1/8像 素 內(nèi) 插相 應(yīng) 地 ， 色 度 像 素 需 要 1/8精 度 的 MV，也 同 樣 通 過 整 像 素 地 線 性 內(nèi) 插 得 出 ， 如 圖 5所 示 。（ 6.3） SLIDE 48 幀 間 預(yù) 測 MV預(yù) 測 每 個 分 割 MV的 編 碼 需 要 相 當(dāng) 數(shù) 目 的 比 特 ， 特 別 是 使用 小 分 割 尺 寸 時 。 為 減 少 傳 輸 比 特 數(shù) ， 可 利 用 鄰 近分 割 的 MV較 強(qiáng) 的 相 關(guān) 性 ， MV可 由 鄰 近 已 編 碼 分 割 的MV預(yù) 測

35、 而 得 。 SLIDE 49 幀 間 預(yù) 測 B片 預(yù) 測 B片 中 的 幀 間 編 碼 宏 塊 的 每 個 子 塊 都 是 由 一 個 或 兩個 參 考 圖 像 預(yù) 測 而 得 。 該 參 考 圖 像 在 當(dāng) 前 圖 像 的 前面 或 者 后 面 。 參 考 圖 像 存 儲 于 編 解 碼 器 中 ， 其 選 擇有 多 種 方 式 。 圖 6顯 示 了 三 種 方 式 ： 一 個 前 向 和 一個 后 向 的 ； 兩 個 前 向 ； 兩 個 后 向 。 SLIDE 50 幀 間 預(yù) 測 圖 6 . 預(yù) 測 SLIDE 51 幀 間 預(yù) 測 參 考 圖 像 B片 用 到 了 兩 個 已 編

36、碼 圖 像 列 表 ： list0和 list1， SLIDE 52 幀 間 預(yù) 測 舉 例 ： 一 個 H.264解 碼 器 存 儲 了 6幅 短 期 參 考 圖 像 。其 POC分 別 為 ： 123， 125， 126， 128， 129和 130。當(dāng) 前 圖 像 為 127。 所 有 6幅 短 期 參 考 圖 像 在 list0和list1中 都 標(biāo) 為 “ 作 用 參 考 ” ， 如 表 所 示 。表 1 SLIDE 53 幀 間 預(yù) 測 預(yù) 測 模 式 選 擇 B片 的 預(yù) 測 方 式 包 括 ： 宏 塊 分 割 方 式 、 雙 向 選 擇 方式 、 參 考 列 表 選 擇 方 式

37、 等 等 。 具 體 說 ， B片 中 宏 塊分 割 可 由 多 種 預(yù) 測 方 式 中 的 一 種 實 現(xiàn) ， 如 直 接 模 式 、利 用 list0的 運(yùn) 動 補(bǔ) 償 模 式 、 利 用 list1的 運(yùn) 動 補(bǔ) 償模 式 或 者 利 用 list0和 list1的 雙 向 運(yùn) 動 補(bǔ) 償 模 式 。每 個 分 割 可 選 擇 各 自 的 不 同 的 預(yù) 測 模 式 （ 如 表 2所示 ） 。 如 果 8 8分 割 被 使 用 ， 每 個 8 8分 割 所 選 則的 模 式 適 用 于 分 割 中 的 所 有 亞 分 割 。 圖 7給 出 了 例子 ， 左 邊 的 兩 個 16 8分 割

38、 分 別 使 用 List0和 雙 向 預(yù)測 模 式 ， 而 右 邊 的 4個 8 8分 割 分 別 采 用 直 接 、list0、 list1和 雙 向 預(yù) 測 四 種 模 式 。 SLIDE 54 幀 間 預(yù) 測 表 2 B片 宏 塊 預(yù) 測 選 則分 割 選 擇16 16 直 接 、 list0、 list1、 雙 向16 8/8 16 list0、 list1、 雙 向 （ 每 個 分 割 獨 立 選 擇 ）8 8 直 接 、 list0、 list1、 雙 向 （ 每 個 分 割 獨 立 選 擇 ） 圖 7 B片 中 分 割 預(yù) 測 模 式 舉 例 SLIDE 55 幀 間 預(yù) 測

39、雙 向 預(yù) 測 從 list0和 list1分 別 得 出 兩 個 運(yùn) 動 補(bǔ) 償 參 考 區(qū) 域（ 需 要 兩 個 MV） ， 而 預(yù) 測 塊 的 像 素 取 list0和 list1相 應(yīng) 像 素 的 平 均 值 。 當(dāng) 不 用 加 權(quán) 預(yù) 測 時 ， 用 下 列 等 式 ： SLIDE 56 幀 間 預(yù) 測 舉 例 ： 一 宏 塊 用 B_Bi_16 16模 式 預(yù) 測 。 圖 和 圖 6.30分 別 給 出了 基 于 list0和 list1參 考 圖 像 的 運(yùn) 動 補(bǔ) 償 參 考 區(qū) 域 。圖 6.31給 出 了 根 據(jù) 者 兩 個 參 考 區(qū) 域 的 雙 向 預(yù) 測 。 圖 8

40、參 考 區(qū) 域 (list0) 圖 9 參 考 區(qū) 域 (list1) 圖 10 雙 向 預(yù) 測 （ 無 加 權(quán) ）圖 6.31 雙 向 預(yù) 測 （ 無 加 權(quán) ） SLIDE 57 幀 間 預(yù) 測 直 接 預(yù) 測 直 接 預(yù) 測 模 式 編 碼 的 B片 宏 塊 或 宏 塊 分 割 不 傳 送 MV。 SLIDE 58 幀 間 預(yù) 測 加 權(quán) 預(yù) 測 加 權(quán) 預(yù) 測 是 一 種 用 來 修 正 P或 B片 中 運(yùn) 動 補(bǔ) 償 預(yù) 測 像 素 方 法 。H.264中 有 3種 加 權(quán) 預(yù) 測 類 型 ： P片 宏 塊 “ explicit” 加 權(quán) 預(yù) 測 ； B片 宏 塊 “ explici

41、t” 加 權(quán) 預(yù) 測 ； B片 宏 塊 “ implicit” 加 權(quán) 預(yù) 測 ； 每 個 預(yù) 測 像 素 pred0(i,j)和 pred1(i,j)在 運(yùn) 動 補(bǔ) 償 之 前 通 過 加權(quán) 系 數(shù) 0和 1修 正 。 在 “ explicit” 類 型 中 ， 加 權(quán) 系 數(shù) 由 編 碼器 決 定 并 在 片 頭 中 傳 輸 。 在 “ implicit” 類 型 中 ， 系 數(shù) 0和 1由 相 應(yīng) list0和 list1參 考 圖 像 的 時 間 位 置 推 出 。 大 的 系 數(shù) 用 于 時 間 上 接 近 當(dāng) 前 圖 像 的 情 況 ， 小 的 則 用 于 時 間 上 遠(yuǎn) 離 當(dāng)

42、前 圖 像 的 情況 。 SLIDE 59 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結(jié) 構(gòu)幀 內(nèi) 預(yù) 測 幀 間 預(yù) 測 變 換 與 量 化 SLIDE 60 變 換 與 量 化 輸 入 44的 圖 像 或 殘 差 塊 X對 X塊 進(jìn) 行 44整 數(shù) 離 散 余 弦 變 換 ， 得 到 W塊 是 色 度 塊 或 幀 內(nèi) 1616預(yù) 測 模 式 的 亮度 塊 ？是對 W中 的 直 流 分 量 進(jìn) 行 Hadamard變 換 ， 得 到 YD塊對 W塊 進(jìn) 行 比 例 縮 放 及 量 化對 Y D塊 進(jìn) 行 比 例 縮 放 及 量 化 否 輸 出圖 1 編 碼 器

43、中 變 換 編 碼 及 量 化 過 程 SLIDE 61 變 換 與 量 化 圖 2 Scanning order of residual blocks within a macroblock SLIDE 62 變 換 與 量 化 H.264對 圖 像 或 預(yù) 測 殘 差 采 用 了 44整 數(shù) 離 散 余弦 變 換 DCT技 術(shù) H.264編 碼 器 中 DCT變 換 及 量 化 過 程 如 圖 所 示 。其 中 ， 如 果 輸 入 塊 是 色 度 塊 或 幀 內(nèi) 1616預(yù) 測 模式 的 亮 度 塊 ， 則 將 宏 塊 中 各 44塊 的 整 數(shù) 余 弦 變換 的 直 流 分 量 組 合

44、起 來 再 進(jìn) 行 Hadamard變 換 ，進(jìn) 一 步 壓 縮 碼 率 SLIDE 63 變 換 與 量 化 對 實 數(shù) 的 DCT， 由 于 在 解 碼 端 的 浮 點 運(yùn) 算 精 度 問 題 ， 會造 成 解 碼 后 的 數(shù) 據(jù) 的 失 配 ， 進(jìn) 而 引 起 漂 移 。 H.264較 其它 圖 像 編 碼 使 用 了 更 多 的 預(yù) 測 過 程 ， 甚 至 內(nèi) 部 編 碼 模 式也 依 賴 于 空 間 預(yù) 測 。 因 此 ， H.264對 預(yù) 測 漂 移 是 十 分 敏感 的 。 為 此 ， H.264對 44DCT 中 的 A進(jìn) 行 了 改 造 ， 采 用整 數(shù) DCT技 術(shù) ， 有

45、 效 地 減 少 計 算 量 ， 同 時 不 損 失 圖 像 準(zhǔn)確 度 SLIDE 64 變 換 與 量 化 H.264對 44的 圖 像 塊 （ 亮 度 塊 或 Cr、 Cb色 度 塊 ） 進(jìn) 行 操 作 ， 則 相 應(yīng) 的 4 4 DCT為 （ 變 換 矩 陣 A） ： 其 等 價 形 式 為 ： 其 中 ， d=c/b（ 0.414） 。符 號 “ ” 表 示 （ CXCT） 結(jié) 果 中 的 每 個 元 素 乘 以 矩 陣 E中對 應(yīng) 位 置 上 的 系 數(shù) 值 的 運(yùn) 算 。 為 了 簡 化 計 算 ， 取 d為 0.5。為 了 保 持 變 換 的 正 交 性 ， 對 b進(jìn) 行 修 正

46、 ， 取 52b SLIDE 65 變 換 與 量 化變 換 矩 陣 整 數(shù) 化 處 理H.264將 DCT融 合 到 后 面 的 量 化 過 程 中實 際 的 DCT輸 出 為 ：W CXC T SLIDE 66 變 換 與 量 化 逆 變 換 SLIDE 67 變 換 與 量 化表 H.264中 編 解 碼 器 的 量 化 步 長QP Qstep QP Qstep QP Qstep QP Qstep QP Qstep0 0.625 12 2.5 24 10 36 40 48 1601 0.6875 13 2.75 25 11 37 44 49 1762 0.8125 14 3.25 26

47、13 38 52 50 208 3 0.875 15 3.5 27 14 39 56 51 2244 1 16 4 28 16 40 645 1.125 17 4.5 29 18 41 726 1.25 18 5 30 20 42 807 1.375 19 5.5 31 22 43 888 1.625 20 6.5 32 26 44 1049 1.75 21 7 33 28 45 11210 2 22 8 34 32 46 128 11 2.25 23 9 35 36 47 144 1)QP是 量 化 參 數(shù) ，是 量 化 步 長 Qstep的序 號 ; 2)當(dāng) QP取 最 小 值 0時 ,代

48、 表 最 精 細(xì) 的 量 化 ，當(dāng) QP取 最 大 值 51時 ,代 表 最 粗 糙的 量 化 。3 ) Q P 每 增 加 6 ，Qstep增 加 一 倍 。 SLIDE 68 變 換 與 量 化 是 矩 陣 W中 的 轉(zhuǎn) 換 系 數(shù) ， 是 矩 陣 中 的 元 素 ， 利 用 量 化 步 長 隨 量 化 參 數(shù) 每 增 加 6而 增 加 一 倍 的 性 質(zhì) ， 可 以進(jìn) 一 步 簡 化 計 算 。 設(shè) qbits = 15 + floor(QP/6) ij ij PFZ round W Qstep ijW PF fE qbitsQstepPFMF 2 qbitsijij MFWroundZ

49、 2 SLIDE 69 變 換 與 量 化 MF可 以 取 整 數(shù) ， 量 化 表 只 列 出 對 應(yīng) QP值 為 0到 5的 MF值 。 對 于 QP值 大 于 5的 情 況 ， 只 是 qbits值 隨 QP值 每 增 加 6而增 加 1， 而 對 應(yīng) 的 MF值 不 變 。 量 化 過 程 則 為 整 數(shù) 運(yùn) 算 ， 并 且 可 以 避 免 使 用 除 法 ， 并 且確 保 用 16位 算 法 來 處 理 數(shù) 據(jù) ， 在 基 本 保 持 PSNR性 能 的 情況 下 ， 實 現(xiàn) 最 小 的 運(yùn) 算 復(fù) 雜 度 。 SLIDE 70 變 換 與 量 化 SLIDE 71 變 換 與 量 化

50、對 亮 度 塊 W D的 Hadamard變 換 為 ： 2/1111 1111 1111 11111111 1111 1111 1111 DD WYDCT直 流 系 數(shù) 的 變 換 量 化 000 101 402 503210 311 612 713820 921 132322 12113130 10 153332 141616的 圖 像 宏 塊 中 有 44個 44圖 像 亮 度 塊 ，所 以 亮 度 塊 的 WD為 44矩 陣 ， 其 組 成 元 素 為各 圖 像 塊 DCT的 直 流 系 數(shù) W00， 這 些 W00在 WD中 的 排 列 順 序 為 對 應(yīng) 圖 像 塊 在 宏 塊 的 位 置 。 SLIDE 72 變 換 與 量 化對 各 色 度 塊 W D的 Hadamard變 換 為 ： 11 1111 11 DD WY 000 101210 3111616的 圖 像 宏 塊 中 包 含 圖 像 色 度 Cr及 Cb塊 各 22個 ， 所 以 色 度 Cr或 Cb塊的 WD為 22矩 陣 ， 其 組 成 元 素 為 各 對應(yīng) 圖 像 塊 色 度 信 號 DCT的 直 流 系 數(shù) W00，這 些 W00在 WD中 的 排 列 順 序 為 對 應(yīng) 圖像 塊 在 宏 塊 的 位 置