H264視頻壓縮編碼標準

《H264視頻壓縮編碼標準》由會員分享，可在線閱讀，更多相關《H264視頻壓縮編碼標準（72頁珍藏版）》請在裝配圖網上搜索。

1、SLIDE 1 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結 構幀 內 預 測 幀 間 預 測變 換 與 量 化 SLIDE 2 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結 構幀 內 預 測 幀 間 預 測 變 換 與 量 化 SLIDE 3 H.264/AVC編 解 碼 器H.264編 解 碼 器 特 點 H.264并 不 明 確 地 規(guī) 定 一 個 編 解 碼 器 如 何 實 現(xiàn) ，而 是 規(guī) 定 了 一 個 編 碼 的 視 頻 比 特 流 的 句 法 ，和 該 比 特 流 的 解 碼 方 法 ， 各 個 廠 商 的 編 碼 器

2、和 解 碼 器 在 此 框 架 下 應 能 夠 互 通 ， 在 實 現(xiàn) 上具 有 較 大 靈 活 性 ， 而 且 有 利 于 相 互 競 爭 。 SLIDE 4 H.264/AVC編 解 碼 器H.264編 碼 器 編 碼 器 采 用 的 仍 是 變 換 和 預 測 的 混 合 編 碼 法 。 輸 入 的 幀 或 場 Fn以 宏 塊 為單 位 被 編 碼 器 處 理 。 首 先 ， 按 幀 內 或 幀 間 預 測 編 碼 的 方 法 進 行 處 理 。 如 果 采 用 幀 內 預 測 編 碼 ， 其 預 測 值 PRED（ 圖 中 用 P表 示 ） 是 由 當 前 片 中前 面 已 編 碼 的

3、 參 考 圖 像 經 運 動 補 償 （ MC） 后 得 出 ， 其 中 參 考 圖 像 用 Fn-1表 示 。 為 了 提 高 預 測 精 度 ， 從 而 提 高 壓 縮 比 ， 實 際 的 參 考 圖 像 可 在 過去 或 未 來 （ 指 顯 示 次 序 上 ） 已 編 碼 解 碼 重 建 和 濾 波 的 幀 中 進 行 選 擇 。 預 測 值 PRED和 當 前 塊 相 減 后 ， 產 生 一 個 殘 差 塊 Dn， 經 塊 變 換 、 量 化 后 產生 一 組 量 化 后 的 變 換 系 數(shù) X， 再 經 熵 編 碼 ， 與 解 碼 所 需 的 一 些 邊 信 息（ 如 預 測 模 式

4、 量 化 參 數(shù) 、 運 動 矢 量 等 ） 一 起 組 成 一 個 壓 縮 后 的 碼 流 。 正 如 上 述 ， 為 了 提 供 進 一 步 預 測 用 的 參 考 圖 像 ， 編 碼 器 必 須 有 重 建 圖 像的 功 能 。 因 此 必 須 使 殘 差 圖 像 經 反 量 化 、 反 變 換 后 得 到 的 Dn與 預 測 值 P相 加 ， 得 到 uFn（ 未 經 濾 波 的 幀 ） 。 為 了 去 除 編 碼 解 碼 環(huán) 路 中 產 生 的 噪 聲 ， 為 了 提 高 參 考 幀 的 圖 像 質 量 ， 從 而 提 高 壓 縮 圖 像 性 能 ， 設 置 了 一 個環(huán) 路 濾 波

5、 器 ， 濾 波 后 的 輸 出 Fn即 重 建 圖 像 可 用 作 參 考 圖 像 。 SLIDE 5 H.264/AVC編 解 碼 器H.264解 碼 器 由 圖 1可 知 ， 由 編 碼 器 的 NAL輸 出 一 個 壓 縮 后 的H.264壓 縮 比 特 流 。 由 圖 2， 經 熵 解 碼 得 到 量 化 后 的一 組 變 換 系 數(shù) X， 再 經 反 量 化 、 反 變 換 ， 得 到 殘 差Dn 。 利 用 從 該 比 特 流 中 解 碼 出 的 頭 信 息 ， 解 碼 器就 產 生 一 個 預 測 塊 PRED， 它 和 編 碼 器 中 的 原 始 PRED是 相 同 的 。

6、當 該 解 碼 器 產 生 的 PRED與 殘 差 Dn 相 加后 ， 就 產 生 uFu ， 再 經 濾 波 后 ， 最 后 就 得 到 濾 波后 的 Fn ， 這 個 Fn 就 是 最 后 的 解 碼 輸 出 圖 像 。 SLIDE 6 H.264/AVC編 解 碼 器 圖 1 H.264編 碼 器 SLIDE 7 H.264/AVC編 解 碼 器 圖 2 H.264解 碼 器 SLIDE 8 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結 構幀 內 預 測 幀 間 預 測 變 換 與 量 化 SLIDE 9 H.264/AVC的 結 構名 詞 解 釋 場 和

7、幀 視 頻 的 一 場 或 一 幀 可 用 來 產 生 一 個 編 碼 圖 像 。 在 電視 中 ， 為 減 少 大 面 積 閃 爍 現(xiàn) 象 ， 把 一 幀 分 成 兩 個 隔行 的 場 。 SLIDE 10 H.264/AVC的 結 構名 詞 解 釋 宏 塊 、 片 : 一 個 編 碼 圖 像 通 常 劃 分 成 若 干 宏 塊 組 成 ， 一 個宏 塊 由 一 個 16 16亮 度 像 素 和 附 加 的 一 個 8 8 Cb和 一 個8 8 Cr彩 色 像 素 塊 組 成 。 每 個 圖 象 中 ， 若 干 宏 塊 被 排 列 成片 的 形 式 。 I片 只 包 含 I宏 塊 ， P片

8、可 包 含 P和 I宏 塊 ， 而 B片 可 包 含 B和 I宏塊 。 I宏 塊 利 用 從 當 前 片 中 已 解 碼 的 像 素 作 為 參 考 進 行 幀 內 預 測 。 P宏 塊 利 用 前 面 已 編 碼 圖 象 作 為 參 考 圖 象 進 行 幀 內 預 測 ， 一 個 幀 內 編 碼 的 宏 塊 可 進 一 步 作 宏 塊 的 分 割 ： 即 16 16、16 8、 8 16或 8 8亮 度 像 素 塊 （ 以 及 附 帶 的 彩 色 像 素 ） ；如 果 選 了 8 8的 子 宏 塊 ， 則 可 再 分 成 各 種 子 宏 塊 的 分 割 ， 其尺 寸 為 8 8、 8 4、

9、4 8或 4 4亮 度 像 素 塊 （ 以 及 附 帶 的 彩 色 像 素 ） 。 B宏 塊 則 利 用 雙 向 的 參 考 圖 象 （ 當 前 和 未 來 的 已 編 碼 圖 象 幀 ）進 行 幀 內 預 測 。 。 SLIDE 11 H.264/AVC的 結 構檔 次 和 級 H.264規(guī) 定 了 三 種 檔 次 ， 每 個 檔 次 支 持 一 組 特 定 的 編 碼 功 能 ，并 支 持 一 類 特 定 的 應 用 。 1） 基 本 檔 次 ： 利 用 I片 和 P片 支 持 幀 內 和 幀 間 編 碼 ， 支 持 利用 基 于 上 下 文 的 自 適 應 的 變 長 編 碼 進 行 的

10、 熵 編 碼 （ CAVLC） 。主 要 用 于 可 視 電 話 、 會 議 電 視 、 無 線 通 信 等 實 時 視 頻 通 信 ； 2） 主 要 檔 次 ： 支 持 隔 行 視 頻 ， 采 用 B片 的 幀 間 編 碼 和 采 用 加權 預 測 的 幀 內 編 碼 ； 支 持 利 用 基 于 上 下 文 的 自 適 應 的 算 術 編碼 （ CABAC） 。 主 要 用 于 數(shù) 字 廣 播 電 視 與 數(shù) 字 視 頻 存 儲 ； 3） 擴 展 檔 次 ： 支 持 碼 流 之 間 有 效 的 切 換 （ SP和 SI片 ） 、 改進 誤 碼 性 能 （ 數(shù) 據 分 割 ） ， 但 不 支

11、持 隔 行 視 頻 和 CABAC。 主要 用 于 網 絡 的 視 頻 流 ， 如 視 頻 點 播 圖 3為 H.264各 個 檔 次 具 有 的 不 同 功 能 ， 可 見 擴 展 檔 次 包 括 了 基 本 檔 次 的 所 有 功 能 ， 而 不 能 包 括 主 要 檔 次 的 。 每 一 檔 次 設置 不 同 參 數(shù) （ 如 取 樣 速 率 、 圖 像 尺 寸 、 編 碼 比 特 率 等 ） ， 得到 編 解 碼 器 性 能 不 同 的 級 。 SLIDE 12 H.264/AVC的 結 構 圖 3 H.264檔 次 SLIDE 13 H.264/AVC的 結 構編 碼 數(shù) 據 格 式

12、H.264支 持 4:2:0的 逐 行 或 隔 行 視 頻 的 編 碼 和 解 碼 。 SLIDE 14 H.264/AVC的 結 構參 考 圖 像 可 從 一 組 前 面 或 后 面 已 編 碼 圖 像 中 選 出 一 個 或 兩 個與 當 前 最 匹 配 的 圖 像 作 為 幀 間 編 碼 間 的 參 數(shù) 圖 像 ， H.264中 最 多 可 從 15個 參 考 圖 像 中 進 行 選 擇 ， 選 出最 佳 的 匹 配 圖 像 。 對 于 P片 中 幀 間 編 碼 宏 塊 可 從 表 “ 0” 中 選 擇 參 數(shù) 圖像 ； 對 于 B片 中 的 幀 間 編 碼 宏 塊 和 宏 塊 分 割

13、的 預 測 ，可 從 表 “ 0” 和 “ 1” 中 選 擇 參 考 圖 像 。 SLIDE 15 H.264/AVC的 結 構 片 和 片 組 片 一 個 視 頻 圖 像 可 編 碼 成 一 個 或 更 多 個 片 ， 每 片 包 含整 數(shù) 個 宏 塊 （ MB） ， 即 每 片 至 少 一 個 MB， 最 多 時 每片 包 含 整 個 圖 像 的 宏 塊 。 設 片 的 目 的 是 為 了 限 制 誤 碼 的 擴 散 和 傳 輸 ， 使 編 碼片 相 互 間 是 獨 立 的 。 某 片 的 預 測 不 能 以 其 它 片 中 的宏 塊 為 參 考 圖 像 ， 這 樣 某 一 片 中 的 預

14、 測 誤 差 才 不 會傳 播 到 其 它 片 中 去 。 編 碼 片 共 有 5種 不 同 類 型 ， I片 、 P片 、 B片 外 ， 還有 SP片 和 SI片 。 其 中 SP（ 切 換 P） 是 用 于 不 同 編 碼流 之 間 的 切 換 。 SLIDE 16 H.264/AVC的 結 構 圖 4 片 的 句 法 結 構 SLIDE 17 H.264/AVC的 結 構 片 和 片 組 片 組 片 組 是 一 個 編 碼 圖 象 中 若 干 MB的 一 個 子 集 ， 它 可 包含 一 個 或 若 干 個 片 。 在 一 個 片 組 中 ， 每 片 的 MB按 光 柵 掃 描 次 序

15、被 編 碼 ，如 果 每 幅 圖 象 僅 取 一 個 片 組 ， 則 該 圖 象 中 所 有 的 MB均 按 光 柵 掃 描 次 序 被 編 碼 。 還 有 一 種 片 組 ， 叫 靈 活 宏 塊 次 序 （ FMO） ， 它 可 用 靈活 的 方 法 ， 把 編 碼 MB序 列 映 射 到 解 碼 圖 象 中 MB的 分配 用 MB到 片 組 之 間 的 映 射 來 確 定 ， 它 表 示 每 一 個 MB屬 于 哪 個 片 組 。 表 1 為 MB到 片 組 的 各 種 映 射 類 型 。 SLIDE 18 H.264/AVC的 結 構 表 1 MB到 片 組 的 映 射類 型 名 稱 描

16、 述0 交 錯 MB游 程 被 依 次 分 配 給 每 一 塊 組 （ 圖 8）1 散 亂 每 一 片 組 中 的 MB被 分 散 在 整 個 圖 象 中 （ 圖 9）2 前 景 和 背 景 例 見 圖 103 Box out 從 幀 的 中 心 開 始 ， 產 生 一 個 箱 子 ， 其 MB屬 于 片 組0， 其 它 MB屬 于 片 組 （ 圖 11）4 光 柵 掃 描 片 組 0包 含 按 光 柵 掃 描 次 序 從 頂 左 的 所 有 MB， 其 余 MB屬 片 組 1（ 圖 11）5 手 絹 片 組 0包 含 從 頂 左 垂 直 掃 描 次 序 的 MB， 其 余 MB屬 片 組 1

17、（ 圖 11）6 顯 式 每 一 Mbslice_group_id,用 于 指 明 它 的 片 組 （ 即 MB映 射 完 全 是 用 戶 定 義 的 ） SLIDE 19 H.264/AVC的 結 構 圖 5 交 錯 型 片 組 圖 6 散 亂 型 片 組 圖 7 前 景 和 背 景 型 片 組 SLIDE 20 H.264/AVC的 結 構 圖 8 片 組 SLIDE 21 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結 構幀 內 預 測 幀 間 預 測變 換 與 量 化 SLIDE 22 幀 內 預 測 在 幀 內 預 測 模 式 中 ， 預 測 塊 P是 基

18、 于 已 編 碼 重 建 塊和 當 前 塊 形 成 的 。 對 亮 度 像 素 而 言 ， P塊 用 于 4 4子 塊 或 者 16 16宏 塊 的 相 關 操 作 。 4 4亮 度 子 塊 有9種 可 選 預 測 模 式 ， 獨 立 預 測 每 一 個 4 4亮 度 子 塊 ，適 用 于 帶 有 大 量 細 節(jié) 的 圖 像 編 碼 ； 16 16亮 度 塊 有4種 預 測 模 式 ， 預 測 整 個 16 16亮 度 塊 ， 適 用 于 平坦 區(qū) 域 圖 像 編 碼 ； 色 度 塊 也 有 4種 預 測 模 式 ， 類 似于 16 16亮 度 塊 預 測 模 式 。 編 碼 器 通 常 選

19、擇 使 P塊和 編 碼 塊 之 間 差 異 最 小 的 預 測 模 式 。 SLIDE 23 幀 內 預 測 4 4亮 度 預 測 模 式 如 圖 6.14所 示 ， 4 4亮 度 塊 的 上 方 和 左 方 像 素 A M為 已 編 碼 和 重 構 像 素 ， 用 作 編 解 碼 器 中 的 預 測 參 考像 素 。 a p為 待 預 測 像 素 ， 利 用 A M值 和 9種 模 式實 現(xiàn) 。 其 中 模 式 2(DC預 測 )根 據 A M中 已 編 碼 像 素預 測 ， 而 其 余 模 式 只 有 在 所 需 預 測 像 素 全 部 提 供 才能 使 用 。 圖 6.15箭 頭 表 明

20、 了 每 種 模 式 預 測 方 向 。 對模 式 3 8， 預 測 像 素 由 A M加 權 平 均 而 得 。 例 如 ，模 式 4中 ， d=round(B/4+C/2+D/4)。 SLIDE 24 幀 內 預 測 圖 1 SLIDE 25 幀 內 預 測 a) b)圖 2 a)利 用 像 素 A-M對 方 塊 中 a-p像 素 進 行 幀 內 4 4預 測b)幀 內 4 4 預 測 的 8個 預 測 方 向 SLIDE 26 幀 內 預 測 圖 3 4 4亮 度 塊 預 測 模 式 SLIDE 27 幀 內 預 測Example: 4x4 塊 ,9種 預 測 模 式 (0-8)對 于

21、當 前 塊 的 最 佳 模 式 是 ： 模 式 7 (vertical-right) SLIDE 28 幀 內 預 測 圖 4 SLIDE 29 幀 內 預 測 16 16亮 度 預 測 模 式 宏 塊 的 全 部 16 16亮 度 成 分 可 以 整 體 預 測 ， 有 4種預 測 模 式 ， 如 表 2和 圖 5所 示 。 圖 5 16 16預 測 模 式 SLIDE 30 幀 內 預 測 表 2 16 16預 測 模 式模 式 描 述模 式 0（ 垂 直 ） 由 上 邊 像 素 推 出 相 應 像 素 值模 式 1（ 水 平 ） 由 左 邊 像 素 推 出 相 應 像 素 值 模 式 2

22、（ DC） 由 上 邊 和 左 邊 像 素 平 均 值 推 出 相 應 像 素 值模 式 3（ 平 面 ） 利 用 線 形 “ plane”函 數(shù) 及 左 、 上 像 素 推 出 相 應 像 素 值 ， 適 用 于 亮度 變 化 平 緩 區(qū) 域 SLIDE 31 幀 內 預 測 圖 6 16 16 宏 塊 圖 7 幀 內 16 16 預 測 塊 舉 例 ： 圖 6給 出 了 一 個 左 上 方 像 素已 編 碼 的 亮 度 宏 塊 。 圖 7 給 出 了 4種 預 測 模 式 預 測 結 果 。 其 中 模 式 3最匹 配 原 始 宏 塊 。 幀 內 16 16模 式 適 用于 圖 像 平 坦

23、 區(qū) 域 預 測 。 SLIDE 32 幀 內 預 測 8 8色 度 塊 預 測 模 式 每 個 幀 內 編 碼 宏 塊 的 8 8色 度 成 分 由 已 編 碼 左 上 方 色度 像 素 預 測 而 得 ， 兩 種 色 度 成 分 常 用 同 一 種 預 測 模 式 。 4種 預 測 模 式 類 似 于 幀 內 16 16預 測 的 4種 預 測 模 式 ，只 是 模 式 編 號 不 同 。 其 中 DC（ 模 式 0） 、 水 平 （ 模 式1） 、 垂 直 （ 模 式 2） 、 平 面 （ 模 式 3） 。 SLIDE 33 幀 內 預 測 幀 內 預 測 模 式 幀 內 預 測 模 式

24、 編 碼 例 如 ： 如 果 A塊 和 B塊 的 最 優(yōu) 預 測 模 式 均 是 預 測模 式 2， 那 么 ， 最 可 能 當 前 塊 C的 最 優(yōu) 預 測 模 式是 模 式 2 圖 8 幀 內 預 測 模 式 編 碼 SLIDE 34 幀 內 預 測對 于 當 前 塊 C, 編 解 碼 器 按 照 如 下 方 法 計 算probable prediction mode minprediction mode of A, prediction modes of B當 A (或 者 B） 的 預 測 模 式 不 可 用 時 ， prediction mode of A 2.例 如 A 和 B塊

25、的 預 測 模 式 分 別 為 3 和 1 most probable mode for block C =1 SLIDE 35 幀 內 預 測編 碼 器 為 每 個 4x4 塊 發(fā) 送 一 個 標 記 flag,解 碼 器 按 照 如 下 方 式 解 碼If flag=1, prediction mode=most_probable_modeIf flag=0 If rem_intra4 4_pred_mode most_probable_mode prediction mode=rem_intra4 4_pred_mode else prediction mode=rem_intra4 4

26、_pred_mode+1 這 樣 表 示 9中 預 測 模 式 只 需 要 8個 值 (0 to 7) SLIDE 36 幀 內 預 測 SLIDE 37 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結 構幀 內 預 測 幀 間 預 測 變 換 與 量 化 SLIDE 38 幀 間 預 測 樹 狀 結 構 運 動 補 償 每 個 宏 塊 （ 16 16像 素 ） 可 以 4種 方 式 分 割 ： 一 個16 16， 兩 個 16 8， 兩 個 8 16， 四 個 8 8。 其 運動 補 償 也 相 應 有 四 種 。 而 8 8分 割 還 可 以 有 四 種 方式

27、的 分 割 ： 一 個 8 8， 兩 個 4 8或 兩 個 8 4及 4個4 4。 這 種 分 割 下 的 運 動 補 償 則 稱 為 樹 狀 結 構 運 動補 償 。 SLIDE 39 幀 間 預 測 圖 1 宏 塊 分 割 SLIDE 40 幀 間 預 測 樹 狀 結 構 運 動 補 償 每 個 分 割 或 子 宏 塊 都 有 一 個 獨 立 的 運 動 補 償 。 每 個MV必 須 被 編 碼 、 傳 輸 ， 分 割 的 選 擇 也 需 編 碼 到 壓 縮比 特 流 中 。 對 大 的 分 割 尺 寸 而 言 ， MV選 擇 和 分 割 類型 只 需 少 量 的 比 特 ， 但 運 動

28、補 償 殘 差 在 多 細 節(jié) 區(qū) 域能 量 將 非 常 高 。 小 尺 寸 分 割 運 動 補 償 殘 差 能 量 低 ，但 需 要 較 多 的 比 特 表 征 MV和 分 割 選 擇 。 分 割 尺 寸 的選 擇 影 響 了 壓 縮 性 能 。 整 體 而 言 ， 大 的 分 割 尺 寸 適合 平 坦 區(qū) 域 ， 而 小 尺 寸 適 合 多 細 節(jié) 區(qū) 域 。 SLIDE 41 幀 間 預 測 宏 塊 的 色 度 成 分 （ Cr和 Cb） 則 為 相 應 亮 度 的 一 半（ 水 平 和 垂 直 各 一 半 ） 。 色 度 塊 采 用 和 亮 度 塊 同 樣的 分 割 模 式 ， 只 是

29、 尺 寸 減 半 （ 水 平 和 垂 直 方 向 都 減半 ） 。 例 如 ， 8 16的 亮 度 塊 相 應 色 度 塊 尺 寸 為4 8， 8 4亮 度 塊 相 應 色 度 塊 尺 寸 為 4 2等 等 。 色度 塊 的 MV也 是 通 過 相 應 亮 度 MV水 平 和 垂 直 分 量 減 半而 得 。 舉 例 ： 如 圖 ： 一 個 殘 差 幀 （ 沒 有 進 行 運 動 補 償 ） 。H.264編 碼 器 為 幀 的 每 個 部 分 選 擇 了 最 佳 分 割 尺 寸 ，使 傳 輸 信 息 量 最 小 ， 并 將 選 擇 的 分 割 加 到 殘 差 幀 上 。在 幀 變 化 小 的

30、區(qū) 域 （ 殘 差 顯 示 灰 色 ） ， 選 擇 16 16分 割 ； 多 運 動 區(qū) 域 （ 殘 差 顯 示 黑 色 或 白 色 ） ， 選 擇更 有 效 的 小 的 尺 寸 。 SLIDE 42 幀 間 預 測 圖 2 殘 差 幀 SLIDE 43 幀 間 預 測 運 動 矢 量 幀 間 編 碼 宏 塊 的 每 個 分 割 或 者 子 宏 塊 都 是 從 參 考 圖像 某 一 相 同 尺 寸 區(qū) 域 預 測 而 得 。 兩 者 之 間 的 差 異（ MV） 對 亮 度 成 分 采 用 1/4像 素 精 度 ， 色 度 1/8像 素精 度 。 亞 像 素 位 置 的 亮 度 和 色 度 像

31、 素 并 不 存 在 于 參考 圖 像 中 ， 需 利 用 鄰 近 已 編 碼 點 進 行 內 插 而 得 。 圖中 ， 當 前 幀 的 4 4塊 通 過 鄰 近 參 考 圖 像 相 應 區(qū) 域 預測 。 如 果 MV的 垂 直 和 水 平 分 量 為 整 數(shù) ， 參 考 塊 相 應像 素 實 際 存 在 （ 灰 色 點 ） 。 如 果 其 中 一 個 或 兩 個 為分 數(shù) ， 預 測 像 素 （ 灰 色 點 ） 通 過 參 考 幀 中 相 應 像 素（ 白 色 點 ） 內 插 獲 得 。 SLIDE 44 幀 間 預 測 圖 3 亮 度 半 像 素 位 置 內 插 SLIDE 45 幀 間

32、預 測 內 插 像 素 生 成 ： 生 成 參 考 圖 像 亮 度 成 分 半 像 素 像 素 。 半 像 素 點 （ 如b,h,m） 通 過 對 相 應 整 像 素 點 進 行 6抽 頭 濾 波 得 出 ， 權 重為 （ 1/32 ,-5/32 ,5/8, 5/8, -5/32, 1/32） 。 （ 6.1） 類 似 的 ， h由 A、 C、 G、 M、 R、 T濾 波 得 出 。 一 旦 鄰 近（ 垂 直 或 水 平 方 向 ） 半 素 點 的 所 有 像 素 都 計 算 出 ， 剩 余的 半 像 素 點 便 可 以 通 過 對 6個 垂 直 或 水 平 方 向 的 半 像 素點 濾 波

33、而 得 。 例 如 ， j由 cc, dd, h,m,ee,ff濾 波 得 出 。這 里 說 明 的 是 ， 6抽 頭 濾 器 比 較 復 雜 ， 但 可 明 顯 改 善 運動 補 償 性 能 。 SLIDE 46 幀 間 預 測 圖 4 亮 度 1/4像 素 內 插 半 像 素 點 計 算 出 來 以 后 ， 1/4像 素 點 就 可 通 過 線 性 內 插 得 出 ， 如 圖 4所 示 。1/4像 素 點 （ 如 a, c, i, k, d, f, n, q） 由 鄰 近 像 素 內 插 而 得 ， 如 剩 余 1/4像 素 點 （ p, r） 由 一 對 對 角 半 像 素 點 線 性

34、內 插 得 出 。 如 ， e由 b和 h獲 得 。 SLIDE 47 幀 間 預 測 圖 5 色 度 1/8像 素 內 插相 應 地 ， 色 度 像 素 需 要 1/8精 度 的 MV，也 同 樣 通 過 整 像 素 地 線 性 內 插 得 出 ， 如 圖 5所 示 。（ 6.3） SLIDE 48 幀 間 預 測 MV預 測 每 個 分 割 MV的 編 碼 需 要 相 當 數(shù) 目 的 比 特 ， 特 別 是 使用 小 分 割 尺 寸 時 。 為 減 少 傳 輸 比 特 數(shù) ， 可 利 用 鄰 近分 割 的 MV較 強 的 相 關 性 ， MV可 由 鄰 近 已 編 碼 分 割 的MV預 測

35、 而 得 。 SLIDE 49 幀 間 預 測 B片 預 測 B片 中 的 幀 間 編 碼 宏 塊 的 每 個 子 塊 都 是 由 一 個 或 兩個 參 考 圖 像 預 測 而 得 。 該 參 考 圖 像 在 當 前 圖 像 的 前面 或 者 后 面 。 參 考 圖 像 存 儲 于 編 解 碼 器 中 ， 其 選 擇有 多 種 方 式 。 圖 6顯 示 了 三 種 方 式 ： 一 個 前 向 和 一個 后 向 的 ； 兩 個 前 向 ； 兩 個 后 向 。 SLIDE 50 幀 間 預 測 圖 6 . 預 測 SLIDE 51 幀 間 預 測 參 考 圖 像 B片 用 到 了 兩 個 已 編

36、碼 圖 像 列 表 ： list0和 list1， SLIDE 52 幀 間 預 測 舉 例 ： 一 個 H.264解 碼 器 存 儲 了 6幅 短 期 參 考 圖 像 。其 POC分 別 為 ： 123， 125， 126， 128， 129和 130。當 前 圖 像 為 127。 所 有 6幅 短 期 參 考 圖 像 在 list0和list1中 都 標 為 “ 作 用 參 考 ” ， 如 表 所 示 。表 1 SLIDE 53 幀 間 預 測 預 測 模 式 選 擇 B片 的 預 測 方 式 包 括 ： 宏 塊 分 割 方 式 、 雙 向 選 擇 方式 、 參 考 列 表 選 擇 方 式

37、 等 等 。 具 體 說 ， B片 中 宏 塊分 割 可 由 多 種 預 測 方 式 中 的 一 種 實 現(xiàn) ， 如 直 接 模 式 、利 用 list0的 運 動 補 償 模 式 、 利 用 list1的 運 動 補 償模 式 或 者 利 用 list0和 list1的 雙 向 運 動 補 償 模 式 。每 個 分 割 可 選 擇 各 自 的 不 同 的 預 測 模 式 （ 如 表 2所示 ） 。 如 果 8 8分 割 被 使 用 ， 每 個 8 8分 割 所 選 則的 模 式 適 用 于 分 割 中 的 所 有 亞 分 割 。 圖 7給 出 了 例子 ， 左 邊 的 兩 個 16 8分 割

38、 分 別 使 用 List0和 雙 向 預測 模 式 ， 而 右 邊 的 4個 8 8分 割 分 別 采 用 直 接 、list0、 list1和 雙 向 預 測 四 種 模 式 。 SLIDE 54 幀 間 預 測 表 2 B片 宏 塊 預 測 選 則分 割 選 擇16 16 直 接 、 list0、 list1、 雙 向16 8/8 16 list0、 list1、 雙 向 （ 每 個 分 割 獨 立 選 擇 ）8 8 直 接 、 list0、 list1、 雙 向 （ 每 個 分 割 獨 立 選 擇 ） 圖 7 B片 中 分 割 預 測 模 式 舉 例 SLIDE 55 幀 間 預 測

39、雙 向 預 測 從 list0和 list1分 別 得 出 兩 個 運 動 補 償 參 考 區(qū) 域（ 需 要 兩 個 MV） ， 而 預 測 塊 的 像 素 取 list0和 list1相 應 像 素 的 平 均 值 。 當 不 用 加 權 預 測 時 ， 用 下 列 等 式 ： SLIDE 56 幀 間 預 測 舉 例 ： 一 宏 塊 用 B_Bi_16 16模 式 預 測 。 圖 和 圖 6.30分 別 給 出了 基 于 list0和 list1參 考 圖 像 的 運 動 補 償 參 考 區(qū) 域 。圖 6.31給 出 了 根 據 者 兩 個 參 考 區(qū) 域 的 雙 向 預 測 。 圖 8

40、參 考 區(qū) 域 (list0) 圖 9 參 考 區(qū) 域 (list1) 圖 10 雙 向 預 測 （ 無 加 權 ）圖 6.31 雙 向 預 測 （ 無 加 權 ） SLIDE 57 幀 間 預 測 直 接 預 測 直 接 預 測 模 式 編 碼 的 B片 宏 塊 或 宏 塊 分 割 不 傳 送 MV。 SLIDE 58 幀 間 預 測 加 權 預 測 加 權 預 測 是 一 種 用 來 修 正 P或 B片 中 運 動 補 償 預 測 像 素 方 法 。H.264中 有 3種 加 權 預 測 類 型 ： P片 宏 塊 “ explicit” 加 權 預 測 ； B片 宏 塊 “ explici

41、t” 加 權 預 測 ； B片 宏 塊 “ implicit” 加 權 預 測 ； 每 個 預 測 像 素 pred0(i,j)和 pred1(i,j)在 運 動 補 償 之 前 通 過 加權 系 數(shù) 0和 1修 正 。 在 “ explicit” 類 型 中 ， 加 權 系 數(shù) 由 編 碼器 決 定 并 在 片 頭 中 傳 輸 。 在 “ implicit” 類 型 中 ， 系 數(shù) 0和 1由 相 應 list0和 list1參 考 圖 像 的 時 間 位 置 推 出 。 大 的 系 數(shù) 用 于 時 間 上 接 近 當 前 圖 像 的 情 況 ， 小 的 則 用 于 時 間 上 遠 離 當

42、前 圖 像 的 情況 。 SLIDE 59 H.264/AVCH.264/AVC編 解 碼 器H.264/AVC的 結 構幀 內 預 測 幀 間 預 測 變 換 與 量 化 SLIDE 60 變 換 與 量 化 輸 入 44的 圖 像 或 殘 差 塊 X對 X塊 進 行 44整 數(shù) 離 散 余 弦 變 換 ， 得 到 W塊 是 色 度 塊 或 幀 內 1616預 測 模 式 的 亮度 塊 ？是對 W中 的 直 流 分 量 進 行 Hadamard變 換 ， 得 到 YD塊對 W塊 進 行 比 例 縮 放 及 量 化對 Y D塊 進 行 比 例 縮 放 及 量 化 否 輸 出圖 1 編 碼 器

43、中 變 換 編 碼 及 量 化 過 程 SLIDE 61 變 換 與 量 化 圖 2 Scanning order of residual blocks within a macroblock SLIDE 62 變 換 與 量 化 H.264對 圖 像 或 預 測 殘 差 采 用 了 44整 數(shù) 離 散 余弦 變 換 DCT技 術 H.264編 碼 器 中 DCT變 換 及 量 化 過 程 如 圖 所 示 。其 中 ， 如 果 輸 入 塊 是 色 度 塊 或 幀 內 1616預 測 模式 的 亮 度 塊 ， 則 將 宏 塊 中 各 44塊 的 整 數(shù) 余 弦 變換 的 直 流 分 量 組 合

44、起 來 再 進 行 Hadamard變 換 ，進 一 步 壓 縮 碼 率 SLIDE 63 變 換 與 量 化 對 實 數(shù) 的 DCT， 由 于 在 解 碼 端 的 浮 點 運 算 精 度 問 題 ， 會造 成 解 碼 后 的 數(shù) 據 的 失 配 ， 進 而 引 起 漂 移 。 H.264較 其它 圖 像 編 碼 使 用 了 更 多 的 預 測 過 程 ， 甚 至 內 部 編 碼 模 式也 依 賴 于 空 間 預 測 。 因 此 ， H.264對 預 測 漂 移 是 十 分 敏感 的 。 為 此 ， H.264對 44DCT 中 的 A進 行 了 改 造 ， 采 用整 數(shù) DCT技 術 ， 有

45、 效 地 減 少 計 算 量 ， 同 時 不 損 失 圖 像 準確 度 SLIDE 64 變 換 與 量 化 H.264對 44的 圖 像 塊 （ 亮 度 塊 或 Cr、 Cb色 度 塊 ） 進 行 操 作 ， 則 相 應 的 4 4 DCT為 （ 變 換 矩 陣 A） ： 其 等 價 形 式 為 ： 其 中 ， d=c/b（ 0.414） 。符 號 “ ” 表 示 （ CXCT） 結 果 中 的 每 個 元 素 乘 以 矩 陣 E中對 應 位 置 上 的 系 數(shù) 值 的 運 算 。 為 了 簡 化 計 算 ， 取 d為 0.5。為 了 保 持 變 換 的 正 交 性 ， 對 b進 行 修 正

46、 ， 取 52b SLIDE 65 變 換 與 量 化變 換 矩 陣 整 數(shù) 化 處 理H.264將 DCT融 合 到 后 面 的 量 化 過 程 中實 際 的 DCT輸 出 為 ：W CXC T SLIDE 66 變 換 與 量 化 逆 變 換 SLIDE 67 變 換 與 量 化表 H.264中 編 解 碼 器 的 量 化 步 長QP Qstep QP Qstep QP Qstep QP Qstep QP Qstep0 0.625 12 2.5 24 10 36 40 48 1601 0.6875 13 2.75 25 11 37 44 49 1762 0.8125 14 3.25 26

47、13 38 52 50 208 3 0.875 15 3.5 27 14 39 56 51 2244 1 16 4 28 16 40 645 1.125 17 4.5 29 18 41 726 1.25 18 5 30 20 42 807 1.375 19 5.5 31 22 43 888 1.625 20 6.5 32 26 44 1049 1.75 21 7 33 28 45 11210 2 22 8 34 32 46 128 11 2.25 23 9 35 36 47 144 1)QP是 量 化 參 數(shù) ，是 量 化 步 長 Qstep的序 號 ; 2)當 QP取 最 小 值 0時 ,代

48、 表 最 精 細 的 量 化 ，當 QP取 最 大 值 51時 ,代 表 最 粗 糙的 量 化 。3 ) Q P 每 增 加 6 ，Qstep增 加 一 倍 。 SLIDE 68 變 換 與 量 化 是 矩 陣 W中 的 轉 換 系 數(shù) ， 是 矩 陣 中 的 元 素 ， 利 用 量 化 步 長 隨 量 化 參 數(shù) 每 增 加 6而 增 加 一 倍 的 性 質 ， 可 以進 一 步 簡 化 計 算 。 設 qbits = 15 + floor(QP/6) ij ij PFZ round W Qstep ijW PF fE qbitsQstepPFMF 2 qbitsijij MFWroundZ

49、 2 SLIDE 69 變 換 與 量 化 MF可 以 取 整 數(shù) ， 量 化 表 只 列 出 對 應 QP值 為 0到 5的 MF值 。 對 于 QP值 大 于 5的 情 況 ， 只 是 qbits值 隨 QP值 每 增 加 6而增 加 1， 而 對 應 的 MF值 不 變 。 量 化 過 程 則 為 整 數(shù) 運 算 ， 并 且 可 以 避 免 使 用 除 法 ， 并 且確 保 用 16位 算 法 來 處 理 數(shù) 據 ， 在 基 本 保 持 PSNR性 能 的 情況 下 ， 實 現(xiàn) 最 小 的 運 算 復 雜 度 。 SLIDE 70 變 換 與 量 化 SLIDE 71 變 換 與 量 化

50、對 亮 度 塊 W D的 Hadamard變 換 為 ： 2/1111 1111 1111 11111111 1111 1111 1111 DD WYDCT直 流 系 數(shù) 的 變 換 量 化 000 101 402 503210 311 612 713820 921 132322 12113130 10 153332 141616的 圖 像 宏 塊 中 有 44個 44圖 像 亮 度 塊 ，所 以 亮 度 塊 的 WD為 44矩 陣 ， 其 組 成 元 素 為各 圖 像 塊 DCT的 直 流 系 數(shù) W00， 這 些 W00在 WD中 的 排 列 順 序 為 對 應 圖 像 塊 在 宏 塊 的 位 置 。 SLIDE 72 變 換 與 量 化對 各 色 度 塊 W D的 Hadamard變 換 為 ： 11 1111 11 DD WY 000 101210 3111616的 圖 像 宏 塊 中 包 含 圖 像 色 度 Cr及 Cb塊 各 22個 ， 所 以 色 度 Cr或 Cb塊的 WD為 22矩 陣 ， 其 組 成 元 素 為 各 對應 圖 像 塊 色 度 信 號 DCT的 直 流 系 數(shù) W00，這 些 W00在 WD中 的 排 列 順 序 為 對 應 圖像 塊 在 宏 塊 的 位 置