《信息論基礎聯(lián)合信源信道編碼定理》由會員分享，可在線閱讀，更多相關《信息論基礎聯(lián)合信源信道編碼定理（46頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、第四章 信道編碼定理 1 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 2 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 3 定理的提出 通信的實質是信息的傳輸 ！ 信源 信源編碼器 信道編碼器 調 制 器 信道 解 調 器 信宿 信源譯碼器 信道譯碼器 干擾 源 編碼信道 信源編碼器 信道編碼器 調 制 器 解 調 器 信源譯碼器 信道譯碼器 源 第四章 信道編碼定理 4 將信源信息通過信道傳送給信宿怎樣才能既 做到盡可能不失真而又快速呢 ? 定理的提出 需要解決兩
2、個問題： 在不失真或允許一定失真條件下，如何用盡可能少 的符號來傳送信源信息，以便提高信息傳輸率； 在信道受干擾的情況下，如何增加信號的抗干擾能 力，同時又使得信息傳輸率最大 . 第四章 信道編碼定理 5 香農第一定理 ：要進行無失真數(shù)據(jù)壓縮，必 須 RH； 定理的提出 第四章 信道編碼定理 6 香農第二定理 ：要在信道中可靠地傳輸數(shù) 據(jù)，必須 CR； 定理的提出 第四章 信道編碼定理 7 香農第一定理 ：要進行無失真數(shù)據(jù)壓縮，必 須 RH； 香農第二定理 ：要在信道中可靠地傳輸數(shù) 據(jù)，必須 CR； 問題 ：若信源通過信道傳輸，要做到有效且 可靠地傳輸，是否必須有 CH ? 定理的提出 第四章
3、 信道編碼定理 8 定理的提出 一步編碼方案！ 第四章 信道編碼定理 9 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 10 聯(lián)合信源 信道編碼定理 設 U1、 U2、 是取值于有限字母表 的 無記憶信源，有熵率 H(); ,Q(y|x), 為無記憶信道，有信道容量 C. （ a）若 H(U)0，存在復 (聯(lián) ) 合信源 信道碼 ( f, g)使 Pe(n)C ，則 Pe(n)0. 第四章 信道編碼定理 11 證明： a 由于信源是無記憶的，它滿足漸進等分性， 存在典型序列集 nW 使 2 n H U nW ， 并且 1 nnrP
4、 U W 弱典型序列 的性質 僅對屬于 nW 的信源序列編碼，碼字集為 1 , 2 , , 2 n H U ， 對 nnUW ，統(tǒng)一編碼 為 0 ，傳輸這些序列會出現(xiàn)譯碼錯誤 . 聯(lián)合信源 信道編碼定理 第四章 信道編碼定理 12 因為 H U C ，可以找到充分小的 使 H U R C ， 從而 ， 存在碼率為 R 的 編 碼 f,g 使 通 過 信 道 傳 輸 后 誤 差 小 于 ， 即當 n 充分大時， n e P = nn r P U U 2 nnn n n n rr P U W P g Y U U W b 要證對任何使 0nPn 的復合碼，其編碼函數(shù)為 :n n n n nX U f
5、 U U x 譯碼函數(shù)為 :n n ng Y y u ， 則必有 H U C 第四章 信道編碼定理 13 事實上，由法諾不等式， 1 l o g 1 l o gnnn n n eeH U U P u P n u ， 所以對復合碼 ,fg 有 HU 1 nHU n 11 ;n n n nH U U I U U nn 11 1 l o g ;n nn eP n u I U Un n 11 1 l o g ;n nn eP n u I X Yn n 1 l o gn eP u Cn 熵率的定義 熵、條件熵與 互信息的關系 法諾不等式 n n n nU X Y U 構成馬氏鏈， 數(shù)據(jù)處理不等式保證了
6、;n n n nI U U I X Y 信道 容量 的定 義 第四章 信道編碼定理 14 令 1, 0 , 0n enP n ，從而 H U C 成立 . 定理表明使用一步編碼方案可以使通信的誤差 概率任意小 . 對于同一個通信系統(tǒng)，現(xiàn)在有兩種數(shù)據(jù)處理方 案 . 說明 第四章 信道編碼定理 15 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 16 兩步編碼與一步編碼 用盡可能少的信道符號來表達信源，以 減少編碼后的數(shù)據(jù)的剩余度 . 第四章 信道編碼定理 17 兩步編碼與一步編碼 對信源編碼后的數(shù)據(jù)適當增加一些剩余 度，使能糾正和克
7、服信道中引起的錯誤 和干擾 . 第四章 信道編碼定理 18 兩步編碼與一步編碼 思考 : 在有噪信道中，當 HC時，用兩步編碼與一步 編碼的處理方法傳輸信源信息均可使得誤差概 率任意小 . 對于給定的通信系統(tǒng)進行編碼時，應該傾向于 那種編碼方案？ 第四章 信道編碼定理 19 兩步編碼與一步編碼 近代大多數(shù)通信系統(tǒng)都是數(shù)字通信系統(tǒng) . 實際數(shù)字通信系統(tǒng)中，信道多是共同公 用的二元數(shù)字信道 . 將語音、圖像等首先數(shù)字化，再對數(shù)字 化的信源進行不同的信源編碼 針對各自信源的不同特點，用最有效的 二元碼進行數(shù)據(jù)壓縮； 第四章 信道編碼定理 20 兩步編碼與一步編碼 信道輸入端只是一系列二元碼 信道編碼
8、只需針對信道特性進行，不用 考慮信源的特性； 以糾正信道帶來的錯誤，做到有效又可 靠地傳輸信息 . 大大降低通信系統(tǒng)設計的復雜度！ 第四章 信道編碼定理 21 兩步編碼與一步編碼 經(jīng)典的無線通信系統(tǒng)是將信源編碼和信道編碼分別進行的。信源 編碼主要考慮信源的統(tǒng)計特性，信道編碼主要考慮信道的統(tǒng)計特 性。 優(yōu)點是設計簡單、通用性好，可以分別形成標準。 缺點是沒有充分利用各自的優(yōu)勢，因而不是最佳的。 無線系統(tǒng)的信源編碼由于壓縮比很高，對差錯十分敏感；而信道 編碼面臨十分惡劣的傳播環(huán)境，但提供的帶寬冗余度很小。 在這種背景下，需要將信源編碼和信道編碼綜合考慮。這就是聯(lián) 合編碼的基本思路。 在無線多媒體通
9、信中，聯(lián)合編碼是抗衰落的一種十分有效的措施。 第四章 信道編碼定理 22 兩步編碼與一步編碼 國內主要研究方向 （以博士畢業(yè)論文為例） ： 基于 Turbo碼 的聯(lián)合信源信道編譯碼方法研究 中國科學院研究生院（ 2008） 誤碼環(huán)境下的 視頻 信源信道編碼理論與技術研究 無線信道 中的聯(lián)合信源信道編碼研究 西安電子科技大學（ 2006） 信源信道聯(lián)合解碼算法研究及其在 語音傳輸 中的應用 東南大學 （ 2005） 無線圖像傳輸 中的聯(lián)合信源信道編碼研究 上海交通大學 （ 2007） 實現(xiàn) 復雜度控制 的信源信道聯(lián)合編碼研究 華中科技大學 （ 2005） 1993年法國教授 Berrou、 Gl
10、avieux 和其緬甸籍博士生 Thitimajshima 在 ICC 會議提出； 全球 3G標準： WCDMA、 TD-SCDMA和 CDMA2000均使用了 Turbo碼 第四章 信道編碼定理 23 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 24 展望 提高信息傳輸?shù)目煽啃院陀行裕冀K是通 信工作所追求的目標； 近幾節(jié)課掌握的幾個編碼定理，已經(jīng)明 確指出在一定條件下總 存在 簡單、有效 編、譯的“好碼” . 但是，都沒有給出這 類 好碼的編、譯方法 . 第四章 信道編碼定理 25 4.6 線性分組碼 基礎知識 線性分組碼
11、的基本概念 線性分組碼的譯碼 漢明碼的編碼與譯碼 第四章 信道編碼定理 26 基礎知識 線性分組碼的基本概念 線性分組碼的譯碼 漢明碼的編碼與譯碼 4.6 線性分組碼 第四章 信道編碼定理 27 4.6 線性分組碼 基礎知識 抽象代數(shù)基礎 線性代數(shù)基礎 第四章 信道編碼定理 28 4.6 線性分組碼 基礎知識 抽象代數(shù)基礎 線性代數(shù)基礎 第四章 信道編碼定理 29 一 、 群 定義 設 G是非空集合 ， 并在 G內定義了一種代數(shù)運算 ， 若滿 足： (1) 封閉性：對任意 a、 b G， 恒有 a b G； (2) 結合律：對任意 a、 b G， 有 (a b) c=a (b c)； (3)
12、存在單位元 e：對任意 a G， 有 e G， 使 a e=e a=a； (4) 對任意 a G， 存在有 a的逆元 a-1 G， 使 a a-1=a-1 a=e則 稱 G構成一個群 . 第四章 信道編碼定理 30 定義中 ， G的運算 “ ”可以是通常的乘法或加法 ： 若為乘法 ， 則單位元記為 1； 若為加法 ， 則單位元記為 0； a的逆元記為 -a. 群中元素的個數(shù) ， 稱為群的階 ： 若群中元素個數(shù)有限 ， 稱為有限群； 否則 ， 稱無限群 . 若 G的運算 “ ”滿足交換律 ， 稱 G為 Abel群 . 第四章 信道編碼定理 31 例 G1：整數(shù)全體 ， 按通常加法構成群 ， 這是
13、一個無限群 . 例 G2： 二元集 0,1， 對其上定義的模 2加法 ,構成一個群 . 0 0 1 1 0 m od 2 , 0 1 1 0 1 m od 2 第四章 信道編碼定理 32 二 、 域 域在編碼理論中起著關鍵作用； 域是定義了兩種代數(shù)運算的系統(tǒng) . 定義 非空元素集合 F， 若在 F中定義了加 和乘兩種運算 ， 且滿足下述公理： 第四章 信道編碼定理 33 (1)F關于加法構成阿貝爾群 ， 其加法單位元 記為 0； (2)F中非零元素全體對乘法構成阿貝爾群 . 其乘法單位元記為 1； (3) 滿足分配律： a(b+c)=ab+ac (b+c)a=ba+ca 則稱 F是一個域 .
14、第四章 信道編碼定理 34 例 F1 實數(shù)全體對加法 、 乘法構成域 ， 稱為實數(shù)域 . 例 F2 0、 1 兩個元素按模 2加和模 2 乘構 成域 . 該域中只有兩個元素 ， 記為 GF(2). 0 0 1 1 0 m od 2 0 1 1 0 1 m 0 0 0 1 od 1 0 0 1 2 11 有限域 第四章 信道編碼定理 35 4.6 線性分組碼 基礎知識 抽象代數(shù)基礎 線性代數(shù)基礎 第四章 信道編碼定理 36 一 、 線性空間 定義 如果域 F上的 n重元素集合 V滿足下述條 件時： (1) V關于加法構成阿貝爾群； (2)對 V中任何元素 v和 F中任何元素 c， cv V. 稱
15、 V中元素 v為矢量 (向量 )， F中元素 c為純 量或標量 ， 稱乘 c運算為數(shù)乘； 第四章 信道編碼定理 37 (3) 分配律成立 ， 對任何 u， v V， c， d F恒有： c(u+v)=cu+cv (c+d)v=cv+dv (4)若 c， d F ， v V， 有： (cd)v=c(dv)， 1v=v， 1 F 則稱 V是域 F上的一個 n維線性空間或矢量 空間 ， 一般用 VFn表示 . 第四章 信道編碼定理 38 例 L1 實數(shù)域 R上的 n重數(shù)組全體： (x1， x2， ， xn)； xi R組成一線性空間 VRn. 例 L2 GF(2)上的 n重數(shù)組全體： xn=(x1，
16、 x2， ， xn)； xi GF(2)是一線性空間 GF(2)n. n維 向量空間 第四章 信道編碼定理 39 定義 設 x1， x2， ， xk是線性空間 V中的 一組非全零向量 ， 當且僅當存在有一組不 全為零的數(shù) c1， c2， ， ck(ci F； i=1， 2， ， k)使 c1x1+c2x2+ckxk=0 成立時 ， 則稱這組向量線性相關；否則 ， 稱這組向量 線性無關 . 第四章 信道編碼定理 40 定義 線性空間 V中的每一向量 ， 如果可以 由其中的一組向量集 S中的向量線性組合 生成 ， 則說 S生成了向量空間 V. 第四章 信道編碼定理 41 定義 在任何線性空間中，
17、能張成該空間 的線性獨立向量的集合稱為該線性空間 的 基； 而稱這組線性獨立向量的數(shù)目為 該線性空間的維數(shù) . 定理： 如果 V是 k維線性空間 ， 則 V中任 意 k個線性獨立的向量是 V的基 . 第四章 信道編碼定理 42 二 、 矩陣 在今后學習的糾錯編碼理論中 ， 矩陣內 的第 i行第 j列元素 aij一般取自域 F(2)上 ， 今后我們僅討論域 F(2)上的矩陣： 第四章 信道編碼定理 43 例 在 GF(2)上的兩個方陣相乘 ， 例如 1 0 1 1 1 0 1 1 1 0 1 0 0 1 1 0 1 1 1 1 0 0 0 1 1 0 1 第四章 信道編碼定理 44 分塊矩陣概念： 如果把矩陣的每一行 (或每一列 )看成一個 n(或 m)維數(shù)組 ， 或者行 (列 )矢量 ， 則可把 一個 m n階矩陣 aij 表示如下： 11 1 1 21 2 2 1 n n m m n m a a a a a a a a a 12i i i ina a a a 第四章 信道編碼定理 45 4.6 線性分組碼 基礎知識 抽象代數(shù)基礎 線性代數(shù)基礎 第四章 信道編碼定理 46 4.6 線性分組碼 基礎知識 線性分組碼的基本概念 線性分組碼的譯碼 漢明碼的編碼與譯碼
信息論基礎聯(lián)合信源信道編碼定理
