《信息論基礎(chǔ)聯(lián)合信源信道編碼定理》由會(huì)員分享，可在線閱讀，更多相關(guān)《信息論基礎(chǔ)聯(lián)合信源信道編碼定理（46頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、第四章 信道編碼定理 1 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 2 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 3 定理的提出 通信的實(shí)質(zhì)是信息的傳輸 ！ 信源 信源編碼器 信道編碼器 調(diào) 制 器 信道 解 調(diào) 器 信宿 信源譯碼器 信道譯碼器 干擾 源 編碼信道 信源編碼器 信道編碼器 調(diào) 制 器 解 調(diào) 器 信源譯碼器 信道譯碼器 源 第四章 信道編碼定理 4 將信源信息通過(guò)信道傳送給信宿怎樣才能既 做到盡可能不失真而又快速呢 ? 定理的提出 需要解決兩
2、個(gè)問(wèn)題： 在不失真或允許一定失真條件下，如何用盡可能少 的符號(hào)來(lái)傳送信源信息，以便提高信息傳輸率； 在信道受干擾的情況下，如何增加信號(hào)的抗干擾能 力，同時(shí)又使得信息傳輸率最大 . 第四章 信道編碼定理 5 香農(nóng)第一定理 ：要進(jìn)行無(wú)失真數(shù)據(jù)壓縮，必 須 RH； 定理的提出 第四章 信道編碼定理 6 香農(nóng)第二定理 ：要在信道中可靠地傳輸數(shù) 據(jù)，必須 CR； 定理的提出 第四章 信道編碼定理 7 香農(nóng)第一定理 ：要進(jìn)行無(wú)失真數(shù)據(jù)壓縮，必 須 RH； 香農(nóng)第二定理 ：要在信道中可靠地傳輸數(shù) 據(jù)，必須 CR； 問(wèn)題 ：若信源通過(guò)信道傳輸，要做到有效且 可靠地傳輸，是否必須有 CH ? 定理的提出 第四章
3、 信道編碼定理 8 定理的提出 一步編碼方案！ 第四章 信道編碼定理 9 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 10 聯(lián)合信源 信道編碼定理 設(shè) U1、 U2、 是取值于有限字母表 的 無(wú)記憶信源，有熵率 H(); ,Q(y|x), 為無(wú)記憶信道，有信道容量 C. （ a）若 H(U)0，存在復(fù) (聯(lián) ) 合信源 信道碼 ( f, g)使 Pe(n)C ，則 Pe(n)0. 第四章 信道編碼定理 11 證明： a 由于信源是無(wú)記憶的，它滿足漸進(jìn)等分性， 存在典型序列集 nW 使 2 n H U nW ， 并且 1 nnrP
4、 U W 弱典型序列 的性質(zhì) 僅對(duì)屬于 nW 的信源序列編碼，碼字集為 1 , 2 , , 2 n H U ， 對(duì) nnUW ，統(tǒng)一編碼 為 0 ，傳輸這些序列會(huì)出現(xiàn)譯碼錯(cuò)誤 . 聯(lián)合信源 信道編碼定理 第四章 信道編碼定理 12 因?yàn)?H U C ，可以找到充分小的 使 H U R C ， 從而 ， 存在碼率為 R 的 編 碼 f,g 使 通 過(guò) 信 道 傳 輸 后 誤 差 小 于 ， 即當(dāng) n 充分大時(shí)， n e P = nn r P U U 2 nnn n n n rr P U W P g Y U U W b 要證對(duì)任何使 0nPn 的復(fù)合碼，其編碼函數(shù)為 :n n n n nX U f
5、 U U x 譯碼函數(shù)為 :n n ng Y y u ， 則必有 H U C 第四章 信道編碼定理 13 事實(shí)上，由法諾不等式， 1 l o g 1 l o gnnn n n eeH U U P u P n u ， 所以對(duì)復(fù)合碼 ,fg 有 HU 1 nHU n 11 ;n n n nH U U I U U nn 11 1 l o g ;n nn eP n u I U Un n 11 1 l o g ;n nn eP n u I X Yn n 1 l o gn eP u Cn 熵率的定義 熵、條件熵與 互信息的關(guān)系 法諾不等式 n n n nU X Y U 構(gòu)成馬氏鏈， 數(shù)據(jù)處理不等式保證了
6、;n n n nI U U I X Y 信道 容量 的定 義 第四章 信道編碼定理 14 令 1, 0 , 0n enP n ，從而 H U C 成立 . 定理表明使用一步編碼方案可以使通信的誤差 概率任意小 . 對(duì)于同一個(gè)通信系統(tǒng)，現(xiàn)在有兩種數(shù)據(jù)處理方 案 . 說(shuō)明 第四章 信道編碼定理 15 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 16 兩步編碼與一步編碼 用盡可能少的信道符號(hào)來(lái)表達(dá)信源，以 減少編碼后的數(shù)據(jù)的剩余度 . 第四章 信道編碼定理 17 兩步編碼與一步編碼 對(duì)信源編碼后的數(shù)據(jù)適當(dāng)增加一些剩余 度，使能糾正和克
7、服信道中引起的錯(cuò)誤 和干擾 . 第四章 信道編碼定理 18 兩步編碼與一步編碼 思考 : 在有噪信道中，當(dāng) HC時(shí)，用兩步編碼與一步 編碼的處理方法傳輸信源信息均可使得誤差概 率任意小 . 對(duì)于給定的通信系統(tǒng)進(jìn)行編碼時(shí)，應(yīng)該傾向于 那種編碼方案？ 第四章 信道編碼定理 19 兩步編碼與一步編碼 近代大多數(shù)通信系統(tǒng)都是數(shù)字通信系統(tǒng) . 實(shí)際數(shù)字通信系統(tǒng)中，信道多是共同公 用的二元數(shù)字信道 . 將語(yǔ)音、圖像等首先數(shù)字化，再對(duì)數(shù)字 化的信源進(jìn)行不同的信源編碼 針對(duì)各自信源的不同特點(diǎn)，用最有效的 二元碼進(jìn)行數(shù)據(jù)壓縮； 第四章 信道編碼定理 20 兩步編碼與一步編碼 信道輸入端只是一系列二元碼 信道編碼
8、只需針對(duì)信道特性進(jìn)行，不用 考慮信源的特性； 以糾正信道帶來(lái)的錯(cuò)誤，做到有效又可 靠地傳輸信息 . 大大降低通信系統(tǒng)設(shè)計(jì)的復(fù)雜度！ 第四章 信道編碼定理 21 兩步編碼與一步編碼 經(jīng)典的無(wú)線通信系統(tǒng)是將信源編碼和信道編碼分別進(jìn)行的。信源 編碼主要考慮信源的統(tǒng)計(jì)特性，信道編碼主要考慮信道的統(tǒng)計(jì)特 性。 優(yōu)點(diǎn)是設(shè)計(jì)簡(jiǎn)單、通用性好，可以分別形成標(biāo)準(zhǔn)。 缺點(diǎn)是沒(méi)有充分利用各自的優(yōu)勢(shì)，因而不是最佳的。 無(wú)線系統(tǒng)的信源編碼由于壓縮比很高，對(duì)差錯(cuò)十分敏感；而信道 編碼面臨十分惡劣的傳播環(huán)境，但提供的帶寬冗余度很小。 在這種背景下，需要將信源編碼和信道編碼綜合考慮。這就是聯(lián) 合編碼的基本思路。 在無(wú)線多媒體通
9、信中，聯(lián)合編碼是抗衰落的一種十分有效的措施。 第四章 信道編碼定理 22 兩步編碼與一步編碼 國(guó)內(nèi)主要研究方向 （以博士畢業(yè)論文為例） ： 基于 Turbo碼 的聯(lián)合信源信道編譯碼方法研究 中國(guó)科學(xué)院研究生院（ 2008） 誤碼環(huán)境下的 視頻 信源信道編碼理論與技術(shù)研究 無(wú)線信道 中的聯(lián)合信源信道編碼研究 西安電子科技大學(xué)（ 2006） 信源信道聯(lián)合解碼算法研究及其在 語(yǔ)音傳輸 中的應(yīng)用 東南大學(xué) （ 2005） 無(wú)線圖像傳輸 中的聯(lián)合信源信道編碼研究 上海交通大學(xué) （ 2007） 實(shí)現(xiàn) 復(fù)雜度控制 的信源信道聯(lián)合編碼研究 華中科技大學(xué) （ 2005） 1993年法國(guó)教授 Berrou、 Gl
10、avieux 和其緬甸籍博士生 Thitimajshima 在 ICC 會(huì)議提出； 全球 3G標(biāo)準(zhǔn)： WCDMA、 TD-SCDMA和 CDMA2000均使用了 Turbo碼 第四章 信道編碼定理 23 4.5 聯(lián)合信源 信道編碼定理 定理的提出 聯(lián)合信源 信道編碼定理 兩步編碼與一步編碼 第四章 信道編碼定理 24 展望 提高信息傳輸?shù)目煽啃院陀行?，始終是通 信工作所追求的目標(biāo)； 近幾節(jié)課掌握的幾個(gè)編碼定理，已經(jīng)明 確指出在一定條件下總 存在 簡(jiǎn)單、有效 編、譯的“好碼” . 但是，都沒(méi)有給出這 類 好碼的編、譯方法 . 第四章 信道編碼定理 25 4.6 線性分組碼 基礎(chǔ)知識(shí) 線性分組碼
11、的基本概念 線性分組碼的譯碼 漢明碼的編碼與譯碼 第四章 信道編碼定理 26 基礎(chǔ)知識(shí) 線性分組碼的基本概念 線性分組碼的譯碼 漢明碼的編碼與譯碼 4.6 線性分組碼 第四章 信道編碼定理 27 4.6 線性分組碼 基礎(chǔ)知識(shí) 抽象代數(shù)基礎(chǔ) 線性代數(shù)基礎(chǔ) 第四章 信道編碼定理 28 4.6 線性分組碼 基礎(chǔ)知識(shí) 抽象代數(shù)基礎(chǔ) 線性代數(shù)基礎(chǔ) 第四章 信道編碼定理 29 一 、 群 定義 設(shè) G是非空集合 ， 并在 G內(nèi)定義了一種代數(shù)運(yùn)算 ， 若滿 足： (1) 封閉性：對(duì)任意 a、 b G， 恒有 a b G； (2) 結(jié)合律：對(duì)任意 a、 b G， 有 (a b) c=a (b c)； (3)
12、存在單位元 e：對(duì)任意 a G， 有 e G， 使 a e=e a=a； (4) 對(duì)任意 a G， 存在有 a的逆元 a-1 G， 使 a a-1=a-1 a=e則 稱 G構(gòu)成一個(gè)群 . 第四章 信道編碼定理 30 定義中 ， G的運(yùn)算 “ ”可以是通常的乘法或加法 ： 若為乘法 ， 則單位元記為 1； 若為加法 ， 則單位元記為 0； a的逆元記為 -a. 群中元素的個(gè)數(shù) ， 稱為群的階 ： 若群中元素個(gè)數(shù)有限 ， 稱為有限群； 否則 ， 稱無(wú)限群 . 若 G的運(yùn)算 “ ”滿足交換律 ， 稱 G為 Abel群 . 第四章 信道編碼定理 31 例 G1：整數(shù)全體 ， 按通常加法構(gòu)成群 ， 這是
13、一個(gè)無(wú)限群 . 例 G2： 二元集 0,1， 對(duì)其上定義的模 2加法 ,構(gòu)成一個(gè)群 . 0 0 1 1 0 m od 2 , 0 1 1 0 1 m od 2 第四章 信道編碼定理 32 二 、 域 域在編碼理論中起著關(guān)鍵作用； 域是定義了兩種代數(shù)運(yùn)算的系統(tǒng) . 定義 非空元素集合 F， 若在 F中定義了加 和乘兩種運(yùn)算 ， 且滿足下述公理： 第四章 信道編碼定理 33 (1)F關(guān)于加法構(gòu)成阿貝爾群 ， 其加法單位元 記為 0； (2)F中非零元素全體對(duì)乘法構(gòu)成阿貝爾群 . 其乘法單位元記為 1； (3) 滿足分配律： a(b+c)=ab+ac (b+c)a=ba+ca 則稱 F是一個(gè)域 .
14、第四章 信道編碼定理 34 例 F1 實(shí)數(shù)全體對(duì)加法 、 乘法構(gòu)成域 ， 稱為實(shí)數(shù)域 . 例 F2 0、 1 兩個(gè)元素按模 2加和模 2 乘構(gòu) 成域 . 該域中只有兩個(gè)元素 ， 記為 GF(2). 0 0 1 1 0 m od 2 0 1 1 0 1 m 0 0 0 1 od 1 0 0 1 2 11 有限域 第四章 信道編碼定理 35 4.6 線性分組碼 基礎(chǔ)知識(shí) 抽象代數(shù)基礎(chǔ) 線性代數(shù)基礎(chǔ) 第四章 信道編碼定理 36 一 、 線性空間 定義 如果域 F上的 n重元素集合 V滿足下述條 件時(shí)： (1) V關(guān)于加法構(gòu)成阿貝爾群； (2)對(duì) V中任何元素 v和 F中任何元素 c， cv V. 稱
15、 V中元素 v為矢量 (向量 )， F中元素 c為純 量或標(biāo)量 ， 稱乘 c運(yùn)算為數(shù)乘； 第四章 信道編碼定理 37 (3) 分配律成立 ， 對(duì)任何 u， v V， c， d F恒有： c(u+v)=cu+cv (c+d)v=cv+dv (4)若 c， d F ， v V， 有： (cd)v=c(dv)， 1v=v， 1 F 則稱 V是域 F上的一個(gè) n維線性空間或矢量 空間 ， 一般用 VFn表示 . 第四章 信道編碼定理 38 例 L1 實(shí)數(shù)域 R上的 n重?cái)?shù)組全體： (x1， x2， ， xn)； xi R組成一線性空間 VRn. 例 L2 GF(2)上的 n重?cái)?shù)組全體： xn=(x1，
16、 x2， ， xn)； xi GF(2)是一線性空間 GF(2)n. n維 向量空間 第四章 信道編碼定理 39 定義 設(shè) x1， x2， ， xk是線性空間 V中的 一組非全零向量 ， 當(dāng)且僅當(dāng)存在有一組不 全為零的數(shù) c1， c2， ， ck(ci F； i=1， 2， ， k)使 c1x1+c2x2+ckxk=0 成立時(shí) ， 則稱這組向量線性相關(guān)；否則 ， 稱這組向量 線性無(wú)關(guān) . 第四章 信道編碼定理 40 定義 線性空間 V中的每一向量 ， 如果可以 由其中的一組向量集 S中的向量線性組合 生成 ， 則說(shuō) S生成了向量空間 V. 第四章 信道編碼定理 41 定義 在任何線性空間中，
17、能張成該空間 的線性獨(dú)立向量的集合稱為該線性空間 的 基； 而稱這組線性獨(dú)立向量的數(shù)目為 該線性空間的維數(shù) . 定理： 如果 V是 k維線性空間 ， 則 V中任 意 k個(gè)線性獨(dú)立的向量是 V的基 . 第四章 信道編碼定理 42 二 、 矩陣 在今后學(xué)習(xí)的糾錯(cuò)編碼理論中 ， 矩陣內(nèi) 的第 i行第 j列元素 aij一般取自域 F(2)上 ， 今后我們僅討論域 F(2)上的矩陣： 第四章 信道編碼定理 43 例 在 GF(2)上的兩個(gè)方陣相乘 ， 例如 1 0 1 1 1 0 1 1 1 0 1 0 0 1 1 0 1 1 1 1 0 0 0 1 1 0 1 第四章 信道編碼定理 44 分塊矩陣概念： 如果把矩陣的每一行 (或每一列 )看成一個(gè) n(或 m)維數(shù)組 ， 或者行 (列 )矢量 ， 則可把 一個(gè) m n階矩陣 aij 表示如下： 11 1 1 21 2 2 1 n n m m n m a a a a a a a a a 12i i i ina a a a 第四章 信道編碼定理 45 4.6 線性分組碼 基礎(chǔ)知識(shí) 抽象代數(shù)基礎(chǔ) 線性代數(shù)基礎(chǔ) 第四章 信道編碼定理 46 4.6 線性分組碼 基礎(chǔ)知識(shí) 線性分組碼的基本概念 線性分組碼的譯碼 漢明碼的編碼與譯碼
信息論基礎(chǔ)聯(lián)合信源信道編碼定理
