信息論與編碼-第10、11講-第3章信道容量.ppt

《信息論與編碼-第10、11講-第3章信道容量.ppt》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《信息論與編碼-第10、11講-第3章信道容量.ppt（55頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

2020 1 22 1 3信道容量 信道的功能 以信號(hào)形式傳輸和存儲(chǔ)信息 信道傳輸信息的速率 與物理信道本身的特性 載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān) 信道容量研究?jī)?nèi)容 在什么條件下 通過(guò)信道的信息量最大 3 1信道的數(shù)學(xué)模型和分類(lèi)3 2單符號(hào)離散信道的信道容量3 3多符號(hào)離散信道3 4多用戶(hù)信道3 5連續(xù)信道3 6信道編碼定理 2020 1 22 2 引言 什么是信道 信道是傳送信息的載體 信號(hào)所通過(guò)的通道 信息是抽象的 信道則是具體的 比如 二人對(duì)話(huà) 二人間的空氣就是信道 打電話(huà) 電話(huà)線(xiàn)就是信道 看電視 聽(tīng)收音機(jī) 收 發(fā)間的空間就是信道 信道的作用在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息 而在通信系統(tǒng)中則主要用于傳輸 研究信道的目的在通信系統(tǒng)中研究信道 主要是為了描述 度量 分析不同類(lèi)型信道 計(jì)算其容量 即極限傳輸能力 并分析其特性 2020 1 22 3 3 1信道的數(shù)學(xué)模型和分類(lèi) 1 一般信道的數(shù)學(xué)模型 2 信道的分類(lèi) 3 實(shí)際的信道 2020 1 22 4 1 一般信道的數(shù)學(xué)模型 信道的輸入輸出關(guān)系 一般信道的數(shù)學(xué)模型 2020 1 22 5 信道的輸入輸出關(guān)系 信號(hào)在信道中傳輸會(huì)引入噪聲或干擾 它使信號(hào)通過(guò)信道后產(chǎn)生錯(cuò)誤和失真 信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系 而是統(tǒng)計(jì)依賴(lài)關(guān)系 知道了信道的輸入信號(hào) 輸出信號(hào)以及它們之間的依賴(lài)關(guān)系 信道的全部特性就確定了 一般來(lái)說(shuō) 輸入和輸出信號(hào)都是廣義的時(shí)間連續(xù)的隨機(jī)信號(hào) 可用隨機(jī)過(guò)程來(lái)描述 2020 1 22 6 一般信道的數(shù)學(xué)模型 信道的一般數(shù)學(xué)模型如圖3 1 1所示數(shù)學(xué)模型的數(shù)學(xué)符號(hào)表示 XP Y X Y 實(shí)際信道帶寬總是有限的 所以輸入和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究 隨機(jī)序列中每個(gè)隨機(jī)變量的取值可以是可數(shù)的離散值 也可以是不可數(shù)的連續(xù)值 2020 1 22 7 2 信道的分類(lèi) 根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi) 根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi) 根據(jù)輸入輸出個(gè)數(shù)分類(lèi) 根據(jù)信道上有無(wú)干擾分類(lèi) 根據(jù)信道有無(wú)記憶特性分類(lèi) 2020 1 22 8 根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi) 離散信道 輸入 輸出隨機(jī)變量都取離散值 連續(xù)信道 輸入 輸出隨機(jī)變量都取連續(xù)值 半離散 半連續(xù)信道 輸入變量取離散值而輸出變量取連續(xù)值 或反之 2020 1 22 9 根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi) 單符號(hào)信道 輸入和輸出端都只用一個(gè)隨機(jī)變量來(lái)表示 多符號(hào)信道 輸入和輸出端用隨機(jī)變量序列 隨機(jī)矢量來(lái)表示 2020 1 22 10 根據(jù)輸入輸出個(gè)數(shù)分類(lèi) 單用戶(hù)信道 只有一個(gè)輸入和一個(gè)輸出的信道 多用戶(hù)信道 有多個(gè)輸入和多個(gè)輸出的信道 2020 1 22 11 根據(jù)信道上有無(wú)干擾分類(lèi) 有干擾信道 存在干擾或噪聲或兩者都有的信道 實(shí)際信道一般都是有干擾信道 無(wú)干擾信道 不存在干擾或噪聲 或干擾和噪聲可忽略不計(jì)的信道 計(jì)算機(jī)和外存設(shè)備之間的信道可看作是無(wú)干擾信道 2020 1 22 12 根據(jù)信道有無(wú)記憶特性分類(lèi) 無(wú)記憶信道 輸出僅與當(dāng)前輸入有關(guān) 而與過(guò)去輸入無(wú)關(guān)的信道 有記憶信道 信道輸出不僅與當(dāng)前輸入有關(guān) 還與過(guò)去輸入和 或 過(guò)去輸出有關(guān) 2020 1 22 13 3 實(shí)際的信道 實(shí)際信道的帶寬總是有限的 所以輸入和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究 一個(gè)實(shí)際信道可同時(shí)具有多種屬性 最簡(jiǎn)單的信道是單符號(hào)離散信道 2020 1 22 14 3 2單符號(hào)離散信道的信道容量 3 2 1信道容量定義3 2 2幾種特殊離散信道的信道容量3 2 3離散信道容量的一般計(jì)算方法 2020 1 22 15 3 2 1信道容量定義 1 單符號(hào)離散信道的數(shù)學(xué)模型 2 信息傳輸率 3 信道容量 4 結(jié)論 2020 1 22 16 1 單符號(hào)離散信道的數(shù)學(xué)模型 信道模型 信道統(tǒng)計(jì)特性 2020 1 22 17 信道模型 設(shè)輸入X x1 x2 xi xn 輸出Y y1 y2 yj ym 其信道模型如圖3 2 1所示 2020 1 22 18 信道統(tǒng)計(jì)特性 信道統(tǒng)計(jì)特性描述 由信道轉(zhuǎn)移概率描述 信道轉(zhuǎn)移概率 信道傳遞概率 條件概率p yj xi 信道特性表示 用信道轉(zhuǎn)移概率矩陣 簡(jiǎn)稱(chēng)信道矩陣 反信道矩陣 由條件概率p xi yj 表示 2020 1 22 19 2 信道的信息傳輸率 如果信源熵為H X 希望在信道輸出端接收的信息量就是H X 由于干擾的存在 一般只能接收到I X Y 信道的信息傳輸率 就是平均互信息R I X Y 輸出端Y往往只能獲得關(guān)于輸入X的部分信息 這是由于平均互信息性質(zhì)決定的 I X Y H X I X Y 是信源無(wú)條件概率p xi 和信道轉(zhuǎn)移概率p yj xi 的二元函數(shù) 2020 1 22 20 3 信道容量 當(dāng)信道特性p yj xi 固定后 I X Y 隨信源概率分布p xi 的變化而變化 調(diào)整p xi 在接收端就能獲得不同的信息量 由平均互信息的性質(zhì)已知 I X Y 是p xi 的上凸函數(shù) 因此總能找到一種概率分布p xi 即某一種信源 使信道所能傳送的信息率為最大 信道容量C 在信道中最大的信息傳輸速率 單位是比特 信道符號(hào) 單位時(shí)間的信道容量Ct 若信道平均傳輸一個(gè)符號(hào)需要t秒鐘 則單位時(shí)間的信道容量為Ct實(shí)際是信道的最大信息傳輸速率 2020 1 22 21 4 結(jié)論 C和Ct都是求平均互信息I X Y 的條件極大值問(wèn)題 當(dāng)輸入信源概率分布p xi 調(diào)整好以后 C和Ct已與p xi 無(wú)關(guān) 而僅僅是信道轉(zhuǎn)移概率的函數(shù) 只與信道統(tǒng)計(jì)特性有關(guān) 信道容量是完全描述信道特性的參量 信道容量是信道能夠傳送的最大信息量 2020 1 22 22 3 2 2幾種特殊離散信道的信道容量 1 離散無(wú)噪信道的信道容量 2 強(qiáng)對(duì)稱(chēng)離散信道的信道容量 3 對(duì)稱(chēng)離散信道的信道容量 4 準(zhǔn)對(duì)稱(chēng)離散信道的信道容量 2020 1 22 23 1 離散無(wú)噪信道的信道容量 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道 具有擴(kuò)展性能的無(wú)噪信道 具有歸并性能的無(wú)噪信道 結(jié)論 2020 1 22 24 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道 這種信道如圖3 2 2所示對(duì)應(yīng)的信道矩陣是 2020 1 22 25 因?yàn)樾诺谰仃囍兴性鼐?1 或 0 X和Y有確定的對(duì)應(yīng)關(guān)系 已知X后Y沒(méi)有不確定性 噪聲熵H Y X 0 反之 收到Y(jié)后 X也不存在不確定性 信道疑義度H X Y 0 故有I X Y H X H Y 當(dāng)信源呈等概率分布時(shí) 具有一一對(duì)應(yīng)確定關(guān)系的無(wú)噪信道達(dá)到信道容量 2020 1 22 26 具有擴(kuò)展性能的無(wú)噪信道 此信道的舉例如圖3 2 3所示 n m 輸入X的符號(hào)集個(gè)數(shù)小于輸出Y的符號(hào)集個(gè)數(shù) 其信道矩陣如下 2020 1 22 27 雖然信道矩陣中的元素不全是 1 或 0 但由于每列中只有一個(gè)非零元素 已知Y后 X不再有任何不確定度 信道疑義度H X Y 0 I X Y H X H X Y H X 例如 輸出端收到y(tǒng)2后可以確定輸入端發(fā)送的是x1 收到y(tǒng)7后可以確定輸入端發(fā)送的是x3 等等 信道容量為與一一對(duì)應(yīng)信道不同的是 此時(shí)輸入端符號(hào)熵小于輸出端符號(hào)熵 H X H Y 2020 1 22 28 具有歸并性能的無(wú)噪信道 這種信道如圖3 2 4所示 n m 輸入X的符號(hào)集個(gè)數(shù)大于輸出Y的符號(hào)集個(gè)數(shù) 其信道矩陣如下 2020 1 22 29 信道矩陣中的元素非 0 即 1 每行僅有一個(gè)非零元素 但每列的非零元素個(gè)數(shù)大于1 已知某一個(gè)xi后 對(duì)應(yīng)的yj完全確定 信道噪聲熵H Y X 0 但是收到某一個(gè)yj后 對(duì)應(yīng)的xi不完全確定 信道疑義度H X Y 0 信道容量為這種信道輸入端符號(hào)熵大于輸出端符號(hào)熵 H X H Y 注意 在求信道容量時(shí) 調(diào)整的始終是輸入端的概率分布p xi 盡管信道容量式子中平均互信息I X Y 等于輸出端符號(hào)熵H Y 但是在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布p xi 而不能用輸出端的概率分布p yj 來(lái)代替 2020 1 22 30 舉例 圖3 2 4的信道容量是log23 1 585 比特 信道符號(hào) 求要達(dá)到這一信道容量對(duì)應(yīng)的信源概率分布 由信道矩陣得p y1 p x1 1 p x2 1p y2 p x3 1 p x4 1p y3 p x5 1只要p y1 p y2 p y3 1 3 H Y 達(dá)到最大值 即達(dá)到信道容量C 此時(shí)使p y1 p y2 p y3 1 3 的信源概率分布 p xi i 1 2 3 4 5存在 但不是惟一的 這種信道的輸入符號(hào)熵大于輸出符號(hào)熵 即H X H Y 2020 1 22 31 結(jié)論 無(wú)噪信道的信道容量C只決定于信道的輸入符號(hào)數(shù)n 或輸出符號(hào)數(shù)m 與信源無(wú)關(guān) 2020 1 22 32 2 強(qiáng)對(duì)稱(chēng)離散信道的信道容量 什么是強(qiáng)對(duì)稱(chēng)離散信道 強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn) 強(qiáng)對(duì)稱(chēng)離散信道的信道容量 輸入是什么概率分布時(shí)達(dá)到信道容量 二進(jìn)制均勻信道 2020 1 22 33 什么是強(qiáng)對(duì)稱(chēng)離散信道 單符號(hào)離散信道的X和Y取值均由n個(gè)不同符號(hào)組成 即X x1 x2 xi xn Y y1 y2 yj yn 信道矩陣為這種信道稱(chēng)為強(qiáng)對(duì)稱(chēng) 均勻信道 這類(lèi)信道中 總的錯(cuò)誤概率是p 對(duì)稱(chēng)平均地分配給 n 1 個(gè)輸出符號(hào) 信道矩陣中每行之和等于1 每列之和也等于1 一般信道矩陣中 每列之和不一定等于1 2020 1 22 34 強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn) 強(qiáng)對(duì)稱(chēng)信道矩陣 它的每一行和每一列都是同一集合各個(gè)元素的不同排列 由平均互信息定義 Hni的意義 是固定X xi時(shí)對(duì)Y求和 相當(dāng)于在信道矩陣中選定了某一行 對(duì)該行上各列元素的自信息求加權(quán)和 由于信道的對(duì)稱(chēng)性 每一行都是同一集合的不同排列 所以當(dāng)xi不同時(shí) Hni只是求和順序不同 求和結(jié)果完全一樣 所以Hni與X無(wú)關(guān) 是一個(gè)常數(shù) 2020 1 22 35 強(qiáng)對(duì)稱(chēng)離散信道的信道容量 因此如何達(dá)到信道容量 求一種輸入分布使H Y 取最大值 現(xiàn)已知輸出符號(hào)集Y共有n個(gè)符號(hào) 則H Y log2n 根據(jù)最大離散熵定理 只有當(dāng)p yj 1 n 即輸出端呈等概率分布時(shí) H Y 才達(dá)到最大值log2n 要獲得這一最大值 可通過(guò)公式尋找相應(yīng)的輸入概率分布 一般情況下不一定存在一種輸入符號(hào)的概率 使輸出符號(hào)達(dá)到等概率分布 但強(qiáng)對(duì)稱(chēng)離散信道存在 2020 1 22 36 輸入是什么概率分布時(shí)達(dá)到信道容量 強(qiáng)對(duì)稱(chēng)離散信道的輸入和輸出之間概率關(guān)系可用矩陣表示為信道矩陣中的每一行都是由同一集合中的諸元素的不同排列組成 所以保證了當(dāng)輸入符號(hào)X是等概率分布 即p xi 1 n 時(shí) 輸出符號(hào)Y一定是等概率分布 這時(shí)H Y log2n 相應(yīng)的信道容量為 2020 1 22 37 結(jié)論 當(dāng)信道輸入呈等概率分布時(shí) 強(qiáng)對(duì)稱(chēng)離散信道能夠傳輸最大的平均信息量 即達(dá)到信道容量 這個(gè)信道容量只與信道的輸出符號(hào)數(shù)n和相應(yīng)信道矩陣中的任一行矢量有關(guān) 2020 1 22 38 二進(jìn)制均勻信道 當(dāng)n 2時(shí)的強(qiáng)對(duì)稱(chēng)離散信道就是二進(jìn)制均勻信道 二進(jìn)制均勻信道的信道容量為 二進(jìn)制均勻信道容量曲線(xiàn)如圖3 2 5所示 2020 1 22 39 3 對(duì)稱(chēng)離散信道的信道容量 可排列性 對(duì)稱(chēng)離散信道定義 對(duì)稱(chēng)離散信道的信道容量 2020 1 22 40 可排列性 行可排列 一個(gè)矩陣的每一行都是同一集合Q q1 q2 qm 中諸元素的不同排列 列可排列 一個(gè)矩陣的每一列都是同一集合P p1 p2 pn 中諸元素的不同排列 矩陣可排列 具有可排列性 一個(gè)矩陣的行和列都是可排列的 2020 1 22 41 對(duì)稱(chēng)離散信道定義 對(duì)稱(chēng)離散信道 信道矩陣具有可排列性 行 列集合的特點(diǎn)當(dāng)mn時(shí) P是Q的子集 當(dāng)m n時(shí) Q和P兩個(gè)集合中 一個(gè)必定是另一個(gè)的子集 因?yàn)榫仃囍械拿恳粋€(gè)元素既是行集合Q中的元素 又是列集合P中的元素 當(dāng)m n時(shí) Q和P中的所有元素重合 Q和P是同一集合 2020 1 22 42 舉例 2020 1 22 43 對(duì)稱(chēng)離散信道的信道容量 平均互信息 2020 1 22 44 對(duì)稱(chēng)離散信道的信道容量與強(qiáng)對(duì)稱(chēng)的形式相同 只是這里m n 由于對(duì)稱(chēng)信道的特點(diǎn) X等概率分布時(shí) Y也是等概率分布 從而使Y的熵達(dá)到最大值log2m 即信道容量 2020 1 22 45 4 準(zhǔn)對(duì)稱(chēng)離散信道的信道容量 準(zhǔn)對(duì)稱(chēng)離散信道定義 一個(gè)n行m列單符號(hào)離散信道矩陣 P 的行可排列 列不可排列 但是矩陣中的m列可分成S個(gè)不相交的子集 各子集分別有m1 m2 ms個(gè)元素 m1 m2 ms m 由n行mk k 1 2 s 列組成的子矩陣 P k具有可排列性 舉例兩個(gè)子矩陣均是可排列的 故信道 P 是準(zhǔn)對(duì)稱(chēng)信道 2020 1 22 46 可以證明 對(duì)于準(zhǔn)對(duì)稱(chēng)信道 信道輸入的最佳分布是等概率分布 而信道容量為 定理 準(zhǔn)對(duì)稱(chēng)離散信道的信道容量是在信道輸入為等概率分布時(shí)達(dá)到的 2020 1 22 47 兩個(gè)互不相交的子集 而每個(gè)子集都是對(duì)稱(chēng)信道形式 對(duì)應(yīng)參數(shù)分別為 2020 1 22 48 N1 1 q N2 q M1 1 q M2 2q根據(jù)準(zhǔn)對(duì)稱(chēng)離散信道的信道容量計(jì)算公式求解 2020 1 22 49 圖3 4二元對(duì)稱(chēng)純刪除信道 2020 1 22 50 解通過(guò)觀測(cè)可知 該信道是準(zhǔn)對(duì)稱(chēng)信道 可以分解為三個(gè)互不相交的子集 分別為 2020 1 22 51 2020 1 22 52 3 2 3離散信道容量的一般計(jì)算方法 當(dāng)信道不具有對(duì)稱(chēng)性時(shí) 信道容量不容易求出 從信道容量的定義知道 信道容量就是在信道給定條件下 即信道轉(zhuǎn)移矩陣一定條件下 從信道所有可能輸入概率分布中尋找一種最佳分布 使得信道輸入 輸出之間的平均互信息量最大 換句話(huà)說(shuō) 使得信道的輸入概率分布與信道匹配 對(duì)于一般離散信道 首先假設(shè)信道的輸入概率分布 根據(jù)信道容量的定義和輸入概率分布的約束條件 直接求解極值問(wèn)題即可得到最佳分布 然后根據(jù)最佳分布計(jì)算信道輸入 輸出之間的平均互信息量 從而得到信道容量 如果信道輸入 輸出符號(hào)數(shù)量較少 那么這種方法是可行的 例3 5信道轉(zhuǎn)移矩陣為 2020 1 22 53 求信道輸入最佳分布和信道容量C 解觀察信道轉(zhuǎn)移矩陣可知 該信道不是對(duì)稱(chēng)的 信道的輸入 輸出符號(hào)數(shù)量都為2 假設(shè)信道輸入符號(hào)的概率分別為p和1 p 可以得到平均互信息量 根據(jù)假設(shè)的信道輸入的概率分布 求出信道輸出概率分布p yj p y1 0 9p 0 2 1 p 0 2 0 7p p y2 0 1p 0 8 1 p 0 8 0 7p 輸入 輸出之間的平均互信息量為 2020 1 22 54 將相關(guān)參數(shù)代入上述計(jì)算公式 得到 對(duì)I X Y 求導(dǎo) 得到最佳分布 2020 1 22 55 得到p 0 532 所以信道容量為C maxI X Y 0 415比特 符號(hào)從該例可以看出 即使是簡(jiǎn)單的非對(duì)稱(chēng)二元信道 其最佳分布的求解也十分復(fù)雜 不借用計(jì)算機(jī)很難求出最佳分布 所以一般離散信道的信道容量的求解通過(guò)計(jì)算機(jī)進(jìn)行