第三章 信道容量PPT課件

《第三章 信道容量PPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《第三章 信道容量PPT課件（94頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第3章 信道容量 3 1信道容量的數(shù)學(xué)模型和分類 3 2單符號(hào)離散信道 3 3多符號(hào)離散信道 3 4連續(xù)信道 3 5信道編碼定理 2019 12 31 3 信道模型和信道容量 信道傳送信息的載體 信號(hào)通過的通道 任務(wù)是以信號(hào)方式傳輸信息 存儲(chǔ)信息 研究信道就是研究信道中理論上能夠傳輸或存儲(chǔ)的最大信息量 即信道的容量問題 信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^程 信道研究方法抽象地將信道問題歸結(jié)為輸入 輸出和轉(zhuǎn)移概率矩陣三個(gè)要素來描述 3 1信道的數(shù)學(xué)模型和分類 信道的數(shù)學(xué)模型 XP Y X Y 單符號(hào)信道 多符號(hào)信道 單用戶信道 多用戶信道 無干擾信道 有干擾信道 有記憶信道 無記憶信道 3 1信道的數(shù)學(xué)模型和分類 3 2單符號(hào)離散信道 3 3多符號(hào)離散信道 3 5連續(xù)信道 3 6信道編碼定理 單符號(hào)離散信道 信道的輸入輸出都取值于離散集合 且都用一個(gè)隨機(jī)變量來表示的信道 3 2單符號(hào)離散信道的信道容量 3 2 1信道容量的定義 3 2 2幾種特殊離散信道的容量 3 2 3離散信道容量的一般計(jì)算方法 3 2 1信道容量的定義 1 數(shù)學(xué)模型 信道的輸入X輸入符號(hào)集 信道的輸出Y輸出符號(hào)集 p bj ai 稱為信道轉(zhuǎn)移概率或信道傳輸概率p ai bj 稱為反信道轉(zhuǎn)移概率或信道傳輸概率 2 信道轉(zhuǎn)移概率矩陣P 信道矩陣 若行表示輸入X 列表示輸出Y 信道矩陣為n行m列矩陣 也可用p ai bj 反信道轉(zhuǎn)移概率構(gòu)造的反信道矩陣描述信道兩端的相互依賴關(guān)系 信道轉(zhuǎn)移概率矩陣 信道矩陣 描述輸入 輸出的統(tǒng)計(jì)依賴關(guān)系 反映信道統(tǒng)計(jì)特性 3 信息傳輸率R與信息傳輸速率Rt R定義為 信道中平均每個(gè)符號(hào)所能傳送的信息量 單位 比特 符號(hào) 如果平均傳輸一個(gè)符號(hào)為t秒 則信道每秒平均傳輸?shù)男畔⒘縍t 單位 比特 秒 一般稱為信息傳輸速率 平均互信息I X Y 是接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量 信道的信息傳輸率就是平均互信息R I X Y 如果輸入H X 則希望輸出端接收的信息量就是H X 但由于干擾 一般情況下只能接收到I X Y 它是平均意義上每傳送一個(gè)符號(hào)流經(jīng)信道的平均信息量 I X Y 理解為信道的信息傳輸率 或信息率 意味著輸出端只能獲得關(guān)于輸入的部分信息 I X Y 是信源無條件概率分布和信道轉(zhuǎn)移概率分布的二元函數(shù) I X Y 是的上凸函數(shù) 一次總能找到一種概率分布 是信道所能傳送的信息率為最大 定義這個(gè)最大信息傳輸率為信道容量 記為C 其單位是比特 符號(hào) 對(duì)于一個(gè)固定的信道 總存在一種信源概率分布 使傳輸每一個(gè)符號(hào)平均獲得的信息量最大 即平均互信息I X Y 最大 而相應(yīng)的概率分布p ai 稱為最佳輸入分布 3 信道容量的定義 定義 信道容量為平均互信息的最大值 平均互信息I X Y 是輸入變量X概率分布 p ai 的上凸函數(shù) 信道容量 如果平均傳輸一個(gè)符號(hào)需要t秒鐘 則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘緾t 單位 比特 秒 為 3 2單符號(hào)離散信道的信道容量 3 2 1信道容量的定義 3 2 2幾種特殊離散信道的容量 3 2 3離散信道容量的一般計(jì)算方法 3 2 2幾種特殊離散信道的信道容量 一 離散無噪信道的信道容量離散無噪信道的輸出Y與輸入X之間有著確定的關(guān)系 一般有以下三類 1 具有一一對(duì)應(yīng)關(guān)系的無噪信道 無損確定信道 2 具有擴(kuò)展性能的無噪信道 無損信道 3 具有歸并性能的無噪信道 確定信道 1 具有一一對(duì)應(yīng)關(guān)系的無噪信道 無損確定信道 一 離散無噪信道 信道的輸入和輸出是一一對(duì)應(yīng)關(guān)系 X Y一一對(duì)應(yīng)C maxI X Y logn p ai 1 具有一一對(duì)應(yīng)關(guān)系的無噪信道 無損確定信道 X和Y有確定的對(duì)應(yīng)關(guān)系 即已知X后Y沒有不確定性 反之 亦然 信道的噪聲熵H Y X 和損失熵H X Y 均等于零 故無損確定信道的平均互信息為I X Y H X H Y 它表示信道輸出端接收到符號(hào)Y后 平均獲得的信息量就是信源發(fā)出每個(gè)符號(hào)所含有的平均信息量 信道中沒有損失信息 當(dāng)信源等概分布時(shí) 具有一一對(duì)應(yīng)的確定關(guān)系的無噪信道達(dá)到其信道容量 其值就是信源X的最大熵值 2 具有擴(kuò)展性能的無噪信道 無損信道 無損信道的一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸出 如右圖所示 信道矩陣中每列中只有一非零元素 即已知Y后 X不再有任何不確定度 故損失熵H X Y 0 每列就有一個(gè)非零元素 即已知Y后 X不再有任何不確定度 2 具有擴(kuò)展性能的無噪信道 無損信道 在這類信道中 因?yàn)樾旁窗l(fā)生符號(hào)ai 并不能確定在信道輸出端會(huì)發(fā)生哪個(gè)bj 因此噪聲熵H Y X 0 于是 可求出無損信道的平均互信息為I X Y H X H Y 輸入端符號(hào)熵小于輸出端符號(hào)熵其信道容量 一個(gè)輸入對(duì)應(yīng)多個(gè)輸出 3 具有歸并性能的無噪信道 確定信道 H X Y 0 H Y X 0 多個(gè)輸入變成一個(gè)輸出 信道矩陣中每行中只有一非零元素 即已知X后 Y不再有任何不確定度 故噪聲熵H Y X 0 在這類信道中 信道輸出端接收到某個(gè)yj以后 并不能斷定是哪一個(gè)輸入符號(hào)xi 因此損失熵H X Y 0 于是 可求出確定信道的平均互信息為I X Y H Y H X 其信道容量達(dá)到此類信道的信道容量的概率分布是使信道輸出分布為等概分布的輸入分布 3 具有歸并性能的無噪信道 確定信道 調(diào)整輸入p ai 使輸出H Y 最大 需要注意 求信道容量時(shí) 調(diào)整的始終是輸入端的概率分布 盡管上式中互信息量等于輸出端符號(hào)熵 但是在求極大值時(shí) 調(diào)整的仍然是輸入端的概率分布 而不能是輸出端的概率分布 對(duì)于無噪信道 求信道容量C的問題 已經(jīng)從求I X Y 的極值問題退化為求H Y 或H X 的極值問題 無噪信道的信道容量C只決定于信道的輸入符號(hào)數(shù)n 或輸出符號(hào)數(shù)m 與信源無關(guān) 是表征信道特性的一個(gè)參量 離散無噪信道 總結(jié) 3 2 2幾種特殊離散信道的信道容量 信道矩陣具有對(duì)稱性的特殊信道 二 強(qiáng)對(duì)稱離散信道 均勻信道 三 對(duì)稱離散信道四 準(zhǔn)對(duì)稱離散信道 二 強(qiáng)對(duì)稱 均勻 離散信道的信道容量 P 總體錯(cuò)誤概率 nXn 強(qiáng)對(duì)稱信道的幾個(gè)特性 強(qiáng)對(duì)稱信道是對(duì)稱信道的一個(gè)特例 輸入符號(hào)數(shù)與輸出符號(hào)數(shù)相等 信道中總的錯(cuò)誤概率為p 對(duì)稱地平均分配給n 1個(gè)輸出符號(hào) n為輸入符號(hào)的個(gè)數(shù) 均勻信道中不僅各行之和為1 而且各列之和也為1 一般信道各列之和不一定等于1 強(qiáng)對(duì)稱信道的信道容量C 求輸入分布使H Y 最大 二進(jìn)制均勻信道容量C 1 H p 其中H p 1 p log 1 p plogp 二進(jìn)制均勻信道容量曲線 三 對(duì)稱離散信道的信道容量 矩陣中的每行都是集合Q q1 q2 qm 中的諸元素的不同排列 稱矩陣的行是可排列的 矩陣中的每列都是集合P p1 p2 pn 中的諸元素的不同排列 稱矩陣的列是可排列的 如果矩陣的行和列都是可排列的 稱矩陣是可排列的 三 對(duì)稱離散信道 定義 如果一個(gè)信道矩陣具有可排列性 則它所表示的信道稱為對(duì)稱信道 矩陣具有可排列性 矩陣的行和列都是可排列的 對(duì)稱信道 對(duì)稱信道中 當(dāng)nm Q是P的子集 當(dāng)n m時(shí) P Q 練習(xí) 判斷下列矩陣表示的信道是否是對(duì)稱信道 對(duì)稱離散信道的信道容量C 相應(yīng)的 強(qiáng)對(duì)稱信道與對(duì)稱信道比較 四 準(zhǔn)對(duì)稱離散信道 定義 若信道矩陣的行是可排列的 但列不可排列 如果把列分成s個(gè)不相交的子集 各子集分別有m1 m2 ms個(gè)元素 m1 m2 ms m 且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列的 則稱相應(yīng)的信道為準(zhǔn)對(duì)稱信道 矩陣的行是可排列的 列不可排列 子矩陣具有可排列性 由行的可排列性有 故有 m1 m2 把子集Mk中的p bj 變成其均值 將使第k個(gè)子集的熵達(dá)到最大 由于子矩陣Pk具有可排列性 只要信源X呈等概率分布 即可使第k個(gè)子集中的輸出概率相等 相應(yīng)的準(zhǔn)對(duì)稱信道的信道容量為 假設(shè)此時(shí)將矩陣的列分為S個(gè)子集 每個(gè)子集的元素個(gè)數(shù)分別是m1 m2 ms p a1 p a2 0 5 3 2單符號(hào)離散信道 3 2 1信道容量的定義 3 2 2幾種特殊離散信道的容量 3 2 3離散信道容量的一般計(jì)算方法 3 2 3離散信道容量的一般計(jì)算方法 拉格朗日乘子法 拉格朗日乘子 Lagrangemultiplier 基本的拉格朗日乘子法 又稱為拉格朗日乘數(shù)法 就是求函數(shù)f x1 x2 在g x1 x2 0的約束條件下的極值的方法 其主要思想是引入一個(gè)新的參數(shù) 即拉格朗日乘子 將約束條件函數(shù)與原函數(shù)聯(lián)系到一起 使能配成與變量數(shù)量相等的等式方程 從而求出得到原函數(shù)極值的各個(gè)變量的解 假設(shè)需要求極值的目標(biāo)函數(shù) objectivefunction 為f x y 限制條件為 x y M設(shè)g x y M x y 定義一個(gè)新函數(shù)F x y f x y g x y 則用偏導(dǎo)數(shù)方法列出方程 F x 0 F y 0 F 0求出x y 的值 代入即可得到目標(biāo)函數(shù)的極值 數(shù)學(xué)手冊(cè) 3 2 3離散信道容量的一般計(jì)算方法 對(duì)一般離散信道而言 求信道容量 就是在固定信道的條件下 對(duì)所有可能的輸入概率分布p ai 求平均互信息的極大值 采用拉格朗日乘子法來計(jì)算 拉格朗日乘子 1 兩邊乘p ai 并求和 則有 2 H Y H Y X 將 2 代入 1 則有 3 4 則 3 變?yōu)?5 6 7 總結(jié)C的求法 過程如下 一般離散信道容量的計(jì)算步驟 例 信道矩陣如下 求C 1 2 3 4 3 1信道的數(shù)學(xué)模型和分類 3 2單符號(hào)離散信道 3 3多符號(hào)離散信道 3 5連續(xù)信道 3 6信道編碼定理 3 3多符號(hào)離散信道 3 3 1多符號(hào)離散信道的數(shù)學(xué)模型 3 3 2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量 多符號(hào)離散信道 在不同時(shí)刻有多個(gè)來自于同一信源的隨機(jī)變量通過離散信道傳輸 形成多符號(hào)離散信道 1 多符號(hào)離散信道 N次擴(kuò)展信道 若多符號(hào)離散信源X X1X2 XN在N個(gè)不同的時(shí)刻分別通過單符號(hào)離散信道 XP Y X Y 則在輸出端出現(xiàn)相應(yīng)的隨機(jī)序列Y Y1Y2 YN 于是形成一個(gè)新的信道 稱為多符號(hào)離散信道 由于新信道相當(dāng)于單符號(hào)離散信道在N個(gè)不同時(shí)刻連續(xù)運(yùn)用了N次 所以有時(shí)也稱為單符號(hào)離散信道 XP Y X Y 的N次擴(kuò)展信道 2 多符號(hào)離散信道的數(shù)學(xué)模型 則X共有nN個(gè)不同的元素 輸入 輸出 3 多符號(hào)離散信道的信道矩陣 3 3多符號(hào)離散信道 3 3 1多符號(hào)離散信道的數(shù)學(xué)模型 3 3 2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量 3 3 2離散無記憶信道的N次擴(kuò)展信道的信道容量 3 3 2離散無記憶信道的N次擴(kuò)展信道 定義 若離散信道對(duì)任意N長(zhǎng)的輸入 輸出序列 信道的傳遞概率滿足 稱之為離散無記憶信道的N次擴(kuò)展信道 簡(jiǎn)記為DMC 其數(shù)學(xué)模型為 X P Yk Xk Y 此單符號(hào)離散信道稱為離散無記憶信道 對(duì)于DMC 在任何時(shí)刻信道的輸出只與此時(shí)的信道輸入有關(guān) 而與以前的輸入無關(guān) 離散無記憶信道的N次擴(kuò)展信道的傳遞概率等于各單位時(shí)刻相應(yīng)的單符號(hào)離散無記憶信道的傳遞概率的連乘 無記憶性 k時(shí)刻的輸出只與k時(shí)刻的輸入有關(guān) 與之前的輸入輸出無關(guān) 無預(yù)感性 如果k時(shí)刻之前的輸出隨機(jī)變量序列只于k時(shí)刻之前的輸入隨機(jī)變量序列有關(guān) 與以后的第k時(shí)刻的輸入隨機(jī)變量無關(guān) 離散無記憶信道的N次擴(kuò)展信道的平均互信息 不大于N個(gè)隨機(jī)變量X1X2 XN單獨(dú)通過信道的平均信息量之和 離散無記憶信道的N次擴(kuò)展信道既是無記憶的 又是無預(yù)感的 當(dāng)且僅當(dāng)輸入端X1X2 XN無記憶 輸出端Yk相互獨(dú)立 此時(shí)有 離散無記憶信道的N次擴(kuò)展信道 當(dāng)輸入端的N個(gè)輸入隨機(jī)變量統(tǒng)計(jì)獨(dú)立時(shí) 信道的總平均互信息等于這N個(gè)變量單獨(dú)通過信道的平均互信息量之和 當(dāng)輸入X1X2 XN的隨機(jī)變量都取遍于同一符號(hào)集合 輸出隨機(jī)變量Yk也取遍于同一符號(hào)集合 且相互統(tǒng)計(jì)獨(dú)立 所以 離散無記憶信道的N次擴(kuò)展信道 如果輸入端信源也是離散無記憶信源的N次擴(kuò)展信源 則信道總的平均互信息量是單符號(hào)離散無記憶信道的平均互信息量的N倍 離散無記憶信道的N次擴(kuò)展信道的信道容量 也可理解為 離散無記憶信道的N次擴(kuò)展信道等效為N個(gè)單符號(hào)離散信道 并且N個(gè)信道之間沒有任何關(guān)聯(lián)關(guān)系 相當(dāng)于N個(gè)毫不相干的單符號(hào)離散信道在分別傳送各自的信息 用C和CN分別表示離散無記憶信道及其N次擴(kuò)展信道的容量為 CN NC 3 3 3獨(dú)立并聯(lián)信道的信道容量 將離散無記憶信道的N次擴(kuò)展信道加以推廣 令信道的輸入和輸出隨機(jī)變量序列中的各隨機(jī)變量分別取值于不同的符號(hào)集合 就構(gòu)成了獨(dú)立并聯(lián)信道 也稱獨(dú)立并列信道 獨(dú)立平行信道或積信道 用CN表示N個(gè)獨(dú)立并聯(lián)信道的容量 Ck表示第k個(gè)單符號(hào)離散無記憶信道的信道容量 則有 獨(dú)立并聯(lián)信道的信道容量 當(dāng)N個(gè)輸入隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立 且每個(gè)輸入隨機(jī)變量Xk的概率分布為達(dá)到各自信道容量Ck的最佳分布時(shí) CN達(dá)到其最大值 3 5連續(xù)信道 連續(xù)信道的數(shù)學(xué)模型 加性連續(xù)信道 利用坐標(biāo)變換原理 可證p y x p n X N相互獨(dú)立 噪聲功率 輸入平均功率 輸出平均功率 對(duì)于高斯加性信道 信噪功率比 香農(nóng)公式 bit s 信噪比SNR 10lg 信噪功率比 dB 3 1信道的數(shù)學(xué)模型和分類 3 2單符號(hào)離散信道 3 3多符號(hào)離散信道 3 4多用戶信道 3 5連續(xù)信道 3 6信道編碼定理 3 6信道編碼定理 香農(nóng)第二定理 結(jié)論 C是一個(gè)臨界值 R C R C C是一個(gè)臨界值 總結(jié) 1 信道容量的含義及其數(shù)學(xué)模型2 信道傳遞概率矩陣 信道矩陣 3 幾種特殊信道的信道容量計(jì)算公式離散無噪信道具有一一對(duì)應(yīng)具有擴(kuò)展性能具有歸并性能強(qiáng)對(duì)稱信道對(duì)稱信道準(zhǔn)對(duì)稱信道4 離散信道容量的一般計(jì)算過程5 離散無記憶擴(kuò)展信道的信道容量6 連續(xù)信道的信道容量7 信道編碼定理 同學(xué)們 來學(xué)校和回家的路上要注意安全 同學(xué)們 來學(xué)校和回家的路上要注意安全