第三章 信道容量PPT課件

《第三章 信道容量PPT課件》由會員分享，可在線閱讀，更多相關(guān)《第三章 信道容量PPT課件（94頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第3章 信道容量 3 1信道容量的數(shù)學模型和分類 3 2單符號離散信道 3 3多符號離散信道 3 4連續(xù)信道 3 5信道編碼定理 2019 12 31 3 信道模型和信道容量 信道傳送信息的載體 信號通過的通道 任務是以信號方式傳輸信息 存儲信息 研究信道就是研究信道中理論上能夠傳輸或存儲的最大信息量 即信道的容量問題 信息論不研究信號在信道中傳輸?shù)奈锢磉^程 信道研究方法抽象地將信道問題歸結(jié)為輸入 輸出和轉(zhuǎn)移概率矩陣三個要素來描述 3 1信道的數(shù)學模型和分類 信道的數(shù)學模型 XP Y X Y 單符號信道 多符號信道 單用戶信道 多用戶信道 無干擾信道 有干擾信道 有記憶信道 無記憶信道 3 1信道的數(shù)學模型和分類 3 2單符號離散信道 3 3多符號離散信道 3 5連續(xù)信道 3 6信道編碼定理 單符號離散信道 信道的輸入輸出都取值于離散集合 且都用一個隨機變量來表示的信道 3 2單符號離散信道的信道容量 3 2 1信道容量的定義 3 2 2幾種特殊離散信道的容量 3 2 3離散信道容量的一般計算方法 3 2 1信道容量的定義 1 數(shù)學模型 信道的輸入X輸入符號集 信道的輸出Y輸出符號集 p bj ai 稱為信道轉(zhuǎn)移概率或信道傳輸概率p ai bj 稱為反信道轉(zhuǎn)移概率或信道傳輸概率 2 信道轉(zhuǎn)移概率矩陣P 信道矩陣 若行表示輸入X 列表示輸出Y 信道矩陣為n行m列矩陣 也可用p ai bj 反信道轉(zhuǎn)移概率構(gòu)造的反信道矩陣描述信道兩端的相互依賴關(guān)系 信道轉(zhuǎn)移概率矩陣 信道矩陣 描述輸入 輸出的統(tǒng)計依賴關(guān)系 反映信道統(tǒng)計特性 3 信息傳輸率R與信息傳輸速率Rt R定義為 信道中平均每個符號所能傳送的信息量 單位 比特 符號 如果平均傳輸一個符號為t秒 則信道每秒平均傳輸?shù)男畔⒘縍t 單位 比特 秒 一般稱為信息傳輸速率 平均互信息I X Y 是接收到符號Y后平均每個符號獲得的關(guān)于X的信息量 信道的信息傳輸率就是平均互信息R I X Y 如果輸入H X 則希望輸出端接收的信息量就是H X 但由于干擾 一般情況下只能接收到I X Y 它是平均意義上每傳送一個符號流經(jīng)信道的平均信息量 I X Y 理解為信道的信息傳輸率 或信息率 意味著輸出端只能獲得關(guān)于輸入的部分信息 I X Y 是信源無條件概率分布和信道轉(zhuǎn)移概率分布的二元函數(shù) I X Y 是的上凸函數(shù) 一次總能找到一種概率分布 是信道所能傳送的信息率為最大 定義這個最大信息傳輸率為信道容量 記為C 其單位是比特 符號 對于一個固定的信道 總存在一種信源概率分布 使傳輸每一個符號平均獲得的信息量最大 即平均互信息I X Y 最大 而相應的概率分布p ai 稱為最佳輸入分布 3 信道容量的定義 定義 信道容量為平均互信息的最大值 平均互信息I X Y 是輸入變量X概率分布 p ai 的上凸函數(shù) 信道容量 如果平均傳輸一個符號需要t秒鐘 則信道在單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘緾t 單位 比特 秒 為 3 2單符號離散信道的信道容量 3 2 1信道容量的定義 3 2 2幾種特殊離散信道的容量 3 2 3離散信道容量的一般計算方法 3 2 2幾種特殊離散信道的信道容量 一 離散無噪信道的信道容量離散無噪信道的輸出Y與輸入X之間有著確定的關(guān)系 一般有以下三類 1 具有一一對應關(guān)系的無噪信道 無損確定信道 2 具有擴展性能的無噪信道 無損信道 3 具有歸并性能的無噪信道 確定信道 1 具有一一對應關(guān)系的無噪信道 無損確定信道 一 離散無噪信道 信道的輸入和輸出是一一對應關(guān)系 X Y一一對應C maxI X Y logn p ai 1 具有一一對應關(guān)系的無噪信道 無損確定信道 X和Y有確定的對應關(guān)系 即已知X后Y沒有不確定性 反之 亦然 信道的噪聲熵H Y X 和損失熵H X Y 均等于零 故無損確定信道的平均互信息為I X Y H X H Y 它表示信道輸出端接收到符號Y后 平均獲得的信息量就是信源發(fā)出每個符號所含有的平均信息量 信道中沒有損失信息 當信源等概分布時 具有一一對應的確定關(guān)系的無噪信道達到其信道容量 其值就是信源X的最大熵值 2 具有擴展性能的無噪信道 無損信道 無損信道的一個輸入對應多個互不相交的輸出 如右圖所示 信道矩陣中每列中只有一非零元素 即已知Y后 X不再有任何不確定度 故損失熵H X Y 0 每列就有一個非零元素 即已知Y后 X不再有任何不確定度 2 具有擴展性能的無噪信道 無損信道 在這類信道中 因為信源發(fā)生符號ai 并不能確定在信道輸出端會發(fā)生哪個bj 因此噪聲熵H Y X 0 于是 可求出無損信道的平均互信息為I X Y H X H Y 輸入端符號熵小于輸出端符號熵其信道容量 一個輸入對應多個輸出 3 具有歸并性能的無噪信道 確定信道 H X Y 0 H Y X 0 多個輸入變成一個輸出 信道矩陣中每行中只有一非零元素 即已知X后 Y不再有任何不確定度 故噪聲熵H Y X 0 在這類信道中 信道輸出端接收到某個yj以后 并不能斷定是哪一個輸入符號xi 因此損失熵H X Y 0 于是 可求出確定信道的平均互信息為I X Y H Y H X 其信道容量達到此類信道的信道容量的概率分布是使信道輸出分布為等概分布的輸入分布 3 具有歸并性能的無噪信道 確定信道 調(diào)整輸入p ai 使輸出H Y 最大 需要注意 求信道容量時 調(diào)整的始終是輸入端的概率分布 盡管上式中互信息量等于輸出端符號熵 但是在求極大值時 調(diào)整的仍然是輸入端的概率分布 而不能是輸出端的概率分布 對于無噪信道 求信道容量C的問題 已經(jīng)從求I X Y 的極值問題退化為求H Y 或H X 的極值問題 無噪信道的信道容量C只決定于信道的輸入符號數(shù)n 或輸出符號數(shù)m 與信源無關(guān) 是表征信道特性的一個參量 離散無噪信道 總結(jié) 3 2 2幾種特殊離散信道的信道容量 信道矩陣具有對稱性的特殊信道 二 強對稱離散信道 均勻信道 三 對稱離散信道四 準對稱離散信道 二 強對稱 均勻 離散信道的信道容量 P 總體錯誤概率 nXn 強對稱信道的幾個特性 強對稱信道是對稱信道的一個特例 輸入符號數(shù)與輸出符號數(shù)相等 信道中總的錯誤概率為p 對稱地平均分配給n 1個輸出符號 n為輸入符號的個數(shù) 均勻信道中不僅各行之和為1 而且各列之和也為1 一般信道各列之和不一定等于1 強對稱信道的信道容量C 求輸入分布使H Y 最大 二進制均勻信道容量C 1 H p 其中H p 1 p log 1 p plogp 二進制均勻信道容量曲線 三 對稱離散信道的信道容量 矩陣中的每行都是集合Q q1 q2 qm 中的諸元素的不同排列 稱矩陣的行是可排列的 矩陣中的每列都是集合P p1 p2 pn 中的諸元素的不同排列 稱矩陣的列是可排列的 如果矩陣的行和列都是可排列的 稱矩陣是可排列的 三 對稱離散信道 定義 如果一個信道矩陣具有可排列性 則它所表示的信道稱為對稱信道 矩陣具有可排列性 矩陣的行和列都是可排列的 對稱信道 對稱信道中 當nm Q是P的子集 當n m時 P Q 練習 判斷下列矩陣表示的信道是否是對稱信道 對稱離散信道的信道容量C 相應的 強對稱信道與對稱信道比較 四 準對稱離散信道 定義 若信道矩陣的行是可排列的 但列不可排列 如果把列分成s個不相交的子集 各子集分別有m1 m2 ms個元素 m1 m2 ms m 且由n行和各子集的諸列構(gòu)成的各個子矩陣都是可排列的 則稱相應的信道為準對稱信道 矩陣的行是可排列的 列不可排列 子矩陣具有可排列性 由行的可排列性有 故有 m1 m2 把子集Mk中的p bj 變成其均值 將使第k個子集的熵達到最大 由于子矩陣Pk具有可排列性 只要信源X呈等概率分布 即可使第k個子集中的輸出概率相等 相應的準對稱信道的信道容量為 假設此時將矩陣的列分為S個子集 每個子集的元素個數(shù)分別是m1 m2 ms p a1 p a2 0 5 3 2單符號離散信道 3 2 1信道容量的定義 3 2 2幾種特殊離散信道的容量 3 2 3離散信道容量的一般計算方法 3 2 3離散信道容量的一般計算方法 拉格朗日乘子法 拉格朗日乘子 Lagrangemultiplier 基本的拉格朗日乘子法 又稱為拉格朗日乘數(shù)法 就是求函數(shù)f x1 x2 在g x1 x2 0的約束條件下的極值的方法 其主要思想是引入一個新的參數(shù) 即拉格朗日乘子 將約束條件函數(shù)與原函數(shù)聯(lián)系到一起 使能配成與變量數(shù)量相等的等式方程 從而求出得到原函數(shù)極值的各個變量的解 假設需要求極值的目標函數(shù) objectivefunction 為f x y 限制條件為 x y M設g x y M x y 定義一個新函數(shù)F x y f x y g x y 則用偏導數(shù)方法列出方程 F x 0 F y 0 F 0求出x y 的值 代入即可得到目標函數(shù)的極值 數(shù)學手冊 3 2 3離散信道容量的一般計算方法 對一般離散信道而言 求信道容量 就是在固定信道的條件下 對所有可能的輸入概率分布p ai 求平均互信息的極大值 采用拉格朗日乘子法來計算 拉格朗日乘子 1 兩邊乘p ai 并求和 則有 2 H Y H Y X 將 2 代入 1 則有 3 4 則 3 變?yōu)?5 6 7 總結(jié)C的求法 過程如下 一般離散信道容量的計算步驟 例 信道矩陣如下 求C 1 2 3 4 3 1信道的數(shù)學模型和分類 3 2單符號離散信道 3 3多符號離散信道 3 5連續(xù)信道 3 6信道編碼定理 3 3多符號離散信道 3 3 1多符號離散信道的數(shù)學模型 3 3 2離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量 多符號離散信道 在不同時刻有多個來自于同一信源的隨機變量通過離散信道傳輸 形成多符號離散信道 1 多符號離散信道 N次擴展信道 若多符號離散信源X X1X2 XN在N個不同的時刻分別通過單符號離散信道 XP Y X Y 則在輸出端出現(xiàn)相應的隨機序列Y Y1Y2 YN 于是形成一個新的信道 稱為多符號離散信道 由于新信道相當于單符號離散信道在N個不同時刻連續(xù)運用了N次 所以有時也稱為單符號離散信道 XP Y X Y 的N次擴展信道 2 多符號離散信道的數(shù)學模型 則X共有nN個不同的元素 輸入 輸出 3 多符號離散信道的信道矩陣 3 3多符號離散信道 3 3 1多符號離散信道的數(shù)學模型 3 3 2離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量 3 3 2離散無記憶信道的N次擴展信道的信道容量 3 3 2離散無記憶信道的N次擴展信道 定義 若離散信道對任意N長的輸入 輸出序列 信道的傳遞概率滿足 稱之為離散無記憶信道的N次擴展信道 簡記為DMC 其數(shù)學模型為 X P Yk Xk Y 此單符號離散信道稱為離散無記憶信道 對于DMC 在任何時刻信道的輸出只與此時的信道輸入有關(guān) 而與以前的輸入無關(guān) 離散無記憶信道的N次擴展信道的傳遞概率等于各單位時刻相應的單符號離散無記憶信道的傳遞概率的連乘 無記憶性 k時刻的輸出只與k時刻的輸入有關(guān) 與之前的輸入輸出無關(guān) 無預感性 如果k時刻之前的輸出隨機變量序列只于k時刻之前的輸入隨機變量序列有關(guān) 與以后的第k時刻的輸入隨機變量無關(guān) 離散無記憶信道的N次擴展信道的平均互信息 不大于N個隨機變量X1X2 XN單獨通過信道的平均信息量之和 離散無記憶信道的N次擴展信道既是無記憶的 又是無預感的 當且僅當輸入端X1X2 XN無記憶 輸出端Yk相互獨立 此時有 離散無記憶信道的N次擴展信道 當輸入端的N個輸入隨機變量統(tǒng)計獨立時 信道的總平均互信息等于這N個變量單獨通過信道的平均互信息量之和 當輸入X1X2 XN的隨機變量都取遍于同一符號集合 輸出隨機變量Yk也取遍于同一符號集合 且相互統(tǒng)計獨立 所以 離散無記憶信道的N次擴展信道 如果輸入端信源也是離散無記憶信源的N次擴展信源 則信道總的平均互信息量是單符號離散無記憶信道的平均互信息量的N倍 離散無記憶信道的N次擴展信道的信道容量 也可理解為 離散無記憶信道的N次擴展信道等效為N個單符號離散信道 并且N個信道之間沒有任何關(guān)聯(lián)關(guān)系 相當于N個毫不相干的單符號離散信道在分別傳送各自的信息 用C和CN分別表示離散無記憶信道及其N次擴展信道的容量為 CN NC 3 3 3獨立并聯(lián)信道的信道容量 將離散無記憶信道的N次擴展信道加以推廣 令信道的輸入和輸出隨機變量序列中的各隨機變量分別取值于不同的符號集合 就構(gòu)成了獨立并聯(lián)信道 也稱獨立并列信道 獨立平行信道或積信道 用CN表示N個獨立并聯(lián)信道的容量 Ck表示第k個單符號離散無記憶信道的信道容量 則有 獨立并聯(lián)信道的信道容量 當N個輸入隨機變量之間統(tǒng)計獨立 且每個輸入隨機變量Xk的概率分布為達到各自信道容量Ck的最佳分布時 CN達到其最大值 3 5連續(xù)信道 連續(xù)信道的數(shù)學模型 加性連續(xù)信道 利用坐標變換原理 可證p y x p n X N相互獨立 噪聲功率 輸入平均功率 輸出平均功率 對于高斯加性信道 信噪功率比 香農(nóng)公式 bit s 信噪比SNR 10lg 信噪功率比 dB 3 1信道的數(shù)學模型和分類 3 2單符號離散信道 3 3多符號離散信道 3 4多用戶信道 3 5連續(xù)信道 3 6信道編碼定理 3 6信道編碼定理 香農(nóng)第二定理 結(jié)論 C是一個臨界值 R C R C C是一個臨界值 總結(jié) 1 信道容量的含義及其數(shù)學模型2 信道傳遞概率矩陣 信道矩陣 3 幾種特殊信道的信道容量計算公式離散無噪信道具有一一對應具有擴展性能具有歸并性能強對稱信道對稱信道準對稱信道4 離散信道容量的一般計算過程5 離散無記憶擴展信道的信道容量6 連續(xù)信道的信道容量7 信道編碼定理 同學們 來學校和回家的路上要注意安全 同學們 來學校和回家的路上要注意安全