《信息論基礎(chǔ)教程》第二版PPT課件

《信息論基礎(chǔ)教程》第二版PPT課件,信息論基礎(chǔ)教程,信息論,基礎(chǔ)教程,第二,PPT,課件 第四章：信道及信道容量一、信道一、信道分類分類二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量四、四、組合信道及其信道容量組合信道及其信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量六、六、波形信道及其信道容量波形信道及其信道容量一.信道分類第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量l 信道的主要研究內(nèi)容：信道的主要研究內(nèi)容：信道的分類和建模（信道的統(tǒng)計特性描述）信道的分類和建模（信道的統(tǒng)計特性描述）信道傳輸信息的能力（信道容量）信道傳輸信息的能力（信道容量）在有噪信道中能否實現(xiàn)可靠傳輸？怎樣實現(xiàn)可靠在有噪信道中能否實現(xiàn)可靠傳輸？怎樣實現(xiàn)可靠傳輸？傳輸？l 信道是指信息傳輸?shù)耐ǖ?。包括空間傳輸和時間傳輸。信道是指信息傳輸?shù)耐ǖ?。包括空間傳輸和時間傳輸。空間傳輸：電纜、光纖、電波傳輸?shù)目臻g、載波線路。空間傳輸：電纜、光纖、電波傳輸?shù)目臻g、載波線路。時間傳輸：磁帶、光盤。時間傳輸：磁帶、光盤。信息論中的信息論中的信道劃分是人為的。信道劃分是人為的。一、信道分類一、信道分類幅度幅度時間時間信道信道分類分類名稱名稱離散離散離散離散離散信道離散信道/數(shù)字信道數(shù)字信道（例如：數(shù)字電話）（例如：數(shù)字電話）連續(xù)連續(xù)離散離散連續(xù)信道連續(xù)信道連續(xù)連續(xù)連續(xù)連續(xù)模擬信道模擬信道/波形信道波形信道（例如：普通電話）（例如：普通電話）離散離散連續(xù)連續(xù)（理論和實用價值均很?。ɡ碚摵蛯嵱脙r值均很?。﹍按輸入按輸入/輸出信號的幅度和時間特性劃分：輸出信號的幅度和時間特性劃分：一.信道分類（續(xù)1）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量一、信道分類一、信道分類l按輸入按輸入/輸出之間的記憶性來劃分：輸出之間的記憶性來劃分：無記憶信道無記憶信道：信道在某時刻的輸出只與信道該時刻：信道在某時刻的輸出只與信道該時刻的輸入有關(guān)而與信道其他時刻的輸入、輸出無關(guān)。的輸入有關(guān)而與信道其他時刻的輸入、輸出無關(guān)。有記憶信道有記憶信道：信道在某時刻的輸出與其他時刻的輸：信道在某時刻的輸出與其他時刻的輸入、輸出有關(guān)。入、輸出有關(guān)。l根據(jù)信道的根據(jù)信道的輸入輸入/輸出是否是確定關(guān)系輸出是否是確定關(guān)系可分為可分為:有噪聲信道有噪聲信道 無噪聲信道無噪聲信道一.信道分類（續(xù)2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量一、信道分類一、信道分類l 根據(jù)信道的統(tǒng)計特性是否隨時間改變可分為根據(jù)信道的統(tǒng)計特性是否隨時間改變可分為:平穩(wěn)信道平穩(wěn)信道（恒參信道、時不變信道，如衛(wèi)星通信）（恒參信道、時不變信道，如衛(wèi)星通信）非平穩(wěn)信道非平穩(wěn)信道（變參信道、時變信道，如移動通信）（變參信道、時變信道，如移動通信）一.信道分類（續(xù)3）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量一、信道分類一、信道分類l 根據(jù)輸入根據(jù)輸入/輸出的個數(shù)可分為：輸出的個數(shù)可分為：單用戶信道單用戶信道：一個輸入一個輸出單向通信。：一個輸入一個輸出單向通信。多用戶信道多用戶信道：雙向通信或三個或更多個用戶之間相雙向通信或三個或更多個用戶之間相互通信的情況互通信的情況，例如多元接，例如多元接 入信道、廣播信道、網(wǎng)入信道、廣播信道、網(wǎng)絡(luò)通信信道等。絡(luò)通信信道等。一.信道分類（續(xù)4）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量一、信道分類一、信道分類一.信道分類（續(xù)5）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量一、信道分類一、信道分類信信 道道輸入輸入X輸出輸出Y干擾、噪聲干擾、噪聲 P(Y|X)1.離散單符號信道的數(shù)學(xué)模型第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量信宿信道信源通信系統(tǒng)的簡化模型噪聲信源每發(fā)一個符號平均提供的信息量：信源每發(fā)一個符號平均提供的信息量：H(X)無噪信道無噪信道信宿可確切無誤的接收信息信宿可確切無誤的接收信息1.離散單符號信道的數(shù)學(xué)模型（續(xù)1）XYx1x2xry1y2ysP(Y|X)滿足：（1）0p(yj|xi)1(i=1,2,r；j=1,2,s)（2）(i=1,2,r)第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.離散單符號信道的數(shù)學(xué)模型（續(xù)2）l 信道傳遞概率可以用信道矩陣來表示：信道傳遞概率可以用信道矩陣來表示：第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.離散單符號信道的數(shù)學(xué)模型（續(xù)3）對于離散單符號信道來說，信道的輸入輸出均為單個符號的消息：設(shè)信道的輸入隨機(jī)變量X的取值集合為X=x1,x2,xr，相應(yīng)的概率分布為p(xi)，i=1,2,r；輸出隨機(jī)變量Y的取值集合為Y=y1,y2,ys，相應(yīng)的概率分布為p(yj)，j=1,2,s 信道特性可以用轉(zhuǎn)移概率矩陣來表示：P=p(yj|xi)rs信道的數(shù)學(xué)模型為X,P(Y|X),Y例例1：二元對稱信道二元對稱信道（BSC：binarysymmetricchannel）輸入符號集輸入符號集A=0,1,輸出符號集輸出符號集B=0,1，rs2傳遞概率：傳遞概率：0101 信道轉(zhuǎn)移概率圖信道轉(zhuǎn)移概率圖第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.離散單符號信道的數(shù)學(xué)模型（續(xù)4）例例2 2：二元刪除信道：二元刪除信道輸入符號集輸入符號集A=0,1，符號輸出集符號輸出集B=0,?,1，r=2,s=3 信道矩陣為：信道矩陣為：0 1 0?1 信道轉(zhuǎn)移概率圖信道轉(zhuǎn)移概率圖第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.離散單符號信道的數(shù)學(xué)模型（續(xù)5）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量離散信道常用的概率關(guān)系離散信道常用的概率關(guān)系:已知：先驗概率:p(xi)，i=1,2,r 前向概率(信道傳遞概率）:p(yj|xi)，i=1,2,r，j=1,2,s求：1.聯(lián)合概率:p(xi yj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)i=1,2,r；j=1,2,s1.離散單符號信道的數(shù)學(xué)模型（續(xù)6）2.輸出符號概率:j=1,2,s 矩陣表示：1.離散單符號信道的數(shù)學(xué)模型（續(xù)7）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量3.后驗概率（后向概率）:貝葉斯公式（i=1，2，r;j=1，2，s）且 j=1，2，s1.離散單符號信道的數(shù)學(xué)模型（續(xù)8）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量理想信道，H(X|Y)=0。一般情況下，。當(dāng)時，表示接收到輸出變量Y后關(guān)于輸入變量X的平均不確定性一點也沒有減少。l 信道疑義度信道疑義度H(X|Y)表示接收端收到信道輸出的一個符號之后對信道輸入的符號仍然存在的平均不確定性。1.離散單符號信道的數(shù)學(xué)模型（續(xù)9）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量l 平均互信息：平均互信息：l 平均互信息平均互信息表示接收到表示接收到Y(jié)以后，平均每個符號所獲以后，平均每個符號所獲得的關(guān)于輸入變量得的關(guān)于輸入變量X的信息量的信息量，是信道實際傳輸信息，是信道實際傳輸信息的數(shù)量。的數(shù)量。l 信源熵是信源輸出的信息量，而信源熵是信源輸出的信息量，而真正被接收者收到真正被接收者收到的信息量則是互信息的信息量則是互信息。1.離散單符號信道的數(shù)學(xué)模型（續(xù)10）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量l 平均互信息的三種表達(dá)式：平均互信息的三種表達(dá)式：l 平均互信息的性質(zhì)：平均互信息的性質(zhì)：非負(fù)性、非負(fù)性、互易性、互易性、極值性、極值性、凸函數(shù)性凸函數(shù)性1.離散單符號信道的數(shù)學(xué)模型（續(xù)11）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量定定理理1 對對于于固固定定信信道道，平平均均互互信信息息I(X;Y)是是信信源源概概率率分分布的上凸函數(shù)。布的上凸函數(shù)。物理意義：物理意義：對某一個確定信對某一個確定信道，存在一種信源分布，使道，存在一種信源分布，使平均互信息最大。最大值由平均互信息最大。最大值由信道本身的特性決定。信道本身的特性決定。1.離散單符號信道的數(shù)學(xué)模型（續(xù)12）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量定定理理2 2 對對于于給給定定信信源源，平平均均互互信信息息I I(X;Y)是是信信道道轉(zhuǎn)轉(zhuǎn)移移概概率的下凸函數(shù)率的下凸函數(shù) 。物理意義：物理意義：每一個信源都存在每一個信源都存在一種對應(yīng)的最差信道，此信道一種對應(yīng)的最差信道，此信道的干擾最大，輸出端獲得的信的干擾最大，輸出端獲得的信息量最小。息量最小。1.離散單符號信道的數(shù)學(xué)模型（續(xù)13）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.離散單符號信道的數(shù)學(xué)模型（續(xù)14）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量例3：求二元刪除信道的。已知解：由先驗概率和信道轉(zhuǎn)移矩陣可得輸出符號Y的概率分布即1.離散單符號信道的數(shù)學(xué)模型（續(xù)15）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量X、Y的聯(lián)合概率分布為 p(xi yj)=p(xi)p(yj|xi)1.離散單符號信道的數(shù)學(xué)模型（續(xù)16）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量由聯(lián)合概率分布和Y的概率分布可得后驗概率為1.離散單符號信道的數(shù)學(xué)模型（續(xù)17）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.離散單符號信道的數(shù)學(xué)模型（續(xù)18）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量另外，還可以先求得后驗熵：，再通過下式計算：1.離散單符號信道的數(shù)學(xué)模型（續(xù)19）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量2.信道容量的概念第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量l 信息傳輸率信息傳輸率R：信道中平均每個符號所傳送的信息量。信道中平均每個符號所傳送的信息量。l平均互信息平均互信息 是接收到符號是接收到符號Y后平均獲得的關(guān)于后平均獲得的關(guān)于X的信息量。所以的信息量。所以l設(shè)平均傳輸一個符號需要設(shè)平均傳輸一個符號需要t t秒，則信道每秒鐘平均傳輸秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛榈男畔⒘繛樾畔鬏斔俾市畔鬏斔俾?：l 在信道確定的情況下，在信道確定的情況下，是信源概率分布是信源概率分布 的上凸函數(shù)。因此，必然存在一種信源概率分布使信息的上凸函數(shù)。因此，必然存在一種信源概率分布使信息傳輸率傳輸率 最大。定義這個最大的信息傳輸率為最大。定義這個最大的信息傳輸率為信道容量信道容量：相應(yīng)的輸入概率分布被稱為相應(yīng)的輸入概率分布被稱為最佳輸入分布最佳輸入分布。2.信道容量的概念（續(xù)1）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量l 信道容量：信道容量：與信源的概率分布無關(guān)；與信源的概率分布無關(guān)；是完全描述信道特性的參量是完全描述信道特性的參量；是信道能夠傳輸?shù)淖畲笮畔⒘?。是信道能夠傳輸?shù)淖畲笮畔⒘俊 信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘啃诺绬挝粫r間內(nèi)平均傳輸?shù)淖畲笮畔⒘浚?.信道容量的概念（續(xù)2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量第四章：離散信道及其容量第四章：離散信道及其容量第四章：離散信道及其容量第四章：離散信道及其容量例4以二元對稱信道。信源的概率空間為信道矩陣為2.信道容量的概念（續(xù)3）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量2)固定信道，當(dāng)時，平均互信息取得最大值。1)2.信道容量的概念（續(xù)4）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量比特/符號2.信道容量的概念（續(xù)5）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量3.幾種特殊信道的信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量1.無損信道無損信道：有噪無損信道，一個輸入對應(yīng)多個輸出。(具有擴(kuò)展性能）3.幾種特殊信道的信道容量（續(xù)1）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量2.無噪無噪信道信道：無噪有損信道，它是一個輸出對應(yīng)多個輸入。（具有歸并性能）3.幾種特殊信道的信道容量（續(xù)2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量3.幾種特殊信道的信道容量（續(xù)3）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量3.無噪無損信道無噪無損信道：輸入、輸出之間有確定的一一對應(yīng)關(guān)系。3.幾種特殊信道的信道容量（續(xù)4）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量3.幾種特殊信道的信道容量（續(xù)5）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量定義1：若信道矩陣P中每行都是第一行的排列，則稱此信道是行對稱信道行對稱信道。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)1）定義2：若信道矩陣中每行都是第一行的排列，并且每列都是第一列的排列，則稱之為對稱信道對稱信道。定義3：雖然不是對稱信道，但是信道矩陣可以按列分為一些對稱的子陣，則稱之為準(zhǔn)對稱信道準(zhǔn)對稱信道。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)2）定義4：若r=s，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率p 均勻地分配到r-1個符號，則稱此信道為強(qiáng)對稱信道強(qiáng)對稱信道或均勻信道均勻信道。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)3）強(qiáng)對稱信道具備四個特征：1.矩陣中的每一行都是第一行的排列；(行對稱)矩陣中的每一列都是第一列的排列。(列對稱)2.信道輸入與輸出消息（符號）數(shù)相等，即r=s。3.錯誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯誤傳輸概率均勻地分配到r-1個符號上。4.不僅每一行元素之和為1，每一列元素之和也為1。顯然，對稱性的基本條件是1，而2、3、4是加強(qiáng)條件。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)4）放松對信道的約束，僅滿足條件1，就構(gòu)成一般的對稱信道。例1：例2：第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)5）再進(jìn)一步放松條件，信道矩陣按列分成若干子陣，如果子陣是對稱的，則稱為準(zhǔn)對稱信道。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)6）定理定理4.1 對于對稱信道，當(dāng)信道輸入概率分布為等概分布時，輸出概率分布必必為等概分布。證明：當(dāng)輸入為等概分布時則輸出，其中 為信道矩陣第j列元素之和。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)7）又因為即當(dāng)信道輸入為等概分布時，輸出 亦為等概分布。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)8）j=1,2,s而對稱信道每一列是第一列的不同排列。因此定理定理4.2對稱信道對稱信道 當(dāng)信道輸出輸出概率分布為等概的情況下達(dá)到信道容量：其中是信道矩陣中的任意一行中的元素。證明：第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)9）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)10）推論推論：對于強(qiáng)對稱信道有：C=logr-plog(r-1)-H(p)s=r第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)11）例4.2求對稱信道的信道容量，解：第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)12）準(zhǔn)對稱信道準(zhǔn)對稱信道第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)13）當(dāng)信道輸入概率分布為等概的情況下達(dá)到信道容量：設(shè)信道矩陣可劃分為n個子矩陣，其中Nk是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和。例4.3：求準(zhǔn)對稱信道的信道容量。二元對稱刪除信道：解：N1=1-q,M1=1-q,N2=q,M2=2q第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量4.離散對稱信道的信道容量（續(xù)14）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量信道容量信道容量約束條件：約束條件：求信道容量轉(zhuǎn)化為求求信道容量轉(zhuǎn)化為求 對信源概率分布對信源概率分布 的的條件極值。條件極值。解：解：引入輔助函數(shù)引入輔助函數(shù) 第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)1）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)2）令令 則則 第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)3）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)4）在某些條件下利用這個方法可以計算C：令令這是一個含有s個未知數(shù)、由r個方程組成的方程組。當(dāng)r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)5）例4.5：求以下信道的信道容量。信道矩陣 第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)6）解：解：比特比特/符符號號第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)7）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)8）例：有一信道矩陣 ，求C.第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)9）1）采用上述方法求出信道容量以后，還必須解出，因為在采用拉格朗日數(shù)乘法時并沒有加上的約束條件，因此算出的可能是負(fù)值。當(dāng)計算結(jié)果為負(fù)值時，此解無效。它表明最大值在邊界上，即某些輸入符號的概率為0。設(shè)某些輸入符號的概率為0，然后重新進(jìn)行計算。2）如果r=2，則可以直接對I(X;Y)求導(dǎo)，得到信道容量和最佳輸入分布。補(bǔ)充：補(bǔ)充：第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)10）例4.4：已知信道的轉(zhuǎn)移矩陣為 ，求信道容量。解：設(shè)輸入概率分布第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)11）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)12）例：信道及它的輸入、輸出如圖所示：（1）求最佳輸入分布。（2）求時的信道容量。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量5.一般離散信道的信道容量（續(xù)13）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量6.信道容量定理定理4.3I(X;Y)達(dá)到信道容量的充要條件是輸入分布p(xi)滿足以下充要條件：p(xi)0時I(xi;Y)C p(xi)=0時 I(xi;Y)C 某些特殊矩陣可以利用這個方法可以推導(dǎo)得到C。p(x3)=0,p(x2)=p(x4)=0，p(x1)=p(x5)=1/2p(x3)=0,p(x2)=p(x4)=p(x1)=p(x5)=1/4例4.7第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量6.信道容量定理（續(xù)1）或者例4.6當(dāng)輸入等概時準(zhǔn)對稱信道達(dá)到信道容量。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量6.信道容量定理（續(xù)2）在同一子陣在同一子陣Pl中中 第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量6.信道容量定理（續(xù)3）對于不同的對于不同的 ，所以，對于任意所以，對于任意 第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量6.信道容量定理（續(xù)4）即當(dāng)輸入等概時，準(zhǔn)對稱信道達(dá)到信道容量。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（1）令第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)1）利用約束條件再固定，求關(guān)于的極值。此時的約束條件是（2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)2）令 (3)第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)3）利用約束條件第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)4）（4）由（3）式移項得：即 （5）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)5）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)6）記：算法：1、初始化信源分布（一般為設(shè)為等概分布），信道容量相對誤差門限迭代計數(shù)器2、3、4、5、第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)7）6、7、如果 轉(zhuǎn)向9；9、停止(也可以設(shè) )第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量二、二、離散單符號信道及其信道容量離散單符號信道及其信道容量7.信道容量的迭代算法（續(xù)8）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量定定義義4.6 若若在在任任意意時時刻刻信信道道的的輸輸出出只只與與此此時時刻刻信信道道的的輸輸入入有有關(guān)關(guān)，而而與與其其他他時時刻刻的的輸輸入入和和輸輸出出無無關(guān)關(guān)，則則稱稱之之為為離離散散無無記記憶憶信信道道，簡稱為簡稱為DMC(discrete memoryless channel)。輸入、輸出隨機(jī)序列的長度為輸入、輸出隨機(jī)序列的長度為N的離散無記憶平穩(wěn)信道通常的離散無記憶平穩(wěn)信道通常稱為離散無記憶信道的稱為離散無記憶信道的N次擴(kuò)展信道。次擴(kuò)展信道。1.離散多符號信道第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)1）單符號離散信道的數(shù)學(xué)模型單符號離散信道的數(shù)學(xué)模型XYx1x2xry1y2ysp(yj|xi)XYp(yj|xi)第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)3）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)4）例4.8二元對稱信道的二次擴(kuò)展信道。解：二次擴(kuò)展信道的輸入、輸出序列的每一個隨機(jī)變量均取值于0,1，輸入共有個取值，輸出共有 個取值。根據(jù) 第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)5）可求出第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)6）同理可求出其他的轉(zhuǎn)移概率，得到信道矩陣：第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)7）定理定理4.4 4.4 若信道的輸入和輸出分別是N長序列X和Y，且信道是無記憶的，則 當(dāng)信源也是無記憶時等號成立。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)8）l對于N次擴(kuò)展信道，如果信道的輸入序列中的每一個隨機(jī)變量間是無記憶的，且均取值于同一信源符號集并且具有同一種概率分布（取自于同一概率空間），通過相同的信道傳送到輸出端，則輸出序列中的每一個隨機(jī)變量也取自同一符號集，并且具有相同的概率分布。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量1.離散多符號信道（續(xù)9）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量三、三、離散多符號信道及其信道容量離散多符號信道及其信道容量2.離散多符號信道的信道容量l由定理4.4，輸入、輸出序列長為N的離散無記憶信道l當(dāng)信源無記憶，同時輸入序列中的每一個隨機(jī)變量的分布各自達(dá)到最佳輸入分布時，N次擴(kuò)展信道達(dá)到信道容量NC。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量四、四、組合信道及其信道容量組合信道及其信道容量1.獨立并聯(lián)信道信道模型X1Y1P(Y1|X1)X2Y2P(Y2|X2)XNYNP(YN|XN)第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量四、四、組合信道及其信道容量組合信道及其信道容量1.獨立并聯(lián)信道（續(xù)1）級聯(lián)信道的總的信道矩陣等于這兩個串聯(lián)信道的信道矩陣的乘積。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量四、四、組合信道及其信道容量組合信道及其信道容量2.級聯(lián)信道例4.9設(shè)有兩個離散二元對稱信道，其級聯(lián)信道如圖所示，求級聯(lián)信道的信道容量。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量四、四、組合信道及其信道容量組合信道及其信道容量2.級聯(lián)信道（續(xù)1）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量四、四、組合信道及其信道容量組合信道及其信道容量2.級聯(lián)信道（續(xù)2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量1.連續(xù)隨機(jī)變量的互信息連續(xù)隨機(jī)變量集合X和Y之間的平均互信息定義為:連續(xù)隨機(jī)變量的平均互信息的主要性質(zhì)如下：1對稱性：2非負(fù)性：例4.10設(shè)p(xy)是二維高斯隨機(jī)變量XY的概率密度函數(shù)=求平均互信息。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量1.連續(xù)隨機(jī)變量的互信息（續(xù)1）奈特/自由度第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量1.連續(xù)隨機(jī)變量的互信息（續(xù)2）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量2.加性噪聲信道的信道容量加性高斯噪聲信道第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量2.加性噪聲信道的信道容量（續(xù)1）第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量五、五、連續(xù)信道及其信道容量連續(xù)信道及其信道容量3.多維加性高斯信道的信道容量比特/n自由度第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量六、六、波形信道及其信道容量波形信道及其信道容量1.波形信道的信道容量n=2BT第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量1.波形信道的信道容量（續(xù)1）六、六、波形信道及其信道容量波形信道及其信道容量例：模擬電話通信中，一般電話信號的帶寬3300HZ，若信噪比為20dB（即），求模擬電話信道的信道容量。比特/秒第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量1.波形信道的信道容量（續(xù)2）六、六、波形信道及其信道容量波形信道及其信道容量對于香農(nóng)公式的幾點討論：對于香農(nóng)公式的幾點討論：帶寬一定 信噪比一定 保持信道的信息傳輸率第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量1.波形信道的信道容量（續(xù)3）六、六、波形信道及其信道容量波形信道及其信道容量例：若想保持信道的信息傳輸率C=12103bit/s，當(dāng)信道的帶寬B從4103HZ減小到3103HZ，分別求出所需要的信噪比。第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量第四章：信道及信道容量1.波形信道的信道容量（續(xù)4）六、六、波形信道及其信道容量波形信道及其信道容量