《《信息論與編碼》第3章信道容量.ppt》由會員分享，可在線閱讀，更多相關《《信息論與編碼》第3章信道容量.ppt（78頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、第三章信道容量,趙永斌 石家莊鐵道大學信息科學與技術學院 2020年8月30日,信道及其容量,3.1 信道容量的數(shù)學模型和分類 3.2 單符號離散信源 3.3 多符號離散信源 3.4 連續(xù)信道 3.5 信道編碼定理,回顧,信道是傳輸信息的媒質(zhì)或通道。（輸入信道輸出） 說明 （1）信道輸入是隨機過程。 （2）信道響應特性是條件概率P(輸出值為y|輸入值為x)，又稱為轉(zhuǎn)移概率。 （3）信道輸出是隨機過程，輸出的概率分布可以由輸入的概率分布和信道的響應特性得到。（全概率公式） （4）根據(jù)信道輸入、信道響應特性、信道輸出的情況，可將信道分類：離散信道（又稱為數(shù)字信道）；連續(xù)信道（又稱為模擬信道）；特殊
2、的連續(xù)信道波形信道；恒參信道和隨參信道；無記憶信道和有記憶信道等,回顧,“離散”的含義是時間離散，事件離散。即：信道的輸入、輸出時刻是離散的，且輸入隨機變量和輸出隨機變量都是離散型的隨機變量。 “無記憶”的含義是信道響應沒有時間延遲，當時的輸出只依賴于當時的輸入。 “平穩(wěn)”的含義是信道在不同時刻的響應特性是相同的。,無干擾信道,有干擾信道,3.1 信道容量的數(shù)學模型和分類,有記憶信道,無記憶信道,單符號 信道,多符號 信道,單用戶信道,多用戶信道,,連續(xù)信道,,半離散信道,6,2020/8/30,信道分類,定義:如果 （1）信道的輸入為隨機變量序列X1, X2, X3, ，其中每個隨機變量Xu
3、的事件集合都是0, 1, , K-1， （2）信道的輸出為隨機變量序列Y1, Y2, Y3, ，其中每個隨機變量Yu的事件集合都是0, 1, , J-1， 則稱該信道為離散信道。,7,2020/8/30,信道分類,如果更有 （3）P((Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN)， 則稱該信道為離散無記憶信道（DMC）。 如果更有 （4）對任意x0, 1, , K-1，y0, 1, , J-1，任意兩個時刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 則稱該信道
4、為離散無記憶平穩(wěn)信道或恒參信道。,信道容量的數(shù)學模型,信道容量的數(shù)學模型,信道的數(shù)學模型：,X P(Y/X) Y,信道在某一時刻u的響應特性P(Yu=y|Xu=x)； x0, 1, , K-1，y0, 1, , J-1，,信道容量的數(shù)學模型,二元對稱信道BSC 當N1時 p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 當N=2時， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0
5、.1=0.01,11,2020/8/30,信道容量的數(shù)學模型,（1）轉(zhuǎn)移概率矩陣的每一行都是一個概率向量。,,,12,信道容量的數(shù)學模型,（2）對任意y0, 1, , J-1，由全概率公式有,,3.2 單符號離散信道的信道容量,1 信道容量的定義 2 幾種特殊離散信道的容量 3 離散信道容量的一般計算方法,信道容量的定義,I(X; Y)是概率向量q(x), x0, 1, , K-1和轉(zhuǎn)移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1的函數(shù)。,信道容量的定義,設轉(zhuǎn)移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1（是信道的響應特性）確定，希望選擇
6、概率向量q(x), x0, 1, , K-1使I(X; Y) 達到最大。,信道容量,,,,信道單位時間傳輸?shù)淖畲笮畔⒘?定義離散無記憶信道的信道容量定義為如下的C。達到信道容量的輸入概率分布x, p(x), x0, 1, , K-1稱為最佳輸入分布。 其中,信道容量表示了信道傳送信息的最大能力，這個量在信息論研究中有重要意義。傳送的信息量必須小于信道容量C,信道容量的定義,3.2.2 幾種特殊離散信道的容量,定義：DMC的轉(zhuǎn)移概率矩陣為 若P的任一行是第一行的置換，則稱信道是關于輸入為對稱的。 若P的任一列是第一列的置換，則稱信道是關于輸出為對稱的。 若信道是關于輸入為對稱的，又是關于輸出為
7、對稱的，則稱信道為對稱信道。,3.2.2 幾種特殊離散信道的容量,一、離散無噪信道 1、一一對應的無噪信道,X、Y一一對應 Cmax I(X;Y)log n,p(ai),2、具有擴展功能的無噪信道,一個輸入對應多個輸出,3、具有歸并性的無噪信道,H(X/Y) 0，H(Y/X) = 0,多個輸入變成一個輸出,二、強對稱(均勻)離散信道的信道容量,p：總體錯誤概率,n n,相應的,二進制均勻信道容量 C1H(p), 其中 H(p)=-((1-p)log(1-p)+plogp),二進制均勻信道容量曲線,三、對稱離散信道的信道容量,矩陣中的每行都 是集合P = p1, p2, , pn中的諸元素的不同
8、排列，稱矩陣的行是可排列的。,矩陣中的每列都是集合Q = q1, q2, ,qm中的諸元素的不同排列，稱矩陣的列是可排列的。,如果矩陣的行和列都是可排列的， 稱矩陣是可排列的。 如果一個信道矩陣具有可排列性， 則它所表示的信道稱為,對稱信道中，當nm，Q是P的子集；當n=m時，P=Q。,對稱信道,練習：判斷下列矩陣表示的信道是否是對稱信道,,,,,,,相應的,,對稱離散信道的信道容量,信道的轉(zhuǎn)移概率矩陣為:,,例,強對稱信道與對稱信道比較：,四、準對稱信道離散信道的信道容量,若信道矩陣的行是可排列的，但列不可排列，如果把列分成若干個不相交的子集，且由n行和各子集的諸列構(gòu)成的各個子矩陣都是可排列
9、的，則稱相應的信道為準對稱信道。例如下面的矩陣：,假設此時將矩陣的列分為S個子集，每個子集的元素個數(shù)分別是m1，m2，，ms。,準對稱信道離散信道的信道容量,準對稱信道離散信道的信道容量,3.2.3 離散信道容量的一般計算方法,對一般離散信道而言，求信道容量，就是在固定信道的條件下，對所有可能的輸入概率分布p(xi)，求平均互信息的極大值。采用拉各朗日乘子法來計算。,原因？,,(1),兩邊乘p(ai)，并求和，則有：,,(2),,將（2）代入（1），則有：,（3）,（4）,則（3）變?yōu)椋?（5）,（6）,（7）,離散信道容量的一般計算方法,總結(jié)C的求法，過程如下： 1.求j 2.求C 3.求p
10、(bj) 4.求p(ai),例：信道矩陣如下，求C。,,1,2,3,,4,,結(jié)果,3.3 多符號離散信道,3.3.1 多符號離散信道的數(shù)學模型 3.3.2 離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量,多符號離散信道,多符號信源通過離散信道傳輸形成多符號離散信道。,3.3.1 多符號離散信道的數(shù)學模型,3.3.1 多符號離散信道的數(shù)學模型,,輸入,輸出,,3.3.2 離散無記憶信道的N次擴展信道 獨立并聯(lián)信道的信道容量,無記憶：YK僅與XK有關,,,,,,,,,,,(a),,r,r,65,2020/8/30,(積信道),定義信道的輸入事件為全體(x, u)，共有KN個輸入事件； 信
11、道的輸出事件為全體(y, v)，共有JM個輸出事件； 轉(zhuǎn)移概率矩陣為 p((y, v)|(x, u))(KN)(JM)， 其中p((y, v)|(x, u))= p1(y|x)p2(v|u)。 則稱該信道為信道1與信道2的積信道。（又稱該信道為信道1與信道2的獨立并行信道） （在物理上，積信道是兩個信道的并行使用）,66,2020/8/30,積信道,積信道的信道容量為 C=C1+C2， 最佳輸入分布為 (x, u), q(x, u)，其中q(x, u)=q1(x)q2(u)。,,,,和信道,定義信道的輸入事件為全體xu，其中x與u不相交；共有K+N個輸入事件； 信道的輸出事件為全體yv，其中y
12、與v不相交；共有J+M個輸出事件； 信道的轉(zhuǎn)移概率矩陣為,和信道,則稱該信道為信道1與信道2的和信道（或稱并信道）。任一單位時間可隨機地選用一個信道，而不能同時選用兩個信道 。若選用信道1的概率為P1，選用信道2的概率為P2，則P1+ P2=1。,和信道容量,3.4 連續(xù)信道,連續(xù)信道的數(shù)學模型,加性連續(xù)信道,,可加噪聲信道：設平穩(wěn)的（恒參的）時間離散的無記憶連續(xù)信道為：輸入隨機變量為X；噪聲隨機變量為N；X與N相互獨立；輸出隨機變量為Y=X+N。則稱該信道為可加噪聲信道。,利用坐標變換原理,可證p(y/x)=p(n) X, N相互獨立。,,,噪聲功率,輸入平均功率,輸出平均功率,對于高斯加性信道,,,信噪功率比,,香農(nóng)公式,,,(bit/s),3.5 信道編碼定理,若一離散平穩(wěn)無記憶信道，其容量為C，輸入序列長度為L，只要待傳送的信息率R
《信息論與編碼》第3章信道容量.ppt
