《信道編碼原理》PPT課件.ppt

《《信道編碼原理》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《信道編碼原理》PPT課件.ppt（71頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、第5章信道編碼原理,5.1信道及其數(shù)學(xué)模型 5.2信道編碼的基本概念 5.3譯碼準(zhǔn)則 5.4編碼原則 5.5抗干擾信道編碼定理及逆定理,5.1信道及其數(shù)學(xué)模型,有噪聲信道編碼的主要目的是提高傳輸可靠性，增加抗干擾能力，因此也稱為糾錯編碼或抗干擾編碼。 信源編碼之后的碼字序列抗干擾能力很脆弱，在信道噪聲的影響下容易產(chǎn)生差錯，為了提高通信系統(tǒng)的有效性和可靠性，要在信源編碼器和信道之間加上一個信道編碼器。,不研究信號在信道中傳輸?shù)奈锢磉^程，并假定信道的傳輸特性是已知的，將信道用其輸入/輸出的統(tǒng)計關(guān)系模型來描述，信道的分類方法有：,5.1.1信道分類,（1）按輸入輸出信號在幅度和時間上的取值分： 數(shù)

2、字信道或離散信道、模擬信道或波形信道和連續(xù)信道。 （2）按輸入/輸出之間關(guān)系的記憶性分,可分為無記憶信道和有記憶信道 （3） 按輸入/輸出信號之間的關(guān)系是否是確定分，可分為有噪聲信道和無噪聲信道。,基本離散信道允許輸入r(任意正整數(shù))種不同的離散符號ai(i1，2，，r)，其相應(yīng)的輸出為s(任意正整數(shù))種不同的離散符號bj(j1，2，，s)。如圖所示。,5.1.2信道數(shù)學(xué)模型,1. 基本離散信道,輸入符號集X=a1,a2,,ar， 輸出符號集Y=b1,b2,,bs 條件概率p(bj|ai)(i=1,2,,r;j=1,2,,s) 為信道的傳遞概率注：符號集X和Y之間可完全相同、部分相同或完全

3、不同。 符號種數(shù)r和s可相等，也可不等。,要完整描述信道的傳遞特性必須測定rs個條件概率，并將rs個條件概率排列成一個rs階矩陣,,基本離散信道的信道矩陣,(i=1,2,,r)。,式中：,注：（1）p(bj|ai)=0時，表示在輸入符號為ai(i1，2，，r) 的前提下，信道不可能輸出bj(j1，2，，s)；（2）p(bj|ai)1時，表示在輸入符號為ai(i1，2，，r) 的前提下，信道輸出bj(j1，2，，s)是一個確定事 件。（3）由于噪聲的隨機(jī)干擾使得在信道輸入某符號ai(i1， 2，，r)的前提下，信道輸出哪一種符號雖然是不確 定的，但一定是信道輸出符號集Y=b1,b2,

4、,bs中的 某一種符號。,【例51】二元對稱信道簡記為BSC(BinarySymmetricChannel)，其輸入/輸出符號均取值于0，1，若r=s=2，且a1=b1=0，a2=b2=1，有轉(zhuǎn)移概率,則BSC的信道轉(zhuǎn)移概率矩陣P為,0 1,二元對稱信道轉(zhuǎn)移圖如圖52所示。 可見，這些轉(zhuǎn)移概率滿足,圖52二元對稱信道轉(zhuǎn)移圖,【例52】二元刪除信道簡記為BEC(BinaryErasureChannel)，它的輸入X取值于0，1，輸出符號Y取值于0，2，1，因r=2，s=3，則信道轉(zhuǎn)移矩陣為,0 2 1,信道轉(zhuǎn)移圖如圖所示,設(shè)基本離散信道的輸入符號集為X=a1,a2,,ar，輸出符號集

5、為Y=b1,b2,,bs，傳遞概率為p(Y|X)=p(bj|ai)；又設(shè)多符號離散平穩(wěn)信源X=X1X2XN其每一時刻的隨機(jī)變量Xk(k=1,2,,N)均取自信道的輸入符號集X=a1,a2,,ar,可知信源X=XX2Xn共有rN種不同的消息，某一具體的消息可表示為,（53）,式中：ai1,ai2,,aiNX=a1,a2,,ar； i1，i2，，iN=1，2，，r(i=1,2,,rN)。,2. 離散無記憶擴(kuò)展信道,基本離散信道的N次擴(kuò)展信道：,圖54N次擴(kuò)展信道,輸出的隨機(jī)變量序列Y=Y1Y2YN共有sN種不同的消息，其中某一具體的消息可表示為,式中：,j1，j2，，jN=1，2，，s (j=

6、1,2,,sN)。,基本離散信道的N次擴(kuò)展信道：（1）從整個傳遞作用的效果來看，信道的輸入是X=X1X2XN，輸出是Y=Y1Y2YN。（2）與基本離散信道相比，N次擴(kuò)展信道的輸入符號數(shù)由r種擴(kuò)展為rN種,輸出符號數(shù)由s種擴(kuò)展為sN種。,N次擴(kuò)展信道的傳遞矩陣,,,式中：,(i=1,2,,rN)。,離散無記憶信道的N次擴(kuò)展信道,即,【例53】已知某二進(jìn)制對稱離散無記憶信道。設(shè)信道的輸入符號集為X=0,1，輸出符號集為Y=0,1，信道的矩陣為,其中：，求此離散無記憶信道的二次擴(kuò)展信道的信道矩陣。,解：二次擴(kuò)展信道的信道矩陣為,注：離散無記憶信道的二次擴(kuò)展信道同樣也是對稱信道。,5.2信道編碼的基本

7、概念,信息傳輸?shù)挠行耘c可靠性是辨證統(tǒng)一的，信道編碼的主要目的就是改善傳輸系統(tǒng)的質(zhì)量，從而達(dá)到傳輸既有效、又可靠的目的。,5.2.1基本概念,1） 差錯類型 1獨立隨機(jī)差錯: 在無記憶信道中出現(xiàn)，數(shù)據(jù)流中發(fā)生的錯誤彼此無關(guān) 。 2突發(fā)錯誤: 在有記憶信道中，數(shù)據(jù)流中一個錯誤的發(fā)生 , 帶來一連 串錯誤的發(fā)生。 3混合差錯,2）信道編碼分類： 糾獨立隨機(jī)差錯碼、糾突發(fā)差錯碼和糾混合差錯碼。3）信道編碼的基本思路： 根據(jù)一定的規(guī)律在待發(fā)送的信息碼中加入一些多余的碼元，以保證傳輸過程的可靠性。其任務(wù)就是構(gòu)造出以最小多余度代價換取最大抗干擾性能的“好碼”。,4）好的錯誤控制編碼方案

8、的目標(biāo)： (1)用可以糾正的錯誤個數(shù)來衡量糾錯能力; (2)快速有效地對消息進(jìn)行編碼; (3)快速有效地對接收到的消息進(jìn)行譯碼; (4)單位時間內(nèi)所能傳輸?shù)男畔⒈忍財?shù)盡量大(即有少的冗余度)。上述第(1)個目標(biāo)是最基本的。為了增加一個編碼方案的糾錯能力，必須引入更多的冗余度。但增加的冗余度會造成實際信息傳輸速率的降低。因此第(1)個和第(4)個目標(biāo)不完全相容。另外，為了能糾正更多的錯誤，編碼策略會變得更復(fù)雜，于是第(2)個和第(3)個目標(biāo)也很難達(dá)到。,1. 譯碼規(guī)則（譯碼函數(shù)）,使每一種可能的輸出符號bj(j=1,2,,s)與一個惟一的輸入符號ai(i=1,2,,r)一一對應(yīng)。函數(shù)F(bj)

9、=ai即為譯碼函數(shù)或譯碼規(guī)則。,5.2.2平均錯誤概率,依據(jù)一定的判決準(zhǔn)則設(shè)計一個單值函數(shù),注：（1）對輸入符號集為X=a1,a2,,ar，輸出符號集為Y= b1,b2,,bs的信道來說，一共可構(gòu)成rs種不同的譯碼規(guī)則。,例：二進(jìn)制對稱信道，其輸入符號集為X=0,1,輸出符號 集為Y=0,1，則可構(gòu)成rs=22=4種譯碼規(guī)則。 譯碼規(guī)則(1)：F(0)=0,F(1)=0譯碼規(guī)則(2)：F(0)=0,F(1)=1譯碼規(guī)則(3)：F(0)=1,F(1)=0譯碼規(guī)則(4)：F(0)=1，F(xiàn)(1)=1,例：若已知二進(jìn)制對稱信道傳遞矩陣為,注：（2） 不同的譯碼規(guī)則會引起不同的可靠程度。,如采取譯碼規(guī)則

10、(2)，F(xiàn)(0)=0,F(1)=1，則信道輸出端出現(xiàn)“0”和“1”的正確譯碼概率分別是：,這意味著從統(tǒng)計的觀點看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個符號“0”(或“1”)中，只能有一個能得到正確譯碼。,如采用譯碼規(guī)則(3)。F(0)=1,F(1)=0，則信道輸出端出現(xiàn)“0”和“1”的正確譯碼概率分別是：,這意味著從統(tǒng)計的觀點看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個符號“0”(或“1”)中有三個能得到正確譯碼。,當(dāng)信道的輸入符號是ai，在信道輸出端接收到某符號bj(j=1,2,,s)后，正確譯碼的概率prj為是在信道輸出端出現(xiàn)bj(j=1,2,,s)的前提下，推測信道輸入符號ai的后驗概率，即

11、,2. 正確譯碼概率Prj,當(dāng)信道的輸入符號是ai，在信道輸出端接收到某符號bj(j=1,2,,s)后，錯誤譯碼的概率pej為信道輸出端出現(xiàn)bj(j=1,2,,s)的前提下，推測信道輸入的符號是除了ai以外的其他任何可能的輸入符號的后驗概率，即,式中：e表示除了F(bj)=ai以外的所有可能的輸入符號的集合。,3. 錯誤譯碼概率Pej,注：,4. 平均錯誤譯碼概率Pe,注： （1）平均錯誤譯碼的概率Pe：表示在信道輸出端每收到一個符號其產(chǎn)生錯誤譯碼的可能性的大小。 （2）平均錯誤譯碼的概率Pe可作為信道傳輸可靠性的衡量標(biāo)準(zhǔn)； （3）平均錯誤譯碼的概率Pe取決于信道輸出隨機(jī)變量的概率空間P(Y)

12、、信道的后驗概率分布P(X|Y)以及譯碼規(guī)則； （4）選擇合適的譯碼規(guī)則可降低平均錯誤譯碼的概率 。,描述了平均錯誤譯碼概率Pe與信道疑義度H(X|Y)的內(nèi)在聯(lián)系，即,H(XY) H(Pe)十Pe1oga(r-1),5.2.3費諾不等式,（2）費諾不等式表明，在收到信道輸出隨機(jī)變量后，對輸 入隨機(jī)變量仍然存在的平均不確定性H(X|Y)由兩部分 組成：第一部分是收到輸出隨機(jī)變量后，按選擇的譯 碼規(guī)則譯碼時，是否產(chǎn)生錯誤譯碼的平均不確定性 H(Pe)；第二部分是當(dāng)平均錯誤譯碼概率為Pe時，到底 是哪一個信源符號被錯誤譯碼的最大平均不確定性 Pe1oga(r-1)。,注： （1）不論采用什么準(zhǔn)則選擇

13、譯碼規(guī)則，費諾不等式都是普 遍成立的。,按什么準(zhǔn)則來選擇合適的譯碼規(guī)則使其平均錯誤譯碼概率Pe達(dá)到最小，是提高由給定信源、給定信道組成的信息傳輸系統(tǒng)的可靠性的關(guān)鍵問題。,5.3 譯碼準(zhǔn)則,5.3.1最大后驗概率譯碼準(zhǔn)則,證明：設(shè)基本離散信道傳遞矩陣為,1. 對于給定信源和給定信道來說，后驗概率和信道輸出隨機(jī)變量Y的概率分布都是固定不變的,(516),由,可得rs個確定的后驗概率，構(gòu)成后驗概率矩陣,,（518）,(517),由給定的信源X的概率分布和信道的傳遞概率，可求得信道輸出隨機(jī)變量Y的s個概率分量,(519),式(517)和式(519)表明，對于給定信源和給定信道來說，后驗概率和信道輸出

14、隨機(jī)變量Y的概率分布也都是固定不變的。,推導(dǎo)： 平均錯誤譯碼概率Pe為：,（520）,達(dá)到最大。,2. 最大后驗概率譯碼準(zhǔn)則,對于給定信源和給定信道，即p(bj)(i=1,2,,s)和p(ai|bj)(i=1,2,,r；j=1,2,,s)是固定不變的，要使Pe最小，勢必要使,達(dá)到最大。若把這個最大者所對應(yīng)的信源符號記為a*，即有,(i1，2，，r；j=1,2,,s),（522）,（521）,而要使式(520)達(dá)到最大，勢必要使,這就是說，要使平均錯誤譯碼概率Pe達(dá)到最小，勢必有,因此，譯碼規(guī)則為,(524),式(524)就是最大后驗概率譯碼準(zhǔn)則。它表明，若p(a*|bj)(j=1,2,,s)是

15、信道輸出端收到符號bj(j=1,2,,s)后，所推測出的信道輸入(信源輸出)符號ai(i=1,2,,r)的r個后驗概率p(ai|bj)(i=1,2,,r;j=1,2,,s)中的最大者，則可把接收符號bj(j=1,2,,s)翻譯成a*。,3. 由最大后驗概率譯碼函數(shù)F(bj)=a*(j=1,2,,s)構(gòu)成的譯碼規(guī)則能使平均錯誤譯碼概率達(dá)到最小值,(525),注： （1）最小平均錯誤譯碼概率Pemin取決于給定信源和給定信道的統(tǒng)計特性。 （2）當(dāng)信源和信道給定后，信息傳輸可靠性的最高程度也就確定了。而這個最高的可靠程度必須依靠最大后驗概率準(zhǔn)則來選則譯碼規(guī)則才能得以實現(xiàn)。,推導(dǎo)：若信道輸入符號(信源

16、輸出符號)ai(i=1,2,,r)先驗等概，即滿足,（526）,(527),的條件時，因為,5.3.2最大似然譯碼準(zhǔn)則,1. 最大似然譯碼準(zhǔn)則,可有,(i=1,2,,r；j=1,2,,s),(528),則選擇譯碼規(guī)則,(529),可把bj(j=1,2,,s)翻譯成信源符號a*a1,a2,,ar，即信道輸入符號(信源輸出符號)ai(i=1,2,,r)先驗等概時，選擇上述譯碼規(guī)則的準(zhǔn)則稱之為最大似然譯碼準(zhǔn)則。,2. 最大似然準(zhǔn)則是在滿足信道輸入符號(信源輸出符 號)先驗等概的特定條件下的最大后驗概率準(zhǔn)則， 平均錯誤譯碼概率Pe同樣能夠達(dá)到最小值Pemin,(530),注：（1）在信道輸入符號(信

17、源輸出符號)先驗等概的特定條件下，采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的最小平均錯誤譯碼概率Pe min取決于等概信源所含符號數(shù)r和信道的傳遞特性。（2）在信道的輸入符號(信源的輸出符號)先驗等概的特定條件下，若信道輸入符號數(shù)(信源輸出符號數(shù))r固定不變，可通過改變信道的傳遞特性，使最小平均錯誤譯碼概率進(jìn)一步下降，從而進(jìn)一步提高信息傳輸?shù)淖罡呖煽慷?。實際上，這就是抗干擾信道編碼的基本理論依據(jù)。,【例54】設(shè)某信道的信道矩陣為,,解： (1) 因信道輸入符號非先驗等概，故只能采用最大后驗概率準(zhǔn)則選擇譯碼規(guī)則。由式(517)計算出后驗概率矩陣,,根據(jù)最大后驗概率準(zhǔn)則,并考慮信道輸出符號bj(j=1,2

18、,3)與信道輸入符號ai(i=1,2,3)一一對應(yīng)，則選擇譯碼規(guī)則,采用最大后驗概率準(zhǔn)則選擇譯碼規(guī)則的最小平均錯誤譯碼概率Pe min的具體計算值為,(2)因信道輸入符號a1、a2、a3先驗等概，故采用最大似然準(zhǔn)則選擇譯碼規(guī)則。按最大似然準(zhǔn)則得到譯碼規(guī)則,并考慮信道輸出符號bj(j=1,2,3)與信道輸入符號ai(i=1,2,3)要一一對應(yīng)，則選擇譯碼函數(shù)為,采用最大似然準(zhǔn)則選擇譯碼規(guī)則的最小平均錯誤譯碼概率Pe min的具體計算值為,注：（1）上例中最小平均錯誤譯碼概率(Pemin0.5667)意味著在信道的輸出端接收100個符號中,大約近57個符號要發(fā)生錯誤譯碼。顯然,這不符合人們對信息傳

19、輸可靠性的要求,應(yīng)設(shè)法使平均錯誤譯碼概率最小值Pemin繼續(xù)下降。（2）對于給定信源來說，要使平均錯誤譯碼概率最小值Pemin繼續(xù)下降，必須進(jìn)行信道編碼，以改變信道的統(tǒng)計特性。,【例55】已知二元對稱離散無記憶信道的信道矩陣為,,5.4編碼原則,5.4.1編碼的功能,解：因為信源先驗等概，采用最大似然準(zhǔn)則選擇譯碼規(guī)則,F(0)=0； F(1)=1,在這種譯碼規(guī)則下，平均錯誤譯碼概率Pe達(dá)到最小值，即,Pe min=10-2，意味著從平均的意義上來說，信道輸出端每收到100個符號，就可能有一個符號發(fā)生錯誤譯碼。顯然，不符合信息傳輸可靠性要求。,注： （1）實際表明，對輸入符號進(jìn)行重復(fù)編碼，可提高

20、信息傳輸?shù)目煽啃浴? 例如，在信道輸入端對輸入符號“0”和“1”進(jìn)行重復(fù)編碼，離散無記憶信道的輸入符號就不再是單個符號“0”和“1”，而是變成由三個符號組成的符號序列1=000和8=111，它們是二元信源的N3次擴(kuò)展信源中的兩個“符號”。 3次擴(kuò)展信源X= X1 X2 X3=1,2,3,4,5,6,7, 8中的rN=23=8個“大符號”(消息)分別為:,針對三次擴(kuò)展信源X=X1X2X3，基本離散無記憶信道轉(zhuǎn)變?yōu)殡x散無記憶信道的三次擴(kuò)展信道，輸出符號集由隨機(jī)變量Y的符號集Y=0,1轉(zhuǎn)變?yōu)殡S機(jī)序列Y=Y1Y2Y3的“大符號”集，分別為：,離散無記憶信道的三次擴(kuò)展信道的信道矩陣為,,由式（530）可

21、得最小平均錯誤譯碼概率，即,所以經(jīng)過簡單重復(fù)信道編碼以后，平均錯誤譯碼概率Pe的最小值Pe min降低兩個數(shù)量級，信息傳輸?shù)目煽啃杂辛嗣黠@的提高。,（2）隨機(jī)編碼中碼字的不同選擇會導(dǎo)致不同的最小平均錯誤譯碼概率Pemin 若選1=000代表信源符號“0”；選2=001代表信源符號“1”。這時，相應(yīng)的三次擴(kuò)展離散無記憶信道的信道矩陣就變?yōu)?根據(jù)最大似然準(zhǔn)則選擇的譯碼規(guī)則為：,上述譯碼規(guī)則的最小平均錯誤譯碼概率為,1. 設(shè)信道的輸入消息數(shù)為M，信道隨機(jī)編碼的碼字長度為N，則當(dāng)信道的M個輸入消息先驗等概時，信道編碼的每一碼號所攜帶的平均信息量，即碼率,(比特碼符號),5.4.2最小漢明距離譯碼準(zhǔn)則,

22、（2）簡單重復(fù)編碼以減少平均錯誤譯碼概率Pemin的方法是以降低信息傳輸率R作為代價的，即“犧牲有效性，換取可靠性” 。 例55中，當(dāng)M=2時，若N=1，Pe min=0.01；若 N=3, Pe min310-4；若N=11, Pe min510-10。當(dāng)M=2，N分別為1、3、5、11時,碼率R分別為1、1/3、1/5、1/11。,注： （1）信道隨機(jī)編碼的有效性取決于信道的輸入消息數(shù)M和碼字長度N。在隨機(jī)編碼中，只要保持M和N固定不變，就能使由不同選擇所構(gòu)成的不同信道編碼具有相同的有效性。,2.最小漢明距離譯碼準(zhǔn)則 在隨機(jī)編碼中，在消息數(shù)M和碼字長度N保持不變的條件下，應(yīng)遵循什

23、么原則挑選碼字才能得到盡可能小的最小平均錯誤譯碼概率Pemin?,因為消息數(shù)固定為M，碼字長度固定為N且是由0和1組成的碼序列，所以離散無記憶信道的N次擴(kuò)展信道有M2N個傳遞概率，它們是:,(533),其中,在M個消息先驗等概的條件下，采用最大似然準(zhǔn)則選擇譯碼規(guī)則。對j(j=1,2,,2N)來說，若有,即,(i=1,2,,M;j=1,2,,2N),考慮到在一般情況下,都有 ，且 ，所以有,即選擇譯碼規(guī)則為,(537),(536),上述兩個式子就是用漢明距離表述的最大似然準(zhǔn)則，即最小漢明距離譯碼準(zhǔn)則。（輸入消息等概的條件下）,(538),3. 最小漢明距離譯碼準(zhǔn)則下的最小平均錯誤譯碼

24、概率,(539),亦可表示為：,注：（1）采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的最小平均錯誤譯 碼概率Pe min取決于： 先驗等概的消息數(shù)M； 隨機(jī)編碼的碼字長度N； 離散無記憶信道N次擴(kuò)展信道的輸出序列j(j=1,2,,2N)與譯碼函數(shù)規(guī)定的翻譯碼字*之間的漢明距離d(*,j); j(j=1,2,,2N)與除了翻譯碼字(j)= *以外的其他碼字i(i*)之間的漢明距離d(i,j)(i*)。,注： （2）在保持一定的碼率R的前提下(即保持先驗等概的消息數(shù)M和碼字長度N不變的前提下)，最小平均錯誤譯碼概率Pe min取決于漢明距離d(*, j)(*1,2,,M; j=1,2,,2N)和d

25、(i,j)(i*；j=1,2,,2N)。 （3）信道編碼的任務(wù)：保持碼率R在一定水平(保持M和N不變)的前提下，采用正確的方法選擇M個碼字，使最小平均錯誤譯碼概率Pe min盡量小。,在從rN個長度為N的碼符號序列l(wèi)(l=1,2,,rN)中選擇M個作為代表消息的碼字的原則是：M個碼字中，任何兩個不同的碼字間的漢明距離要盡量大。若令dmin(k,h)kh表示M個碼字中任何兩個不同的碼字(k, h)之間的最小漢明距離，即,（540）,5.4.3 編碼原則,dmin(k,h)kh要盡量的大，即挑選出來的M個碼字之間越不相似越好。,定理5-1 抗干擾信道編碼定理（香農(nóng)第二定理） 設(shè)某信道有r個輸入符

26、號，s個輸出符號，信道容量為C。當(dāng)信道的信息傳輸率RC時，只要碼長N足夠長，總可以在輸入集合中(含有rN個長度為N的碼符號序列)找到M(M2N（C-），為任意小的正數(shù))個碼字，分別代表M個等可能性的消息，組成一個信道編碼，選擇相應(yīng)的譯碼規(guī)則，使信道輸出端的譯碼過程的最小平均錯誤譯碼概率Pemin達(dá)到任意小。,5.5 抗干擾信道編碼定理及逆定理,注：（1）定理指出：總能找到一種抗干擾信道編碼，只要其碼長N足夠長，它的最小平均錯誤譯碼概率Pemin就可任意小，信道信息傳輸率(碼率)R可無限接近信息容量C。（2）這個定理是一個存在定理，指出錯誤率趨于0的編碼方法是存在的。（3）定理表明，在錯誤率趨于0的同時，還可以使R趨于C，這是具有理論指導(dǎo)意義的。,定理52抗干擾信道編碼定理的逆定理 設(shè)某信道有r個輸入符號，s個輸出符號，信道容量為C。若選用碼字個數(shù)(消息數(shù))M(M=2N（C+），令為任意小的正數(shù))，則無論碼長N多大，也不可能找到一種編碼，使平均錯誤譯碼概率Pe任意小。,注：（1）逆定理指出：要使信道的信息傳輸率超過信息容量C，而又要求無錯誤地傳輸消息，這是不可能的。（2）信道容量C是在信道中可靠地傳輸消息的最大信息傳輸率。,