《信道編碼原理》PPT課件.ppt

《《信道編碼原理》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《信道編碼原理》PPT課件.ppt（71頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第5章信道編碼原理,5.1信道及其數(shù)學(xué)模型 5.2信道編碼的基本概念 5.3譯碼準(zhǔn)則 5.4編碼原則 5.5抗干擾信道編碼定理及逆定理,5.1信道及其數(shù)學(xué)模型,有噪聲信道編碼的主要目的是提高傳輸可靠性，增加抗干擾能力，因此也稱為糾錯(cuò)編碼或抗干擾編碼。 信源編碼之后的碼字序列抗干擾能力很脆弱，在信道噪聲的影響下容易產(chǎn)生差錯(cuò)，為了提高通信系統(tǒng)的有效性和可靠性，要在信源編碼器和信道之間加上一個(gè)信道編碼器。,不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程，并假定信道的傳輸特性是已知的，將信道用其輸入/輸出的統(tǒng)計(jì)關(guān)系模型來(lái)描述，信道的分類(lèi)方法有：,5.1.1信道分類(lèi),（1）按輸入輸出信號(hào)在幅度和時(shí)間上的取值分： 數(shù)

2、字信道或離散信道、模擬信道或波形信道和連續(xù)信道。 （2）按輸入/輸出之間關(guān)系的記憶性分,可分為無(wú)記憶信道和有記憶信道 （3） 按輸入/輸出信號(hào)之間的關(guān)系是否是確定分，可分為有噪聲信道和無(wú)噪聲信道。,基本離散信道允許輸入r(任意正整數(shù))種不同的離散符號(hào)ai(i1，2，，r)，其相應(yīng)的輸出為s(任意正整數(shù))種不同的離散符號(hào)bj(j1，2，，s)。如圖所示。,5.1.2信道數(shù)學(xué)模型,1. 基本離散信道,輸入符號(hào)集X=a1,a2,,ar， 輸出符號(hào)集Y=b1,b2,,bs 條件概率p(bj|ai)(i=1,2,,r;j=1,2,,s) 為信道的傳遞概率注：符號(hào)集X和Y之間可完全相同、部分相同或完全

3、不同。 符號(hào)種數(shù)r和s可相等，也可不等。,要完整描述信道的傳遞特性必須測(cè)定rs個(gè)條件概率，并將rs個(gè)條件概率排列成一個(gè)rs階矩陣,,基本離散信道的信道矩陣,(i=1,2,,r)。,式中：,注：（1）p(bj|ai)=0時(shí)，表示在輸入符號(hào)為ai(i1，2，，r) 的前提下，信道不可能輸出bj(j1，2，，s)；（2）p(bj|ai)1時(shí)，表示在輸入符號(hào)為ai(i1，2，，r) 的前提下，信道輸出bj(j1，2，，s)是一個(gè)確定事 件。（3）由于噪聲的隨機(jī)干擾使得在信道輸入某符號(hào)ai(i1， 2，，r)的前提下，信道輸出哪一種符號(hào)雖然是不確 定的，但一定是信道輸出符號(hào)集Y=b1,b2,

4、,bs中的 某一種符號(hào)。,【例51】二元對(duì)稱信道簡(jiǎn)記為BSC(BinarySymmetricChannel)，其輸入/輸出符號(hào)均取值于0，1，若r=s=2，且a1=b1=0，a2=b2=1，有轉(zhuǎn)移概率,則BSC的信道轉(zhuǎn)移概率矩陣P為,0 1,二元對(duì)稱信道轉(zhuǎn)移圖如圖52所示。 可見(jiàn)，這些轉(zhuǎn)移概率滿足,圖52二元對(duì)稱信道轉(zhuǎn)移圖,【例52】二元?jiǎng)h除信道簡(jiǎn)記為BEC(BinaryErasureChannel)，它的輸入X取值于0，1，輸出符號(hào)Y取值于0，2，1，因r=2，s=3，則信道轉(zhuǎn)移矩陣為,0 2 1,信道轉(zhuǎn)移圖如圖所示,設(shè)基本離散信道的輸入符號(hào)集為X=a1,a2,,ar，輸出符號(hào)集

5、為Y=b1,b2,,bs，傳遞概率為p(Y|X)=p(bj|ai)；又設(shè)多符號(hào)離散平穩(wěn)信源X=X1X2XN其每一時(shí)刻的隨機(jī)變量Xk(k=1,2,,N)均取自信道的輸入符號(hào)集X=a1,a2,,ar,可知信源X=XX2Xn共有rN種不同的消息，某一具體的消息可表示為,（53）,式中：ai1,ai2,,aiNX=a1,a2,,ar； i1，i2，，iN=1，2，，r(i=1,2,,rN)。,2. 離散無(wú)記憶擴(kuò)展信道,基本離散信道的N次擴(kuò)展信道：,圖54N次擴(kuò)展信道,輸出的隨機(jī)變量序列Y=Y1Y2YN共有sN種不同的消息，其中某一具體的消息可表示為,式中：,j1，j2，，jN=1，2，，s (j=

6、1,2,,sN)。,基本離散信道的N次擴(kuò)展信道：（1）從整個(gè)傳遞作用的效果來(lái)看，信道的輸入是X=X1X2XN，輸出是Y=Y1Y2YN。（2）與基本離散信道相比，N次擴(kuò)展信道的輸入符號(hào)數(shù)由r種擴(kuò)展為rN種,輸出符號(hào)數(shù)由s種擴(kuò)展為sN種。,N次擴(kuò)展信道的傳遞矩陣,,,式中：,(i=1,2,,rN)。,離散無(wú)記憶信道的N次擴(kuò)展信道,即,【例53】已知某二進(jìn)制對(duì)稱離散無(wú)記憶信道。設(shè)信道的輸入符號(hào)集為X=0,1，輸出符號(hào)集為Y=0,1，信道的矩陣為,其中：，求此離散無(wú)記憶信道的二次擴(kuò)展信道的信道矩陣。,解：二次擴(kuò)展信道的信道矩陣為,注：離散無(wú)記憶信道的二次擴(kuò)展信道同樣也是對(duì)稱信道。,5.2信道編碼的基本

7、概念,信息傳輸?shù)挠行耘c可靠性是辨證統(tǒng)一的，信道編碼的主要目的就是改善傳輸系統(tǒng)的質(zhì)量，從而達(dá)到傳輸既有效、又可靠的目的。,5.2.1基本概念,1） 差錯(cuò)類(lèi)型 1獨(dú)立隨機(jī)差錯(cuò): 在無(wú)記憶信道中出現(xiàn)，數(shù)據(jù)流中發(fā)生的錯(cuò)誤彼此無(wú)關(guān) 。 2突發(fā)錯(cuò)誤: 在有記憶信道中，數(shù)據(jù)流中一個(gè)錯(cuò)誤的發(fā)生 , 帶來(lái)一連 串錯(cuò)誤的發(fā)生。 3混合差錯(cuò),2）信道編碼分類(lèi)： 糾獨(dú)立隨機(jī)差錯(cuò)碼、糾突發(fā)差錯(cuò)碼和糾混合差錯(cuò)碼。3）信道編碼的基本思路： 根據(jù)一定的規(guī)律在待發(fā)送的信息碼中加入一些多余的碼元，以保證傳輸過(guò)程的可靠性。其任務(wù)就是構(gòu)造出以最小多余度代價(jià)換取最大抗干擾性能的“好碼”。,4）好的錯(cuò)誤控制編碼方案

8、的目標(biāo)： (1)用可以糾正的錯(cuò)誤個(gè)數(shù)來(lái)衡量糾錯(cuò)能力; (2)快速有效地對(duì)消息進(jìn)行編碼; (3)快速有效地對(duì)接收到的消息進(jìn)行譯碼; (4)單位時(shí)間內(nèi)所能傳輸?shù)男畔⒈忍財(cái)?shù)盡量大(即有少的冗余度)。上述第(1)個(gè)目標(biāo)是最基本的。為了增加一個(gè)編碼方案的糾錯(cuò)能力，必須引入更多的冗余度。但增加的冗余度會(huì)造成實(shí)際信息傳輸速率的降低。因此第(1)個(gè)和第(4)個(gè)目標(biāo)不完全相容。另外，為了能糾正更多的錯(cuò)誤，編碼策略會(huì)變得更復(fù)雜，于是第(2)個(gè)和第(3)個(gè)目標(biāo)也很難達(dá)到。,1. 譯碼規(guī)則（譯碼函數(shù)）,使每一種可能的輸出符號(hào)bj(j=1,2,,s)與一個(gè)惟一的輸入符號(hào)ai(i=1,2,,r)一一對(duì)應(yīng)。函數(shù)F(bj)

9、=ai即為譯碼函數(shù)或譯碼規(guī)則。,5.2.2平均錯(cuò)誤概率,依據(jù)一定的判決準(zhǔn)則設(shè)計(jì)一個(gè)單值函數(shù),注：（1）對(duì)輸入符號(hào)集為X=a1,a2,,ar，輸出符號(hào)集為Y= b1,b2,,bs的信道來(lái)說(shuō)，一共可構(gòu)成rs種不同的譯碼規(guī)則。,例：二進(jìn)制對(duì)稱信道，其輸入符號(hào)集為X=0,1,輸出符號(hào) 集為Y=0,1，則可構(gòu)成rs=22=4種譯碼規(guī)則。 譯碼規(guī)則(1)：F(0)=0,F(1)=0譯碼規(guī)則(2)：F(0)=0,F(1)=1譯碼規(guī)則(3)：F(0)=1,F(1)=0譯碼規(guī)則(4)：F(0)=1，F(xiàn)(1)=1,例：若已知二進(jìn)制對(duì)稱信道傳遞矩陣為,注：（2） 不同的譯碼規(guī)則會(huì)引起不同的可靠程度。,如采取譯碼規(guī)則

10、(2)，F(xiàn)(0)=0,F(1)=1，則信道輸出端出現(xiàn)“0”和“1”的正確譯碼概率分別是：,這意味著從統(tǒng)計(jì)的觀點(diǎn)看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個(gè)符號(hào)“0”(或“1”)中，只能有一個(gè)能得到正確譯碼。,如采用譯碼規(guī)則(3)。F(0)=1,F(1)=0，則信道輸出端出現(xiàn)“0”和“1”的正確譯碼概率分別是：,這意味著從統(tǒng)計(jì)的觀點(diǎn)看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個(gè)符號(hào)“0”(或“1”)中有三個(gè)能得到正確譯碼。,當(dāng)信道的輸入符號(hào)是ai，在信道輸出端接收到某符號(hào)bj(j=1,2,,s)后，正確譯碼的概率prj為是在信道輸出端出現(xiàn)bj(j=1,2,,s)的前提下，推測(cè)信道輸入符號(hào)ai的后驗(yàn)概率，即

11、,2. 正確譯碼概率Prj,當(dāng)信道的輸入符號(hào)是ai，在信道輸出端接收到某符號(hào)bj(j=1,2,,s)后，錯(cuò)誤譯碼的概率pej為信道輸出端出現(xiàn)bj(j=1,2,,s)的前提下，推測(cè)信道輸入的符號(hào)是除了ai以外的其他任何可能的輸入符號(hào)的后驗(yàn)概率，即,式中：e表示除了F(bj)=ai以外的所有可能的輸入符號(hào)的集合。,3. 錯(cuò)誤譯碼概率Pej,注：,4. 平均錯(cuò)誤譯碼概率Pe,注： （1）平均錯(cuò)誤譯碼的概率Pe：表示在信道輸出端每收到一個(gè)符號(hào)其產(chǎn)生錯(cuò)誤譯碼的可能性的大小。 （2）平均錯(cuò)誤譯碼的概率Pe可作為信道傳輸可靠性的衡量標(biāo)準(zhǔn)； （3）平均錯(cuò)誤譯碼的概率Pe取決于信道輸出隨機(jī)變量的概率空間P(Y)

12、、信道的后驗(yàn)概率分布P(X|Y)以及譯碼規(guī)則； （4）選擇合適的譯碼規(guī)則可降低平均錯(cuò)誤譯碼的概率 。,描述了平均錯(cuò)誤譯碼概率Pe與信道疑義度H(X|Y)的內(nèi)在聯(lián)系，即,H(XY) H(Pe)十Pe1oga(r-1),5.2.3費(fèi)諾不等式,（2）費(fèi)諾不等式表明，在收到信道輸出隨機(jī)變量后，對(duì)輸 入隨機(jī)變量仍然存在的平均不確定性H(X|Y)由兩部分 組成：第一部分是收到輸出隨機(jī)變量后，按選擇的譯 碼規(guī)則譯碼時(shí)，是否產(chǎn)生錯(cuò)誤譯碼的平均不確定性 H(Pe)；第二部分是當(dāng)平均錯(cuò)誤譯碼概率為Pe時(shí)，到底 是哪一個(gè)信源符號(hào)被錯(cuò)誤譯碼的最大平均不確定性 Pe1oga(r-1)。,注： （1）不論采用什么準(zhǔn)則選擇

13、譯碼規(guī)則，費(fèi)諾不等式都是普 遍成立的。,按什么準(zhǔn)則來(lái)選擇合適的譯碼規(guī)則使其平均錯(cuò)誤譯碼概率Pe達(dá)到最小，是提高由給定信源、給定信道組成的信息傳輸系統(tǒng)的可靠性的關(guān)鍵問(wèn)題。,5.3 譯碼準(zhǔn)則,5.3.1最大后驗(yàn)概率譯碼準(zhǔn)則,證明：設(shè)基本離散信道傳遞矩陣為,1. 對(duì)于給定信源和給定信道來(lái)說(shuō)，后驗(yàn)概率和信道輸出隨機(jī)變量Y的概率分布都是固定不變的,(516),由,可得rs個(gè)確定的后驗(yàn)概率，構(gòu)成后驗(yàn)概率矩陣,,（518）,(517),由給定的信源X的概率分布和信道的傳遞概率，可求得信道輸出隨機(jī)變量Y的s個(gè)概率分量,(519),式(517)和式(519)表明，對(duì)于給定信源和給定信道來(lái)說(shuō)，后驗(yàn)概率和信道輸出

14、隨機(jī)變量Y的概率分布也都是固定不變的。,推導(dǎo)： 平均錯(cuò)誤譯碼概率Pe為：,（520）,達(dá)到最大。,2. 最大后驗(yàn)概率譯碼準(zhǔn)則,對(duì)于給定信源和給定信道，即p(bj)(i=1,2,,s)和p(ai|bj)(i=1,2,,r；j=1,2,,s)是固定不變的，要使Pe最小，勢(shì)必要使,達(dá)到最大。若把這個(gè)最大者所對(duì)應(yīng)的信源符號(hào)記為a*，即有,(i1，2，，r；j=1,2,,s),（522）,（521）,而要使式(520)達(dá)到最大，勢(shì)必要使,這就是說(shuō)，要使平均錯(cuò)誤譯碼概率Pe達(dá)到最小，勢(shì)必有,因此，譯碼規(guī)則為,(524),式(524)就是最大后驗(yàn)概率譯碼準(zhǔn)則。它表明，若p(a*|bj)(j=1,2,,s)是

15、信道輸出端收到符號(hào)bj(j=1,2,,s)后，所推測(cè)出的信道輸入(信源輸出)符號(hào)ai(i=1,2,,r)的r個(gè)后驗(yàn)概率p(ai|bj)(i=1,2,,r;j=1,2,,s)中的最大者，則可把接收符號(hào)bj(j=1,2,,s)翻譯成a*。,3. 由最大后驗(yàn)概率譯碼函數(shù)F(bj)=a*(j=1,2,,s)構(gòu)成的譯碼規(guī)則能使平均錯(cuò)誤譯碼概率達(dá)到最小值,(525),注： （1）最小平均錯(cuò)誤譯碼概率Pemin取決于給定信源和給定信道的統(tǒng)計(jì)特性。 （2）當(dāng)信源和信道給定后，信息傳輸可靠性的最高程度也就確定了。而這個(gè)最高的可靠程度必須依靠最大后驗(yàn)概率準(zhǔn)則來(lái)選則譯碼規(guī)則才能得以實(shí)現(xiàn)。,推導(dǎo)：若信道輸入符號(hào)(信源

16、輸出符號(hào))ai(i=1,2,,r)先驗(yàn)等概，即滿足,（526）,(527),的條件時(shí)，因?yàn)?5.3.2最大似然譯碼準(zhǔn)則,1. 最大似然譯碼準(zhǔn)則,可有,(i=1,2,,r；j=1,2,,s),(528),則選擇譯碼規(guī)則,(529),可把bj(j=1,2,,s)翻譯成信源符號(hào)a*a1,a2,,ar，即信道輸入符號(hào)(信源輸出符號(hào))ai(i=1,2,,r)先驗(yàn)等概時(shí)，選擇上述譯碼規(guī)則的準(zhǔn)則稱之為最大似然譯碼準(zhǔn)則。,2. 最大似然準(zhǔn)則是在滿足信道輸入符號(hào)(信源輸出符 號(hào))先驗(yàn)等概的特定條件下的最大后驗(yàn)概率準(zhǔn)則， 平均錯(cuò)誤譯碼概率Pe同樣能夠達(dá)到最小值Pemin,(530),注：（1）在信道輸入符號(hào)(信

17、源輸出符號(hào))先驗(yàn)等概的特定條件下，采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的最小平均錯(cuò)誤譯碼概率Pe min取決于等概信源所含符號(hào)數(shù)r和信道的傳遞特性。（2）在信道的輸入符號(hào)(信源的輸出符號(hào))先驗(yàn)等概的特定條件下，若信道輸入符號(hào)數(shù)(信源輸出符號(hào)數(shù))r固定不變，可通過(guò)改變信道的傳遞特性，使最小平均錯(cuò)誤譯碼概率進(jìn)一步下降，從而進(jìn)一步提高信息傳輸?shù)淖罡呖煽慷?。?shí)際上，這就是抗干擾信道編碼的基本理論依據(jù)。,【例54】設(shè)某信道的信道矩陣為,,解： (1) 因信道輸入符號(hào)非先驗(yàn)等概，故只能采用最大后驗(yàn)概率準(zhǔn)則選擇譯碼規(guī)則。由式(517)計(jì)算出后驗(yàn)概率矩陣,,根據(jù)最大后驗(yàn)概率準(zhǔn)則,并考慮信道輸出符號(hào)bj(j=1,2

18、,3)與信道輸入符號(hào)ai(i=1,2,3)一一對(duì)應(yīng)，則選擇譯碼規(guī)則,采用最大后驗(yàn)概率準(zhǔn)則選擇譯碼規(guī)則的最小平均錯(cuò)誤譯碼概率Pe min的具體計(jì)算值為,(2)因信道輸入符號(hào)a1、a2、a3先驗(yàn)等概，故采用最大似然準(zhǔn)則選擇譯碼規(guī)則。按最大似然準(zhǔn)則得到譯碼規(guī)則,并考慮信道輸出符號(hào)bj(j=1,2,3)與信道輸入符號(hào)ai(i=1,2,3)要一一對(duì)應(yīng)，則選擇譯碼函數(shù)為,采用最大似然準(zhǔn)則選擇譯碼規(guī)則的最小平均錯(cuò)誤譯碼概率Pe min的具體計(jì)算值為,注：（1）上例中最小平均錯(cuò)誤譯碼概率(Pemin0.5667)意味著在信道的輸出端接收100個(gè)符號(hào)中,大約近57個(gè)符號(hào)要發(fā)生錯(cuò)誤譯碼。顯然,這不符合人們對(duì)信息傳

19、輸可靠性的要求,應(yīng)設(shè)法使平均錯(cuò)誤譯碼概率最小值Pemin繼續(xù)下降。（2）對(duì)于給定信源來(lái)說(shuō)，要使平均錯(cuò)誤譯碼概率最小值Pemin繼續(xù)下降，必須進(jìn)行信道編碼，以改變信道的統(tǒng)計(jì)特性。,【例55】已知二元對(duì)稱離散無(wú)記憶信道的信道矩陣為,,5.4編碼原則,5.4.1編碼的功能,解：因?yàn)樾旁聪闰?yàn)等概，采用最大似然準(zhǔn)則選擇譯碼規(guī)則,F(0)=0； F(1)=1,在這種譯碼規(guī)則下，平均錯(cuò)誤譯碼概率Pe達(dá)到最小值，即,Pe min=10-2，意味著從平均的意義上來(lái)說(shuō)，信道輸出端每收到100個(gè)符號(hào)，就可能有一個(gè)符號(hào)發(fā)生錯(cuò)誤譯碼。顯然，不符合信息傳輸可靠性要求。,注： （1）實(shí)際表明，對(duì)輸入符號(hào)進(jìn)行重復(fù)編碼，可提高

20、信息傳輸?shù)目煽啃浴? 例如，在信道輸入端對(duì)輸入符號(hào)“0”和“1”進(jìn)行重復(fù)編碼，離散無(wú)記憶信道的輸入符號(hào)就不再是單個(gè)符號(hào)“0”和“1”，而是變成由三個(gè)符號(hào)組成的符號(hào)序列1=000和8=111，它們是二元信源的N3次擴(kuò)展信源中的兩個(gè)“符號(hào)”。 3次擴(kuò)展信源X= X1 X2 X3=1,2,3,4,5,6,7, 8中的rN=23=8個(gè)“大符號(hào)”(消息)分別為:,針對(duì)三次擴(kuò)展信源X=X1X2X3，基本離散無(wú)記憶信道轉(zhuǎn)變?yōu)殡x散無(wú)記憶信道的三次擴(kuò)展信道，輸出符號(hào)集由隨機(jī)變量Y的符號(hào)集Y=0,1轉(zhuǎn)變?yōu)殡S機(jī)序列Y=Y1Y2Y3的“大符號(hào)”集，分別為：,離散無(wú)記憶信道的三次擴(kuò)展信道的信道矩陣為,,由式（530）可

21、得最小平均錯(cuò)誤譯碼概率，即,所以經(jīng)過(guò)簡(jiǎn)單重復(fù)信道編碼以后，平均錯(cuò)誤譯碼概率Pe的最小值Pe min降低兩個(gè)數(shù)量級(jí)，信息傳輸?shù)目煽啃杂辛嗣黠@的提高。,（2）隨機(jī)編碼中碼字的不同選擇會(huì)導(dǎo)致不同的最小平均錯(cuò)誤譯碼概率Pemin 若選1=000代表信源符號(hào)“0”；選2=001代表信源符號(hào)“1”。這時(shí)，相應(yīng)的三次擴(kuò)展離散無(wú)記憶信道的信道矩陣就變?yōu)?根據(jù)最大似然準(zhǔn)則選擇的譯碼規(guī)則為：,上述譯碼規(guī)則的最小平均錯(cuò)誤譯碼概率為,1. 設(shè)信道的輸入消息數(shù)為M，信道隨機(jī)編碼的碼字長(zhǎng)度為N，則當(dāng)信道的M個(gè)輸入消息先驗(yàn)等概時(shí)，信道編碼的每一碼號(hào)所攜帶的平均信息量，即碼率,(比特碼符號(hào)),5.4.2最小漢明距離譯碼準(zhǔn)則,

22、（2）簡(jiǎn)單重復(fù)編碼以減少平均錯(cuò)誤譯碼概率Pemin的方法是以降低信息傳輸率R作為代價(jià)的，即“犧牲有效性，換取可靠性” 。 例55中，當(dāng)M=2時(shí)，若N=1，Pe min=0.01；若 N=3, Pe min310-4；若N=11, Pe min510-10。當(dāng)M=2，N分別為1、3、5、11時(shí),碼率R分別為1、1/3、1/5、1/11。,注： （1）信道隨機(jī)編碼的有效性取決于信道的輸入消息數(shù)M和碼字長(zhǎng)度N。在隨機(jī)編碼中，只要保持M和N固定不變，就能使由不同選擇所構(gòu)成的不同信道編碼具有相同的有效性。,2.最小漢明距離譯碼準(zhǔn)則 在隨機(jī)編碼中，在消息數(shù)M和碼字長(zhǎng)度N保持不變的條件下，應(yīng)遵循什

23、么原則挑選碼字才能得到盡可能小的最小平均錯(cuò)誤譯碼概率Pemin?,因?yàn)橄?shù)固定為M，碼字長(zhǎng)度固定為N且是由0和1組成的碼序列，所以離散無(wú)記憶信道的N次擴(kuò)展信道有M2N個(gè)傳遞概率，它們是:,(533),其中,在M個(gè)消息先驗(yàn)等概的條件下，采用最大似然準(zhǔn)則選擇譯碼規(guī)則。對(duì)j(j=1,2,,2N)來(lái)說(shuō)，若有,即,(i=1,2,,M;j=1,2,,2N),考慮到在一般情況下,都有 ，且 ，所以有,即選擇譯碼規(guī)則為,(537),(536),上述兩個(gè)式子就是用漢明距離表述的最大似然準(zhǔn)則，即最小漢明距離譯碼準(zhǔn)則。（輸入消息等概的條件下）,(538),3. 最小漢明距離譯碼準(zhǔn)則下的最小平均錯(cuò)誤譯碼

24、概率,(539),亦可表示為：,注：（1）采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的最小平均錯(cuò)誤譯 碼概率Pe min取決于： 先驗(yàn)等概的消息數(shù)M； 隨機(jī)編碼的碼字長(zhǎng)度N； 離散無(wú)記憶信道N次擴(kuò)展信道的輸出序列j(j=1,2,,2N)與譯碼函數(shù)規(guī)定的翻譯碼字*之間的漢明距離d(*,j); j(j=1,2,,2N)與除了翻譯碼字(j)= *以外的其他碼字i(i*)之間的漢明距離d(i,j)(i*)。,注： （2）在保持一定的碼率R的前提下(即保持先驗(yàn)等概的消息數(shù)M和碼字長(zhǎng)度N不變的前提下)，最小平均錯(cuò)誤譯碼概率Pe min取決于漢明距離d(*, j)(*1,2,,M; j=1,2,,2N)和d

25、(i,j)(i*；j=1,2,,2N)。 （3）信道編碼的任務(wù)：保持碼率R在一定水平(保持M和N不變)的前提下，采用正確的方法選擇M個(gè)碼字，使最小平均錯(cuò)誤譯碼概率Pe min盡量小。,在從rN個(gè)長(zhǎng)度為N的碼符號(hào)序列l(wèi)(l=1,2,,rN)中選擇M個(gè)作為代表消息的碼字的原則是：M個(gè)碼字中，任何兩個(gè)不同的碼字間的漢明距離要盡量大。若令dmin(k,h)kh表示M個(gè)碼字中任何兩個(gè)不同的碼字(k, h)之間的最小漢明距離，即,（540）,5.4.3 編碼原則,dmin(k,h)kh要盡量的大，即挑選出來(lái)的M個(gè)碼字之間越不相似越好。,定理5-1 抗干擾信道編碼定理（香農(nóng)第二定理） 設(shè)某信道有r個(gè)輸入符

26、號(hào)，s個(gè)輸出符號(hào)，信道容量為C。當(dāng)信道的信息傳輸率RC時(shí)，只要碼長(zhǎng)N足夠長(zhǎng)，總可以在輸入集合中(含有rN個(gè)長(zhǎng)度為N的碼符號(hào)序列)找到M(M2N（C-），為任意小的正數(shù))個(gè)碼字，分別代表M個(gè)等可能性的消息，組成一個(gè)信道編碼，選擇相應(yīng)的譯碼規(guī)則，使信道輸出端的譯碼過(guò)程的最小平均錯(cuò)誤譯碼概率Pemin達(dá)到任意小。,5.5 抗干擾信道編碼定理及逆定理,注：（1）定理指出：總能找到一種抗干擾信道編碼，只要其碼長(zhǎng)N足夠長(zhǎng)，它的最小平均錯(cuò)誤譯碼概率Pemin就可任意小，信道信息傳輸率(碼率)R可無(wú)限接近信息容量C。（2）這個(gè)定理是一個(gè)存在定理，指出錯(cuò)誤率趨于0的編碼方法是存在的。（3）定理表明，在錯(cuò)誤率趨于0的同時(shí)，還可以使R趨于C，這是具有理論指導(dǎo)意義的。,定理52抗干擾信道編碼定理的逆定理 設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量為C。若選用碼字個(gè)數(shù)(消息數(shù))M(M=2N（C+），令為任意小的正數(shù))，則無(wú)論碼長(zhǎng)N多大，也不可能找到一種編碼，使平均錯(cuò)誤譯碼概率Pe任意小。,注：（1）逆定理指出：要使信道的信息傳輸率超過(guò)信息容量C，而又要求無(wú)錯(cuò)誤地傳輸消息，這是不可能的。（2）信道容量C是在信道中可靠地傳輸消息的最大信息傳輸率。,