信息倫與編碼

《信息倫與編碼》由會(huì)員分享，可在線閱讀，更多相關(guān)《信息倫與編碼（49頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,信息論與編碼,劉美春,應(yīng)用數(shù)學(xué)系,2,期末總評(píng),期末考試成績(jī)占,60,平時(shí)成績(jī)占,20,作業(yè),課堂表現(xiàn)：考勤、問答情況等,課堂作業(yè),課程實(shí)驗(yàn)占,20%,使用教材,3,4,參考書,1,信息論,基礎(chǔ)理論與應(yīng)用,，傅祖蕓編，電子工業(yè)出版社，,2001,2,信息論與編碼,，陳運(yùn)編著，電子工業(yè)出版社，,2002,信息理論與編碼,，呂鋒等編著，人民郵電出版社，,2004,信息科學(xué),一、信息論：理論基礎(chǔ)，主要研究可能性和存在性問題,二、信息技術(shù)：,主要研究如何實(shí)現(xiàn)、怎樣實(shí)現(xiàn)的問題,信息科學(xué)、材料科學(xué)和能源科學(xué)一起被稱為

2、當(dāng)代文明的,“,三大支柱,”,。,“,沒有物質(zhì)的世界是虛無的世界，沒有能源的世界是死寂的世界，,沒有信息的世界是混亂的世界,。,”,5,6,課程內(nèi)容,信息論的基本問題,信息的度量,無失真信源編碼定理,香農(nóng)第一定理,信道編碼定理,香農(nóng)第二定理,限失真信源編碼定理,香農(nóng)第三定理,信源編碼,信道編碼,7,教學(xué)目標(biāo),香農(nóng)信息論的基本理論、概念和方法；,信息的統(tǒng)計(jì)度量，離散信源，離散信道和信道容量,編碼的理論和實(shí)現(xiàn)原理,信源編碼與信道編碼,教學(xué)重點(diǎn),信息度量,信源描述,信道容量,信源編碼,信道編碼,課程內(nèi)容安排,第一章 緒論,第二章 信源與信息熵,第三章 信道與信道容量,第四章 信息率失真函數(shù),第五章

3、信源編碼,第六章 信道編碼,8,緒 論,第一章,10,1.1,信息論的形成和發(fā)展,1.2,信息論研究的分類和基本概念,1.3,通信系統(tǒng)的模型,1.4,信息科學(xué)的發(fā)展,1.4,目前信息論的主要研究成果,內(nèi)容,11,1.1,信息論的形成和發(fā)展,12,信息傳輸和傳播手段經(jīng)歷了五次重大變革：,語言的產(chǎn)生；,文字的產(chǎn)生,印刷術(shù)的發(fā)明,電報(bào)、電話的發(fā)明，開始了電信時(shí)代，通信理論、技術(shù)迅猛發(fā)展?，F(xiàn)代信息論產(chǎn)生發(fā)展。,計(jì)算機(jī)技術(shù)與通信技術(shù)相結(jié)合，促進(jìn)網(wǎng)絡(luò)通信發(fā)展。寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)的出現(xiàn)，給人們提供了除電話服務(wù)外的多種服務(wù)，進(jìn)入信息化時(shí)代。,13,現(xiàn)代信息論實(shí)際上是從,20,世紀(jì),20,年代奈奎斯特和哈特萊的

4、工作開始的。,1924,年 奈奎斯特 “影響電報(bào)速率因素的確定”信號(hào)帶寬和信息速率的關(guān)系；,1928,年 哈特萊“信息傳輸”最早研究了通信系統(tǒng)傳輸信息的能力，給出了信息度量方法；,14,1948,年 香農(nóng) 權(quán)威性長(zhǎng)文“通信的數(shù)學(xué)理論”討論了信源和信道特性,1949,年 香農(nóng)“噪聲中的通信”,這兩篇文章奠定了現(xiàn)代信息論的理論基礎(chǔ)。香農(nóng)因此成為信息論的奠基人。,50,年代，信息論在學(xué)術(shù)界引起巨大反響：組織、學(xué)術(shù)會(huì)刊,60,年代，信道編碼技術(shù)發(fā)展,70,年代后，多用戶信息論，即網(wǎng)絡(luò)信息論稱為中心研究課題之一。,密碼學(xué)也被歸類為信息論的分支。,15,16,Claude Shannon(1916-200

5、1),數(shù)學(xué)家,工程學(xué)家,信息論創(chuàng)始人、,奠基人,電子計(jì)算機(jī)理論的重要奠基人之一,17,代表著作：,1938,年,繼電器和開關(guān)電路的符號(hào)分析,。,首次用布爾代數(shù)進(jìn)行開關(guān)電路的分析,證明了布爾代數(shù)的邏輯運(yùn)算可以通過繼電器電路來實(shí)現(xiàn)，明確給出了實(shí)現(xiàn)加減乘除等運(yùn)算的電子電路設(shè)計(jì)方法。,文中首次使用了比特,(bit),的概念。,這篇論文成為開關(guān)電路理論的開端。,哈佛大學(xué),的,Howard Gardner,教授說，“這可能是本世紀(jì)最重要、最著名的一篇碩士論文?！?18,1948,年在,貝爾系統(tǒng)技術(shù),雜志上發(fā)表的,通信的數(shù)學(xué)理論,(A mathematical theory of communication

6、),。第一次提出了,信息量,的概念，并應(yīng)用,數(shù)理統(tǒng)計(jì),的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論。,通信的基本問題就是在一點(diǎn)重新準(zhǔn)確地或近似地再現(xiàn)另一點(diǎn)所選擇的消息,-,香農(nóng),19,1949,年，,噪聲下的通信,。經(jīng)典地闡明了通信的基本問題，提出了通信系統(tǒng)模型，給出了信息量的數(shù)學(xué)表達(dá)式，解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等有關(guān)精確地傳送通信符號(hào)的基本技術(shù)問題。,這兩篇文章成了現(xiàn)在信息論的奠基著作，標(biāo)志著香農(nóng)成為了,信息論,這門新興學(xué)科的奠基人。,20,其他的著作：,1,）,1956,年，,噪聲信道的零差錯(cuò)容量,（,the zero-error capacity of a n

7、oisy channel,）開創(chuàng)了零差錯(cuò)容量的研究領(lǐng)域；,2,）,1959,年 在保真度準(zhǔn)則下的離散信源編碼定理,(Coding theorems for a discrete source with a fidelity criterion),系統(tǒng)地提出了信息率失真理論，它是數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)，為各種信源編碼的研究奠定了基礎(chǔ)。,3,）,1961,年，雙路通信信道（,two-way commu-nication channels,），開創(chuàng)了多用戶理論研究。,21,科研風(fēng)格：,觸類旁通。善于站在巨人的肩膀上，可以看得更高更遠(yuǎn),標(biāo)新立異，個(gè)性化研究。提出了很多新的概念。,22,1.2,信息論研究的

8、分類和基本概念,23,什么是信息,?,信息,：,一個(gè)既復(fù)雜又抽象的概念,-,信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。,人們從來自對(duì)周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識(shí)或知識(shí)，它是看不見、摸不到的。人腦的思維活動(dòng)產(chǎn)生的一種想法，當(dāng)它仍儲(chǔ)存在腦子中的時(shí)候它就是一種信息。,24,例,1,、競(jìng)技場(chǎng)上的較量。,高手過招，過程是千變?nèi)f化、不規(guī)則、隨機(jī)的，結(jié)果是未知的。,當(dāng)成績(jī)公布時(shí)，這則消息給予了我們信息。,2,、網(wǎng)頁上的消息,25,信息的特征,信息的基本概念在于它的,不確定性,任何已確定的事物都不含信息。,接收者在收到信息之前，對(duì)它的內(nèi)容是不知道的，所以，信息是新知識(shí)、新內(nèi)容；,信息

9、是能使認(rèn)識(shí)主體對(duì)某一事物的未知性或不確定性減少的有用知識(shí)；,信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、貯存及處理；,信息是可以量度的，信息量有多少的差別,26,例：氣象預(yù)報(bào),甲,乙,“,甲地晴”比“乙地晴”的,不確定性,來的小,某一事物狀態(tài)出現(xiàn)的概率越小，其不確定性越大。某一事物狀態(tài)出現(xiàn)的概率接近于,1,即預(yù)料中肯定會(huì)出現(xiàn)的事件，那它的不確定性就接近于零。,27,信息、消息和信號(hào),信息,是事物運(yùn)動(dòng)狀態(tài)或存在方式。,消息,是指包含有信息的語言、文字和圖像等,信號(hào),是消息的物理體現(xiàn)。信號(hào)是信息的載荷子或載體，是物理性的。,在通信系統(tǒng)中，實(shí)際傳輸?shù)氖切盘?hào)，但本質(zhì)內(nèi)容的是信息。信息包含在信號(hào)之中，

10、信號(hào)是信息的載體。通信的結(jié)果是消除或部分消除不確定性，從而獲得信息。,28,信息論,信息論,一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來研究信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的學(xué)科。,信息論在,信息可以量度,的基礎(chǔ)上,研究,有效地,和,可靠地,傳遞信息的科學(xué),它涉及信息量度、信息特性、信息傳輸速率、信道容量、干擾對(duì)信息傳輸?shù)挠绊懙确矫娴闹R(shí),29,信息論研究的內(nèi)容,狹義信息論：,研究信息的測(cè)度、信道容量以及信源和信道編碼理論等問題。,一般信息論：,研究信息傳輸和處理問題，除香農(nóng)信息論，還包括噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)和估計(jì)、調(diào)制理論、信息處理理論以及保密理論等。,廣義信息論：

11、,不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會(huì)領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)甚至包括社會(huì)學(xué)中有關(guān)信息的問題,30,1.3,通信系統(tǒng)的模型,31,數(shù)字通信系統(tǒng)模型,信道,信源,信源編碼,加密,信道編碼,干擾源,信宿,信源解碼,解密,信道解碼,加密密鑰,解密密鑰,u,x,y,k,z,v,z,y,x,32,信源、信宿和信道,信源：,向通信系統(tǒng)提供消息,u,的人和機(jī)器。發(fā)送消息的源，,離散信源,模擬信源,重點(diǎn)討論,信源輸出,的描述方法及性質(zhì)。,信宿：,信息歸宿之意，亦即收信者或用戶，是信息傳送的終點(diǎn)或目的地。,信道：,傳輸信息的物理媒介，如空氣、

12、電纜線等等,信源編碼,大前提：信源的輸出是電信號(hào),X=(x,1,x,2,x,n,),從信息傳輸?shù)慕嵌瓤?，希望傳輸效率越高越好，即以最小代價(jià)傳遞盡可能多的信息,假定前提：傳送一個(gè)序列符號(hào)所耗的時(shí)間是固定的。,理想情況：每個(gè)符號(hào)攜帶的信息同樣多，并達(dá)到最大,實(shí)情：信息分布不均勻,信源編碼,：對(duì)符號(hào)序列加以變換，使得變換后的序列信息分布均勻化。,33,34,信源編碼器與譯碼器,信源編碼器的主要作用,壓縮信源的冗余度,以提高通信系統(tǒng)傳輸消息的效率。,信源編碼器分為兩類,一類是無失真信源編碼,適用于離散信源或數(shù)字信號(hào)；,另一類是限失真信源編碼,用于連續(xù)信源或模擬信號(hào),如語音、圖像等信號(hào)的數(shù)字處理,35,

13、信源編碼器與譯碼器,信源編碼器的主要指標(biāo),是它的編碼效率，即理論上能達(dá)到的碼率與實(shí)際達(dá)到的碼率之比。,一般來說，效率越高，編譯碼器的代價(jià)也將越大。,信源譯碼器的作用,是把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當(dāng)于信源編碼器的逆過程。,36,信道編碼器與譯碼器,信道編碼,主要作用是提高信息傳送的,可靠性,。,信道編碼器的作用,在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元,使之具有檢錯(cuò)或糾錯(cuò)的能力,信道編碼的主要方法,增大碼率或頻帶,即增大所需的信道容量。這恰與信源編碼相反。,信道譯碼器的作用,具有檢錯(cuò)或糾錯(cuò)的功能,它能將落在其檢錯(cuò)或糾錯(cuò)范圍內(nèi)的錯(cuò)傳碼元檢出或糾正,以提

14、高傳輸消息的可靠性。,37,密碼學(xué)研究的內(nèi)容,如何隱蔽消息中的信息內(nèi)容,使它在傳輸過程中不被竊聽,.,提高通信系統(tǒng)的,安全性,；,將明文變換成密文,通常不需要增大信道容量,例如在二進(jìn)碼信息流上疊加一密鑰流；,但也有些密碼要求占用較大的信道容量。,38,問題：,能否將三種碼,(,信源編碼、信道編碼和密碼,),合成一種碼進(jìn)行編譯？,提高有效性必須去掉信源符號(hào)中的冗余部分,此時(shí)信道誤碼會(huì)使接收端不能恢復(fù)原來的信息,也就是必須相應(yīng)提高傳送的可靠性,不然會(huì)使通信質(zhì)量下降；,反之,為了可靠而采用信道編碼,往往需擴(kuò)大碼率,也就降低了有效性。安全性也有類似情況,編成密碼,有時(shí)需擴(kuò)展碼位,這樣就降低有效性；有時(shí)

15、也會(huì)因失真而使授權(quán)用戶無法獲得信息,必須重發(fā)而降低有效性,或丟失信息而降低可靠性。,39,從理論方面來說，若能把三種碼合并成一種碼來編譯，即同時(shí)考慮有效、可靠和安全，可使編譯碼器更理想化，在經(jīng)濟(jì)上可能也更優(yōu)越。,這種三碼合一的設(shè)想是當(dāng)前眾所關(guān)心的課題，但因理論上和技術(shù)上的復(fù)雜性，要取得有用的結(jié)果，還是相當(dāng)困難。,40,1.4,信息科學(xué)的發(fā)展,41,信息科學(xué)的定義及迅速發(fā)展的背景,:,信息科學(xué)是研究信息的獲取、存儲(chǔ)、傳輸、加工處理和利用等內(nèi)容的技術(shù)科學(xué)。,它與數(shù)學(xué)、物理、材料、生命、心理等基礎(chǔ)學(xué)科以及眾多技術(shù)學(xué)科交叉形成新領(lǐng)域，是發(fā)展和更新最為迅速的技術(shù)科學(xué)研究領(lǐng)域之一。,信息科學(xué)與其它科學(xué)技術(shù)

16、交叉將派生出大量的新概念、新構(gòu)思、新技術(shù)和邊緣學(xué)科。,其核心是現(xiàn)代通信加信息技術(shù)。,42,國(guó)家信息基礎(chǔ)結(jié)構(gòu),亦稱,“,信息高速公路,”,，是一個(gè)具有大容量、高速度的,電子數(shù)據(jù)傳輸系統(tǒng),，最早由美國(guó)聯(lián)邦政府引導(dǎo)工業(yè)界提出并逐步建立，簡(jiǎn)稱,NII,（,National Information Infrastructure,）。,它以現(xiàn)代信息技術(shù)為基礎(chǔ)，以光導(dǎo)纖維網(wǎng)絡(luò)為骨干，連接全美的學(xué)校、研究機(jī)構(gòu)、企業(yè)、圖書館、實(shí)驗(yàn)室乃至每個(gè)家庭，使人們共享豐富的信息資源。,43,信息產(chǎn)業(yè),信息產(chǎn)業(yè)在世界范圍內(nèi)正在由先導(dǎo)產(chǎn)業(yè)逐步變?yōu)橹鲗?dǎo)產(chǎn)業(yè)。,從微觀上看，表現(xiàn)為單位產(chǎn)品的價(jià)格構(gòu)成中，能源和材料的消耗減少而信息技術(shù)和信息服務(wù)的比重上升；,從宏觀上看，表現(xiàn)為國(guó)民生產(chǎn)總值（,GDP,）中信息產(chǎn)業(yè)所占的比重增加。,一個(gè)國(guó)家信息產(chǎn)業(yè)的發(fā)展水平將是衡量該國(guó)社會(huì)經(jīng)濟(jì)總體發(fā)展和現(xiàn)代化程度的重要標(biāo)志之一。,信息與通信工程一級(jí)學(xué)科,九十年代中期，國(guó)家在進(jìn)行科學(xué)研究的學(xué)科規(guī)劃和調(diào)整時(shí)，將工程學(xué)科原來,100,多個(gè)一級(jí)學(xué)科調(diào)整為,31,個(gè)，但卻將原來的,“,電子與信息系統(tǒng),”,調(diào)整為,“,信息與通信工程,”,和,“,電子科學(xué)與技