《信息論基礎(chǔ)教程》第二版PPT課件

《信息論基礎(chǔ)教程》第二版PPT課件,信息論基礎(chǔ)教程,信息論,基礎(chǔ)教程,第二,PPT,課件 信息論與編碼課程信息l教材及主要參考書教材及主要參考書：信息論基礎(chǔ)教程信息論基礎(chǔ)教程第二版第二版 李梅李梅,李亦農(nóng)李亦農(nóng) 北京郵電大學(xué)出版社，北京郵電大學(xué)出版社，20082008年年1010月月 信息論信息論-基礎(chǔ)理論與應(yīng)用基礎(chǔ)理論與應(yīng)用，傅祖蕓，傅祖蕓 電子工業(yè)出版社，電子工業(yè)出版社，20012001年年8 8月月l考核考核：平時成績平時成績 20（作業(yè)、考勤、（作業(yè)、考勤、實驗實驗）期末考試期末考試 80（閉卷）（閉卷）l答疑答疑：實踐性教學(xué)內(nèi)容、要求及學(xué)時分配實踐性教學(xué)內(nèi)容、要求及學(xué)時分配實踐性教學(xué)內(nèi)容、要求及學(xué)時分配實踐性教學(xué)內(nèi)容、要求及學(xué)時分配實驗一：信道容量的迭代算法實驗一：信道容量的迭代算法 2 學(xué)時實驗二：實驗二：Huffman 編碼編碼 2 學(xué)時實驗三：通信系統(tǒng)仿真實驗三：通信系統(tǒng)仿真 4 學(xué)時（備選題目：LZW壓縮編碼）國外參考教材T.M.Cover,Fundamental of Information Theory 最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用 數(shù)學(xué)推導(dǎo)適中，強調(diào)概念，作為參考教材R.G.Gallager,Information Theory and Reliable Communication 數(shù)學(xué)推導(dǎo)較為艱深 作為提高教材第一章：緒論一、一、什么是信息什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內(nèi)容三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內(nèi)容三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.概述概述2.信息的通俗概念信息的通俗概念3.信息的狹義概念（香農(nóng)信息）信息的狹義概念（香農(nóng)信息）4.信息的廣義概念信息的廣義概念l組成客觀世界的三大基本要素：組成客觀世界的三大基本要素：物質(zhì)物質(zhì)能量能量信息信息l沒沒有有物物質(zhì)質(zhì)什什么么都都不不存存在在，沒沒有有能能量量什什么么都都不不會會發(fā)發(fā)生生，沒沒有信息什么都沒有意義。有信息什么都沒有意義。美國學(xué)者歐廷格美國學(xué)者歐廷格研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論1.概述2.信息的通俗概念 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用用文文字字、符符號號、數(shù)數(shù)據(jù)據(jù)、語語言言、音音符符、圖圖片片、圖圖像像等等能能夠夠被被人人們們感感覺覺器器官官所所感感知知的的形形式式，把把客客觀觀物物質(zhì)質(zhì)運運動動和和主主觀觀思維活動的狀態(tài)表達出來，就稱為思維活動的狀態(tài)表達出來，就稱為消息消息。研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論l消息消息中包含信息，消息是信息的載體。中包含信息，消息是信息的載體。2.信息的通俗概念（續(xù)1）l信號信號是表示消息的物理量，包括電信號、光信號等。是表示消息的物理量，包括電信號、光信號等。l信號信號中攜帶著消息，信號是消息的載體。中攜帶著消息，信號是消息的載體。信息信息信號信號消息消息研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論3.信息的狹義概念（香農(nóng)信息）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型香香農(nóng)農(nóng)信信息息：信信息息是是對對事事物物運運動動狀狀態(tài)態(tài)或或存存在在方方式式的的不不確確定定 性性的描述。的描述。l通通信信的的基基本本問問題題是是在在一一點點(信信宿宿）精精確確或或近近似似恢恢復(fù)復(fù)另另一一點點（信源）所選擇的消息。（信源）所選擇的消息。香農(nóng)香農(nóng)l通信的過程就是消除通信的過程就是消除不確定性不確定性的過程。的過程。3.信息的狹義概念（香農(nóng)信息）（續(xù)1）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例1 1：甲甲袋袋紅紅、白白球球各各5050個個，乙乙袋袋紅紅、白白、藍藍、黑黑球球各各2525個個。比比較較從從甲甲袋袋中中取取出出一一個個球球是是紅紅球球的的事事件件和和從從乙乙袋袋中中取取出出一一個個球球是是紅紅球球的的事事件件發(fā)發(fā)生生的的難難易易程程度度，也也就就是是事事件件發(fā)生的不確定性。發(fā)生的不確定性。研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)2）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例2 2：北北京京地地區(qū)區(qū)十十月月份份可可能能出出現(xiàn)現(xiàn)的的天天氣氣包包括括：晴晴、陰陰、雨雨、雪雪。比比較較天天氣氣預(yù)預(yù)報報為為“晴晴”和和天天氣氣預(yù)預(yù)報報為為“雪雪”，給給人人們帶來的信息量。們帶來的信息量。研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型結(jié)論結(jié)論：不確定性的大小與事：不確定性的大小與事件發(fā)生的概率有關(guān)。件發(fā)生的概率有關(guān)。3.信息的狹義概念（香農(nóng)信息）（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關(guān)不確定性的大小與事件發(fā)生的概率有關(guān)因此，信息量可以表示為概率的函數(shù)。因此，信息量可以表示為概率的函數(shù)。不確定性是概率的函數(shù)不確定性是概率的函數(shù)3.信息的狹義概念（香農(nóng)信息）（續(xù)4）l信息與概率的關(guān)系：信息與概率的關(guān)系：事件發(fā)生的事件發(fā)生的概率越大概率越大，該事件包含的，該事件包含的信息量越小信息量越??；如果一個事件發(fā)生的如果一個事件發(fā)生的概率為概率為1 1，那么它包含的，那么它包含的信息量為信息量為0 0；兩兩個個相相互互獨獨立立事事件件所所提提供供的的信信息息量量應(yīng)應(yīng)等等于于它它們們各各自自提提供供的的信息量之和。信息量之和。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)5）l某個消息的不確定性（含有的信息量）可以表示為：某個消息的不確定性（含有的信息量）可以表示為：第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信源的平均信源的平均不確定性：不確定性：3.信息的狹義概念（香農(nóng)信息）（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農(nóng)信息的優(yōu)點：香農(nóng)信息的優(yōu)點：有明確的數(shù)學(xué)表達式，定量化有明確的數(shù)學(xué)表達式，定量化與人們直觀理解的信息含義一致與人們直觀理解的信息含義一致不不考考慮慮收收信信者者主主觀觀感感受受的的不不同同，認(rèn)認(rèn)為為同同一一消消息息對對任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)7）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農(nóng)信息的局限：香農(nóng)信息的局限：沒有考慮收信者的主觀特性和主觀意義沒有考慮收信者的主觀特性和主觀意義研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4.信息的廣義概念研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信息信息是認(rèn)識主體（人、生物、機器）所感受的和表達的事是認(rèn)識主體（人、生物、機器）所感受的和表達的事物運動的狀態(tài)和運動狀態(tài)變化的方式。物運動的狀態(tài)和運動狀態(tài)變化的方式。語法信息語法信息語義信息語義信息語用信息語用信息第一章：緒論第一章：緒論第一章：緒論第一章：緒論第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內(nèi)容三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.通信系統(tǒng)模型通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標(biāo)的措施提高通信系統(tǒng)的性能指標(biāo)的措施1.通信系統(tǒng)模型研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖1 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)1）l信源信源l編碼器編碼器l信道信道l譯碼器譯碼器l信宿信宿第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1）信源研究內(nèi)容：研究內(nèi)容：l信源發(fā)出的消息的信源發(fā)出的消息的統(tǒng)計特性統(tǒng)計特性離散離散信源、信源、連續(xù)連續(xù)信源、信源、波形波形信源信源有記憶有記憶信源和信源和無記憶無記憶信源信源平穩(wěn)平穩(wěn)信源和信源和非平穩(wěn)非平穩(wěn)信源信源l信源產(chǎn)生信息的信源產(chǎn)生信息的速率速率 熵率熵率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)2）2）編碼器l編碼器的功能：將消息變成適合信道傳輸?shù)男盘柧幋a器的功能：將消息變成適合信道傳輸?shù)男盘?l編碼器包括：編碼器包括：信源編碼器信源編碼器信道編碼器信道編碼器調(diào)制器調(diào)制器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖2 編碼器的組成編碼器的組成研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)4）l信源編碼器：信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行?。去除信源消息中的冗余度，提高傳輸?shù)挠行?。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)5）l信道編碼器：信道編碼器：將信源編碼后的符號加上冗余符號，提高傳輸?shù)目煽啃?。將信源編碼后的符號加上冗余符號，提高傳輸?shù)目煽啃?。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖3 信道編碼示例信道編碼示例1.通信系統(tǒng)模型（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l思考題：思考題：信源編碼去除冗余度，信道編碼卻加上冗余度，為信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？什么要這么做？1.通信系統(tǒng)模型（續(xù)7）l調(diào)制器：調(diào)制器：功能：將信道編碼后的符號變成適合信道傳輸?shù)男盘柟δ埽簩⑿诺谰幋a后的符號變成適合信道傳輸?shù)男盘柲康模耗康模禾岣邆鬏斝侍岣邆鬏斝实谝徽拢壕w論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)8）3）信道l狹義信道狹義信道l廣義信道廣義信道第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)9）研究內(nèi)容：研究內(nèi)容：l信道的信道的統(tǒng)計特性統(tǒng)計特性無噪聲無噪聲信道、信道、有噪聲有噪聲信道信道離散離散信道、信道、連續(xù)連續(xù)信道、信道、波形波形信道信道有記憶有記憶信道和信道和無記憶無記憶信道信道恒參恒參信道（信道（平穩(wěn)平穩(wěn)信道）和信道）和隨參隨參信道（信道（非平穩(wěn)非平穩(wěn)信道）信道）單用戶單用戶信道和信道和多用戶多用戶信道信道l信道傳輸信息的信道傳輸信息的最高速率最高速率 信道容量信道容量1.通信系統(tǒng)模型（續(xù)10）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4）譯碼器l譯碼器的功能：從接收到的信號中恢復(fù)消息。譯碼器的功能：從接收到的信號中恢復(fù)消息。l包括：包括：解調(diào)器解調(diào)器信道譯碼器信道譯碼器信源譯碼器信源譯碼器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)11）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖4 譯碼器的組成譯碼器的組成研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)12）5）信宿l信宿是消息傳送的對象（人或機器）。信宿是消息傳送的對象（人或機器）。l香農(nóng)信息論不研究信宿。香農(nóng)信息論不研究信宿。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)13）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l提高提高有效性有效性：（數(shù)據(jù)壓縮）（數(shù)據(jù)壓縮）信源編碼：信源編碼：無失真無失真信源編碼和信源編碼和限失真限失真信源編碼信源編碼l提高提高可靠性可靠性：（可靠傳輸）（可靠傳輸）信道編碼信道編碼2.提高通信系統(tǒng)性能指標(biāo)的措施研究內(nèi)容研究內(nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內(nèi)容三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.信息論研究的主要問題信息論研究的主要問題2.什么是信息論什么是信息論3.信息論的應(yīng)用信息論的應(yīng)用1.信息論研究的主要問題第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容 狹義信息論：又稱香農(nóng)信息論。狹義信息論：又稱香農(nóng)信息論。一般信息論：也叫工程信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論廣義廣義信息論信息論一般一般信息論信息論狹義狹義信息論信息論1.信息論研究的主要問題（續(xù)1）1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容2 2）怎樣確定信源輸出信息的速率？）怎樣確定信源輸出信息的速率？3 3）對于一個信道，它傳輸信息的最高速率（信道容量）是）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？多少？1.信息論研究的主要問題（續(xù)2）4 4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？）無失真信源編碼，所需要的最少碼符號數(shù)是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第一定理香農(nóng)第一定理：如果編碼后的信源序列的如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。在這樣的一種無失真信源編碼方法。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容1.信息論研究的主要問題（續(xù)3）5 5）在有噪聲信道中，有沒有可能實現(xiàn)幾乎無差錯的傳輸信）在有噪聲信道中，有沒有可能實現(xiàn)幾乎無差錯的傳輸信息？息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第二定理香農(nóng)第二定理：如果信道的信息傳輸率小于信：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長時傳輸差錯任意??；否則，當(dāng)編碼序列足夠長時傳輸差錯任意??；否則，不存在使差錯任意小的信道編碼方式。不存在使差錯任意小的信道編碼方式。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容1.信息論研究的主要問題（續(xù)4）6 6）如果信源編碼時，允許一定的失真，那么信源編碼所需）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？要的最少碼符號數(shù)又是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第三定理香農(nóng)第三定理：對于任意的失真度：對于任意的失真度 ，只要，只要碼字足夠長，那么總可以找到一種編碼方法，使碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率編碼后的編碼信息率 ，而碼的平均失真度，而碼的平均失真度 。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容 信信息息論論是是通通信信的的數(shù)數(shù)學(xué)學(xué)基基礎(chǔ)礎(chǔ)，它它以以概概率率論論為為主主要要數(shù)數(shù)學(xué)學(xué)工工具具，詳詳細細研研究究了了通通信信中中的的各各個個關(guān)關(guān)鍵鍵環(huán)環(huán)節(jié)節(jié)，以以定定理理的的形形式式給給出出了了信信源源編編碼碼、信信道道編編碼碼的的理理論論極極限限，為為各各種種具具體體的的通通信信技技術(shù)術(shù)提提供供了理論上的指導(dǎo)。了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志信息論創(chuàng)立的標(biāo)志:香農(nóng)于香農(nóng)于19481948年發(fā)表年發(fā)表 的論文的論文：A Mathematical Theory of Communication（通信的數(shù)學(xué)理論）（通信的數(shù)學(xué)理論）2.什么是信息論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容第一章：緒論第一章：緒論第一章：緒論第一章：緒論2.什么是信息論（續(xù)1）l以概率論、隨機過程為基本研究工具。以概率論、隨機過程為基本研究工具。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容l研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點。以編、譯碼器為重點。l關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不具體設(shè)計系統(tǒng)）。具體設(shè)計系統(tǒng)）。l要求信源為隨機過程，不研究信宿。要求信源為隨機過程，不研究信宿。信息論的特點信息論的特點信息論幫助通信工程師從全局的觀點觀察和設(shè)計通信系統(tǒng)。信息論幫助通信工程師從全局的觀點觀察和設(shè)計通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容2.信息論的應(yīng)用（續(xù)1）通通信信的的基基本本問問題題是是在在一一點點精精確確地地或或近近似似地地恢恢復(fù)復(fù)另另一一點點（信信源源）所所選選擇擇的的消消息息。通通常常，這這些些消消息息是是有有含含義義的的，但但是是這這些些語語義義方方面面的的問問題題與與通通信信問問題題無無關(guān)關(guān)，而而重重要要的的方方面面是是實實際際消消息息是是從從一一個個可能的消息集合中選擇出的一條消息?？赡艿南⒓现羞x擇出的一條消息。香農(nóng)香農(nóng)第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語音信號壓縮（G.711,GSM,Vocoder）計算機文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內(nèi)容研究內(nèi)容第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內(nèi)容三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.技術(shù)背景技術(shù)背景2.理論背景理論背景3.香農(nóng)的主要工作香農(nóng)的主要工作1.技術(shù)背景l(fā)當(dāng)時通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：當(dāng)時通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：電報（電報（Morse，1838）、電話（）、電話（Bell，1876）、無線電報）、無線電報(Marconi,1887)、調(diào)幅廣播（、調(diào)幅廣播（1900s 早期）、單邊帶調(diào)制早期）、單邊帶調(diào)制（Carson，1922）、電視（）、電視（1925-1927）、調(diào)頻廣播）、調(diào)頻廣播（Armstrong，1936）、脈沖編碼調(diào)制（）、脈沖編碼調(diào)制（Reeves，1937-1939）、聲碼器（）、聲碼器（Dudley，1939）、擴頻通信（）、擴頻通信（1940s）等。等。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究內(nèi)容研究內(nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展2.理論背景l(fā)1948年以前，年以前，Nyquist、Hartley、Wiener做做了許多有影響的工作。了許多有影響的工作。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究內(nèi)容研究內(nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展3.香農(nóng)的主要工作l1948年，發(fā)表年，發(fā)表通信的數(shù)學(xué)理論通信的數(shù)學(xué)理論。第一章：緒論第一章：緒論第一章：緒論第一章：緒論l1949年，發(fā)表年，發(fā)表噪聲下的通信噪聲下的通信。l1959年，發(fā)表年，發(fā)表在保真度準(zhǔn)則下的離散信源編在保真度準(zhǔn)則下的離散信源編碼定理碼定理。l1961年，發(fā)表年，發(fā)表雙路通信系統(tǒng)雙路通信系統(tǒng)。通信系統(tǒng)模型通信系統(tǒng)模型 研究內(nèi)容研究內(nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展l1956年，發(fā)表年，發(fā)表噪聲信道的零差錯容量噪聲信道的零差錯容量。大寫字母等表示隨機變量小寫字母等表示隨機變量的具體取值大寫黑體字母 等表示多維隨機變量，也就是隨機矢量小寫黑體字母 等表示隨機矢量的具體取值本課程約定的符號表示