《信息論基礎(chǔ)教程》第二版PPT課件

《信息論基礎(chǔ)教程》第二版PPT課件,信息論基礎(chǔ)教程,信息論,基礎(chǔ)教程,第二,PPT,課件 信息論與編碼課程信息l教材及主要參考書(shū)教材及主要參考書(shū)：信息論基礎(chǔ)教程信息論基礎(chǔ)教程第二版第二版 李梅李梅,李亦農(nóng)李亦農(nóng) 北京郵電大學(xué)出版社，北京郵電大學(xué)出版社，20082008年年1010月月 信息論信息論-基礎(chǔ)理論與應(yīng)用基礎(chǔ)理論與應(yīng)用，傅祖蕓，傅祖蕓 電子工業(yè)出版社，電子工業(yè)出版社，20012001年年8 8月月l考核考核：平時(shí)成績(jī)平時(shí)成績(jī) 20（作業(yè)、考勤、（作業(yè)、考勤、實(shí)驗(yàn)實(shí)驗(yàn)）期末考試期末考試 80（閉卷）（閉卷）l答疑答疑：實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)驗(yàn)一：信道容量的迭代算法實(shí)驗(yàn)一：信道容量的迭代算法 2 學(xué)時(shí)實(shí)驗(yàn)二：實(shí)驗(yàn)二：Huffman 編碼編碼 2 學(xué)時(shí)實(shí)驗(yàn)三：通信系統(tǒng)仿真實(shí)驗(yàn)三：通信系統(tǒng)仿真 4 學(xué)時(shí)（備選題目：LZW壓縮編碼）國(guó)外參考教材T.M.Cover,Fundamental of Information Theory 最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用 數(shù)學(xué)推導(dǎo)適中，強(qiáng)調(diào)概念，作為參考教材R.G.Gallager,Information Theory and Reliable Communication 數(shù)學(xué)推導(dǎo)較為艱深 作為提高教材第一章：緒論一、一、什么是信息什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.概述概述2.信息的通俗概念信息的通俗概念3.信息的狹義概念（香農(nóng)信息）信息的狹義概念（香農(nóng)信息）4.信息的廣義概念信息的廣義概念l組成客觀世界的三大基本要素：組成客觀世界的三大基本要素：物質(zhì)物質(zhì)能量能量信息信息l沒(méi)沒(méi)有有物物質(zhì)質(zhì)什什么么都都不不存存在在，沒(méi)沒(méi)有有能能量量什什么么都都不不會(huì)會(huì)發(fā)發(fā)生生，沒(méi)沒(méi)有信息什么都沒(méi)有意義。有信息什么都沒(méi)有意義。美國(guó)學(xué)者歐廷格美國(guó)學(xué)者歐廷格研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論1.概述2.信息的通俗概念 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用用文文字字、符符號(hào)號(hào)、數(shù)數(shù)據(jù)據(jù)、語(yǔ)語(yǔ)言言、音音符符、圖圖片片、圖圖像像等等能能夠夠被被人人們們感感覺(jué)覺(jué)器器官官所所感感知知的的形形式式，把把客客觀觀物物質(zhì)質(zhì)運(yùn)運(yùn)動(dòng)動(dòng)和和主主觀觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)，就稱為思維活動(dòng)的狀態(tài)表達(dá)出來(lái)，就稱為消息消息。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論l消息消息中包含信息，消息是信息的載體。中包含信息，消息是信息的載體。2.信息的通俗概念（續(xù)1）l信號(hào)信號(hào)是表示消息的物理量，包括電信號(hào)、光信號(hào)等。是表示消息的物理量，包括電信號(hào)、光信號(hào)等。l信號(hào)信號(hào)中攜帶著消息，信號(hào)是消息的載體。中攜帶著消息，信號(hào)是消息的載體。信息信息信號(hào)信號(hào)消息消息研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論3.信息的狹義概念（香農(nóng)信息）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型香香農(nóng)農(nóng)信信息息：信信息息是是對(duì)對(duì)事事物物運(yùn)運(yùn)動(dòng)動(dòng)狀狀態(tài)態(tài)或或存存在在方方式式的的不不確確定定 性性的描述。的描述。l通通信信的的基基本本問(wèn)問(wèn)題題是是在在一一點(diǎn)點(diǎn)(信信宿宿）精精確確或或近近似似恢恢復(fù)復(fù)另另一一點(diǎn)點(diǎn)（信源）所選擇的消息。（信源）所選擇的消息。香農(nóng)香農(nóng)l通信的過(guò)程就是消除通信的過(guò)程就是消除不確定性不確定性的過(guò)程。的過(guò)程。3.信息的狹義概念（香農(nóng)信息）（續(xù)1）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例1 1：甲甲袋袋紅紅、白白球球各各5050個(gè)個(gè)，乙乙袋袋紅紅、白白、藍(lán)藍(lán)、黑黑球球各各2525個(gè)個(gè)。比比較較從從甲甲袋袋中中取取出出一一個(gè)個(gè)球球是是紅紅球球的的事事件件和和從從乙乙袋袋中中取取出出一一個(gè)個(gè)球球是是紅紅球球的的事事件件發(fā)發(fā)生生的的難難易易程程度度，也也就就是是事事件件發(fā)生的不確定性。發(fā)生的不確定性。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)2）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例2 2：北北京京地地區(qū)區(qū)十十月月份份可可能能出出現(xiàn)現(xiàn)的的天天氣氣包包括括：晴晴、陰陰、雨雨、雪雪。比比較較天天氣氣預(yù)預(yù)報(bào)報(bào)為為“晴晴”和和天天氣氣預(yù)預(yù)報(bào)報(bào)為為“雪雪”，給給人人們帶來(lái)的信息量。們帶來(lái)的信息量。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型結(jié)論結(jié)論：不確定性的大小與事：不確定性的大小與事件發(fā)生的概率有關(guān)。件發(fā)生的概率有關(guān)。3.信息的狹義概念（香農(nóng)信息）（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關(guān)不確定性的大小與事件發(fā)生的概率有關(guān)因此，信息量可以表示為概率的函數(shù)。因此，信息量可以表示為概率的函數(shù)。不確定性是概率的函數(shù)不確定性是概率的函數(shù)3.信息的狹義概念（香農(nóng)信息）（續(xù)4）l信息與概率的關(guān)系：信息與概率的關(guān)系：事件發(fā)生的事件發(fā)生的概率越大概率越大，該事件包含的，該事件包含的信息量越小信息量越??；如果一個(gè)事件發(fā)生的如果一個(gè)事件發(fā)生的概率為概率為1 1，那么它包含的，那么它包含的信息量為信息量為0 0；兩兩個(gè)個(gè)相相互互獨(dú)獨(dú)立立事事件件所所提提供供的的信信息息量量應(yīng)應(yīng)等等于于它它們們各各自自提提供供的的信息量之和。信息量之和。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)5）l某個(gè)消息的不確定性（含有的信息量）可以表示為：某個(gè)消息的不確定性（含有的信息量）可以表示為：第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信源的平均信源的平均不確定性：不確定性：3.信息的狹義概念（香農(nóng)信息）（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農(nóng)信息的優(yōu)點(diǎn)：香農(nóng)信息的優(yōu)點(diǎn)：有明確的數(shù)學(xué)表達(dá)式，定量化有明確的數(shù)學(xué)表達(dá)式，定量化與人們直觀理解的信息含義一致與人們直觀理解的信息含義一致不不考考慮慮收收信信者者主主觀觀感感受受的的不不同同，認(rèn)認(rèn)為為同同一一消消息息對(duì)對(duì)任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)7）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農(nóng)信息的局限：香農(nóng)信息的局限：沒(méi)有考慮收信者的主觀特性和主觀意義沒(méi)有考慮收信者的主觀特性和主觀意義研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4.信息的廣義概念研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信息信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。語(yǔ)法信息語(yǔ)法信息語(yǔ)義信息語(yǔ)義信息語(yǔ)用信息語(yǔ)用信息第一章：緒論第一章：緒論第一章：緒論第一章：緒論第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.通信系統(tǒng)模型通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標(biāo)的措施提高通信系統(tǒng)的性能指標(biāo)的措施1.通信系統(tǒng)模型研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖1 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)1）l信源信源l編碼器編碼器l信道信道l譯碼器譯碼器l信宿信宿第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1）信源研究?jī)?nèi)容：研究?jī)?nèi)容：l信源發(fā)出的消息的信源發(fā)出的消息的統(tǒng)計(jì)特性統(tǒng)計(jì)特性離散離散信源、信源、連續(xù)連續(xù)信源、信源、波形波形信源信源有記憶有記憶信源和信源和無(wú)記憶無(wú)記憶信源信源平穩(wěn)平穩(wěn)信源和信源和非平穩(wěn)非平穩(wěn)信源信源l信源產(chǎn)生信息的信源產(chǎn)生信息的速率速率 熵率熵率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)2）2）編碼器l編碼器的功能：將消息變成適合信道傳輸?shù)男盘?hào)編碼器的功能：將消息變成適合信道傳輸?shù)男盘?hào) l編碼器包括：編碼器包括：信源編碼器信源編碼器信道編碼器信道編碼器調(diào)制器調(diào)制器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖2 編碼器的組成編碼器的組成研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)4）l信源編碼器：信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行?。去除信源消息中的冗余度，提高傳輸?shù)挠行浴５谝徽拢壕w論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)5）l信道編碼器：信道編碼器：將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖3 信道編碼示例信道編碼示例1.通信系統(tǒng)模型（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l思考題：思考題：信源編碼去除冗余度，信道編碼卻加上冗余度，為信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？什么要這么做？1.通信系統(tǒng)模型（續(xù)7）l調(diào)制器：調(diào)制器：功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)目的：目的：提高傳輸效率提高傳輸效率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)8）3）信道l狹義信道狹義信道l廣義信道廣義信道第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)9）研究?jī)?nèi)容：研究?jī)?nèi)容：l信道的信道的統(tǒng)計(jì)特性統(tǒng)計(jì)特性無(wú)噪聲無(wú)噪聲信道、信道、有噪聲有噪聲信道信道離散離散信道、信道、連續(xù)連續(xù)信道、信道、波形波形信道信道有記憶有記憶信道和信道和無(wú)記憶無(wú)記憶信道信道恒參恒參信道（信道（平穩(wěn)平穩(wěn)信道）和信道）和隨參隨參信道（信道（非平穩(wěn)非平穩(wěn)信道）信道）單用戶單用戶信道和信道和多用戶多用戶信道信道l信道傳輸信息的信道傳輸信息的最高速率最高速率 信道容量信道容量1.通信系統(tǒng)模型（續(xù)10）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4）譯碼器l譯碼器的功能：從接收到的信號(hào)中恢復(fù)消息。譯碼器的功能：從接收到的信號(hào)中恢復(fù)消息。l包括：包括：解調(diào)器解調(diào)器信道譯碼器信道譯碼器信源譯碼器信源譯碼器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)11）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖4 譯碼器的組成譯碼器的組成研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)12）5）信宿l信宿是消息傳送的對(duì)象（人或機(jī)器）。信宿是消息傳送的對(duì)象（人或機(jī)器）。l香農(nóng)信息論不研究信宿。香農(nóng)信息論不研究信宿。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)13）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l提高提高有效性有效性：（數(shù)據(jù)壓縮）（數(shù)據(jù)壓縮）信源編碼：信源編碼：無(wú)失真無(wú)失真信源編碼和信源編碼和限失真限失真信源編碼信源編碼l提高提高可靠性可靠性：（可靠傳輸）（可靠傳輸）信道編碼信道編碼2.提高通信系統(tǒng)性能指標(biāo)的措施研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.信息論研究的主要問(wèn)題信息論研究的主要問(wèn)題2.什么是信息論什么是信息論3.信息論的應(yīng)用信息論的應(yīng)用1.信息論研究的主要問(wèn)題第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 狹義信息論：又稱香農(nóng)信息論。狹義信息論：又稱香農(nóng)信息論。一般信息論：也叫工程信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論廣義廣義信息論信息論一般一般信息論信息論狹義狹義信息論信息論1.信息論研究的主要問(wèn)題（續(xù)1）1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2 2）怎樣確定信源輸出信息的速率？）怎樣確定信源輸出信息的速率？3 3）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是多少？多少？1.信息論研究的主要問(wèn)題（續(xù)2）4 4）無(wú)失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？）無(wú)失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第一定理香農(nóng)第一定理：如果編碼后的信源序列的如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存編碼信息率不小于信源的熵，那么一定存在一種無(wú)失真信源編碼方法；否則，不存在一種無(wú)失真信源編碼方法；否則，不存在這樣的一種無(wú)失真信源編碼方法。在這樣的一種無(wú)失真信源編碼方法。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容1.信息論研究的主要問(wèn)題（續(xù)3）5 5）在有噪聲信道中，有沒(méi)有可能實(shí)現(xiàn)幾乎無(wú)差錯(cuò)的傳輸信）在有噪聲信道中，有沒(méi)有可能實(shí)現(xiàn)幾乎無(wú)差錯(cuò)的傳輸信息？息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第二定理香農(nóng)第二定理：如果信道的信息傳輸率小于信：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意?。环駝t，當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意小；否則，不存在使差錯(cuò)任意小的信道編碼方式。不存在使差錯(cuò)任意小的信道編碼方式。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容1.信息論研究的主要問(wèn)題（續(xù)4）6 6）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需要的最少碼符號(hào)數(shù)又是多少？要的最少碼符號(hào)數(shù)又是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第三定理香農(nóng)第三定理：對(duì)于任意的失真度：對(duì)于任意的失真度 ，只要，只要碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使編碼后的編碼信息率編碼后的編碼信息率 ，而碼的平均失真度，而碼的平均失真度 。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 信信息息論論是是通通信信的的數(shù)數(shù)學(xué)學(xué)基基礎(chǔ)礎(chǔ)，它它以以概概率率論論為為主主要要數(shù)數(shù)學(xué)學(xué)工工具具，詳詳細(xì)細(xì)研研究究了了通通信信中中的的各各個(gè)個(gè)關(guān)關(guān)鍵鍵環(huán)環(huán)節(jié)節(jié)，以以定定理理的的形形式式給給出出了了信信源源編編碼碼、信信道道編編碼碼的的理理論論極極限限，為為各各種種具具體體的的通通信信技技術(shù)術(shù)提提供供了理論上的指導(dǎo)。了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志信息論創(chuàng)立的標(biāo)志:香農(nóng)于香農(nóng)于19481948年發(fā)表年發(fā)表 的論文的論文：A Mathematical Theory of Communication（通信的數(shù)學(xué)理論）（通信的數(shù)學(xué)理論）2.什么是信息論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容第一章：緒論第一章：緒論第一章：緒論第一章：緒論2.什么是信息論（續(xù)1）l以概率論、隨機(jī)過(guò)程為基本研究工具。以概率論、隨機(jī)過(guò)程為基本研究工具。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容l研究的是通信系統(tǒng)的整個(gè)過(guò)程，而不是單個(gè)環(huán)節(jié)，并研究的是通信系統(tǒng)的整個(gè)過(guò)程，而不是單個(gè)環(huán)節(jié)，并以編、譯碼器為重點(diǎn)。以編、譯碼器為重點(diǎn)。l關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不具體設(shè)計(jì)系統(tǒng)）。具體設(shè)計(jì)系統(tǒng)）。l要求信源為隨機(jī)過(guò)程，不研究信宿。要求信源為隨機(jī)過(guò)程，不研究信宿。信息論的特點(diǎn)信息論的特點(diǎn)信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開(kāi)發(fā)的必備的知識(shí)。信息論是從事信息通信系統(tǒng)研究和開(kāi)發(fā)的必備的知識(shí)。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2.信息論的應(yīng)用（續(xù)1）通通信信的的基基本本問(wèn)問(wèn)題題是是在在一一點(diǎn)點(diǎn)精精確確地地或或近近似似地地恢恢復(fù)復(fù)另另一一點(diǎn)點(diǎn)（信信源源）所所選選擇擇的的消消息息。通通常常，這這些些消消息息是是有有含含義義的的，但但是是這這些些語(yǔ)語(yǔ)義義方方面面的的問(wèn)問(wèn)題題與與通通信信問(wèn)問(wèn)題題無(wú)無(wú)關(guān)關(guān)，而而重重要要的的方方面面是是實(shí)實(shí)際際消消息息是是從從一一個(gè)個(gè)可能的消息集合中選擇出的一條消息。可能的消息集合中選擇出的一條消息。香農(nóng)香農(nóng)第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語(yǔ)音信號(hào)壓縮（G.711,GSM,Vocoder）計(jì)算機(jī)文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號(hào)壓縮MP3、圖象信號(hào)的壓縮JPEG,MPEG等）第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.技術(shù)背景技術(shù)背景2.理論背景理論背景3.香農(nóng)的主要工作香農(nóng)的主要工作1.技術(shù)背景l(fā)當(dāng)時(shí)通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：當(dāng)時(shí)通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：電報(bào)（電報(bào)（Morse，1838）、電話（）、電話（Bell，1876）、無(wú)線電報(bào)）、無(wú)線電報(bào)(Marconi,1887)、調(diào)幅廣播（、調(diào)幅廣播（1900s 早期）、單邊帶調(diào)制早期）、單邊帶調(diào)制（Carson，1922）、電視（）、電視（1925-1927）、調(diào)頻廣播）、調(diào)頻廣播（Armstrong，1936）、脈沖編碼調(diào)制（）、脈沖編碼調(diào)制（Reeves，1937-1939）、聲碼器（）、聲碼器（Dudley，1939）、擴(kuò)頻通信（）、擴(kuò)頻通信（1940s）等。等。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究?jī)?nèi)容研究?jī)?nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展2.理論背景l(fā)1948年以前，年以前，Nyquist、Hartley、Wiener做做了許多有影響的工作。了許多有影響的工作。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究?jī)?nèi)容研究?jī)?nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展3.香農(nóng)的主要工作l1948年，發(fā)表年，發(fā)表通信的數(shù)學(xué)理論通信的數(shù)學(xué)理論。第一章：緒論第一章：緒論第一章：緒論第一章：緒論l1949年，發(fā)表年，發(fā)表噪聲下的通信噪聲下的通信。l1959年，發(fā)表年，發(fā)表在保真度準(zhǔn)則下的離散信源編在保真度準(zhǔn)則下的離散信源編碼定理碼定理。l1961年，發(fā)表年，發(fā)表雙路通信系統(tǒng)雙路通信系統(tǒng)。通信系統(tǒng)模型通信系統(tǒng)模型 研究?jī)?nèi)容研究?jī)?nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展l1956年，發(fā)表年，發(fā)表噪聲信道的零差錯(cuò)容量噪聲信道的零差錯(cuò)容量。大寫(xiě)字母等表示隨機(jī)變量小寫(xiě)字母等表示隨機(jī)變量的具體取值大寫(xiě)黑體字母 等表示多維隨機(jī)變量，也就是隨機(jī)矢量小寫(xiě)黑體字母 等表示隨機(jī)矢量的具體取值本課程約定的符號(hào)表示