人工智能chapter8uncertainty.ppt

《人工智能chapter8uncertainty.ppt》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《人工智能chapter8uncertainty.ppt（72頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第八章 不確定知識(shí)與推理,概述 非精確性推理 不確定性人工智能的數(shù)學(xué)基礎(chǔ) 貝葉斯網(wǎng)絡(luò),8.1 概述,知識(shí)的不確定性,隨機(jī)性 模糊性 自然語(yǔ)言中的不確定性 常識(shí)知識(shí)的不確定性 知識(shí)的其他不確定性,隨機(jī)性 以牛頓理論為代表的確定性科學(xué)，創(chuàng)造了給世界以精確描繪的方法，將整個(gè)宇宙看作是鐘表式的動(dòng)力學(xué)系統(tǒng)，處于確定、和諧、有序的運(yùn)動(dòng)之中。 客觀世界上隨機(jī)的，映射到人腦的客觀世界，即主觀世界也應(yīng)該是隨機(jī)的。因此，人類(lèi)在認(rèn)知過(guò)程中表現(xiàn)出的智能和知識(shí)，不可避免地伴隨有隨機(jī)性。 隨機(jī)性無(wú)處不在，隨機(jī)性使得世界更為復(fù)雜，也更為豐富多彩。,8.1 概述,模糊性 直到20世紀(jì)，人們才認(rèn)識(shí)到，模糊性并不是壞事。它能夠用

2、較少的代價(jià)，傳遞足夠的信息，并能對(duì)復(fù)雜事物做出高效率的判斷和處理。 模糊性的客觀性 哲學(xué)家羅素早在1923年一篇題為Vagueness的論文中明確指出：“認(rèn)為模糊知識(shí)必定是靠不住的，這種看法是大錯(cuò)特錯(cuò)的”。 隨著科學(xué)技術(shù)的發(fā)展，科學(xué)家們已經(jīng)認(rèn)識(shí)到：硬要把模糊事物人為地精確化，不僅會(huì)以方法的復(fù)雜性為代價(jià)，而且會(huì)降低結(jié)果的意義性。,8.1 概述,自然語(yǔ)言中的不確定性 語(yǔ)言帶有不確定性是很自然的，是人類(lèi)思維的本質(zhì)特征之一。 計(jì)算機(jī)自然語(yǔ)言理解、機(jī)器翻譯等研究，從20世紀(jì)40年代興起至今已經(jīng)有60多年的歷史， 人們寄希望于表示概念的語(yǔ)言值的不確定性研究取得突破,8.1 概述,常識(shí)知識(shí)的不確定性 在人工

3、智能界，常識(shí)知識(shí)的表示、處理和驗(yàn)證是非常困難的。 常識(shí)知識(shí)的相對(duì)性 目前，人工智能界有這樣的共識(shí)：有無(wú)常識(shí)是人和機(jī)器的根本區(qū)別之一。,8.1 概述,知識(shí)的其他不確定性 知識(shí)的不完備性 知識(shí)的 不協(xié)調(diào)性 知識(shí)的非恒常性,8.1 概述,不確定性知識(shí)的表示、處理和模擬，尋找并且形式化地表示不確定性知識(shí)中的規(guī)律性，讓機(jī)器模擬人類(lèi)知識(shí)客觀世界和人類(lèi)自身的認(rèn)知過(guò)程，使機(jī)器具有不確定性智能，成為人工智能學(xué)家的重要任務(wù)。,8.1 概述,8.2 非精確性推理,非精確性推理方法研究產(chǎn)生的原因大致如下： 很多原因?qū)е峦唤Y(jié)果 推理所需的信息不完備 背景知識(shí)不足 信息描述模糊 信息中含有噪聲 劃分是模糊的 推理能力不

4、足 解題方案不唯一,ES是通過(guò)大量專(zhuān)家知識(shí)來(lái)取得高水平的問(wèn)題求解能力。由于專(zhuān)家知識(shí)是不確定的，因此ES要達(dá)到高性能,必須解決好不確定性問(wèn)題。 傳統(tǒng)的概率統(tǒng)計(jì)方法受限制 放棄傳統(tǒng)程序求解的邏輯完備性,8.2 非精確性推理,Shortliffe等人1975年結(jié)合MYCIN系統(tǒng)的建立提出了確定性理論。 DURA等人1976在PROSPECTOR的基礎(chǔ)上給出了概率法。 Dempster Shafter同年提出證據(jù)理論。 Zadeh兩年后提出了可能性理論，1983年提出了模糊邏輯。,非確定性推理的研究和發(fā)展,MYCIN系統(tǒng)是第一個(gè)采用了不確定推理邏輯的專(zhuān)家系統(tǒng)，在20世紀(jì)70年代非常有名。 這個(gè)系統(tǒng)提出

5、該確定性方法時(shí)遵循了下面的原則： （1） 不采用嚴(yán)格的統(tǒng)計(jì)理論。使用的是一種接近統(tǒng)計(jì)理論的近似方法。 （2） 用專(zhuān)家的經(jīng)驗(yàn)估計(jì)代替統(tǒng)計(jì)數(shù)據(jù) （3） 盡量減少需要專(zhuān)家提供的經(jīng)驗(yàn)數(shù)據(jù)，盡量使少量數(shù)據(jù)包含多種信息。 （4） 新方法應(yīng)適用于證據(jù)為增量式地增加的情況。 （5） 專(zhuān)家數(shù)據(jù)的輕微擾動(dòng)不影響最終的推理結(jié)論。,確定性理論,MYCIN 概述,用 戶(hù),解釋模塊,咨詢(xún)模塊,知識(shí)獲取模塊,感染病專(zhuān)家與知識(shí)工程師,知識(shí)庫(kù),動(dòng)態(tài)數(shù)據(jù)庫(kù) (推理記錄),患者數(shù)據(jù)庫(kù) (原始數(shù)據(jù)庫(kù)),MYCIN系統(tǒng)結(jié)構(gòu)圖,MYCIN推理策略,采用反向推理和深度優(yōu)先搜索。 診斷治療過(guò)程如下 ： (1)確定患者有無(wú)細(xì)菌性感染。 (2)

6、確定可能引起感染的有機(jī)體。 (3)確定對(duì)其有抑制作用的藥物。 (4)選擇對(duì)治療最合適的藥物。 這四個(gè)步驟由目標(biāo)規(guī)則 來(lái)執(zhí)行。,MYCIN知識(shí)表示,如：RULE 037 PREMISE: ($AND (NOTKNOWN CONTXT IDENT) (SAME CONTXT GRAM GRAMNEG) (SAME CONTXT MORPH ROD) (SAME CONTXT AIR AEROBIC) ACTION: (CONCLUDE CONTXT CLASS ENTEROBACTERIACEAE TALLY 0.8),可信度是指人們根據(jù)以往經(jīng)驗(yàn)對(duì)某個(gè)事物或現(xiàn)象為真的程度的一個(gè)判斷，或者說(shuō)是人們對(duì)

7、某個(gè)事物或現(xiàn)象為真的相信程度。,可信度的概念,可信度具有一定的主觀性，較難把握。但對(duì)某一特定領(lǐng)域，讓該領(lǐng)域?qū)＜医o出可信度還是可行的。,8.3.2 CF模型,表示形式： 在C-F模型中，知識(shí)是用產(chǎn)生式規(guī)則表示的，其一般形式為： IF E THEN H (CF(H, E) 其中，E是知識(shí)的前提條件；H是知識(shí)的結(jié)論；CF(H, E)是知識(shí)的可信度。,1. 知識(shí)不確定性的表示:,例子： IF 發(fā)燒 AND 流鼻涕 THEN 感冒 (0.8),說(shuō)明：當(dāng)某人確實(shí)有“發(fā)燒”及“流鼻涕”癥狀時(shí)，則有80%的把握是患了感冒。,說(shuō)明： (1) E可以是單一條件，也可以是復(fù)合條件。例如： E=(E1 OR E2)

8、AND E3 AND E4 (2) H可以是單一結(jié)論，也可以是多個(gè)結(jié)論 (3) CF是知識(shí)的靜態(tài)強(qiáng)度，CF(H, E)的取值為-1, 1，表示當(dāng)E為真時(shí)，證據(jù)對(duì)H的支持程度，其值越大，支持程度越大。 (4) CF(H, E)可以理解為規(guī)則的可信度,可信度的定義 在CF模型中，把CF(H, E)定義為 CF(H, E)=MB(H, E)-MD(H, E),2.可信度的定義與性質(zhì),MB: 信任增長(zhǎng)度，MB(H, E)定義為:,MD:不信任增長(zhǎng)度，MB(H, E)定義為:,MB和MD的關(guān)系:,當(dāng)MB(H, E)0時(shí): P(H|E)P(H) E的出現(xiàn)增加了H的概率 當(dāng)MD(H, E)0時(shí)： P(H|E

9、)P(H) E的出現(xiàn)降低了H的概率,CF(H, E)=MB(H, E)-MD(H, E),可信度的性質(zhì): 互斥性 對(duì)同一證據(jù)，它不可能既增加對(duì)H的信任程度，又同時(shí)增加對(duì)H的不信任程度，這說(shuō)明MB與MD是互斥的。即有如下互斥性： 當(dāng)MB(H, E)0時(shí)，MD(H, E)=0 當(dāng)MD(H, E)0時(shí)，MB(H, E)=0,值域,典型值 (1) 當(dāng)CF(H,E)=1時(shí)，有P(H/E)=1，它說(shuō)明由于E所對(duì)應(yīng)證據(jù)的出現(xiàn)使H為真。此時(shí)，MB(H, E)=1，MD(H, E)=0。 (2) 當(dāng)CF(H,E)= -1時(shí)，有P(H/E)=0，說(shuō)明由于E所對(duì)應(yīng)證據(jù)的出現(xiàn)使H為假。此時(shí)，MB(H, E)=0，MD

10、(H,E)=1。 (3)當(dāng)CF(H,E)= 0時(shí)，有MB(H, E)=0、MD(H, E)=0。前者說(shuō)明E所對(duì)應(yīng)證據(jù)的出現(xiàn)不證實(shí)H；后者說(shuō)明E所對(duì)應(yīng)證據(jù)的出現(xiàn)不否認(rèn)H。 (4) 對(duì)H的信任增長(zhǎng)度等于對(duì)非H的不信任增長(zhǎng)度,對(duì)H的信任增長(zhǎng)度等于對(duì)非H的不信任增長(zhǎng)度 對(duì)H的可信度與非H的可信度之和等于0 可信度不是概率 概率滿(mǎn)足：P(H)+P(H)=1 和 0P(H),P(H) 1 但可信度不滿(mǎn)足。,(5)對(duì)同一前提E，若支持若干個(gè)不同的結(jié)論Hi(i=1,2,n)，則：,若：專(zhuān)家給出的知識(shí)有如下情況 CF(H1, E)=0.7, CF(H2, E)=0.4,非法，應(yīng)進(jìn)行調(diào)整或規(guī)范化,證據(jù)（E）不確定

11、性的表示： 證據(jù)的不確定性也是用可信度來(lái)表示的，其取值范圍也為-1,1 若E為初始證據(jù)，其值由用戶(hù)給出。 若E為中間結(jié)論，其值可通過(guò)計(jì)算得到。 不確定性的含義： 對(duì)E，其可信度CF(E)的含義如下： CF(E)=1，證據(jù)E肯定它為真 CF(E)=-1，證據(jù)E肯定它為假 CF(E)=0，對(duì)證據(jù)E一無(wú)所知 0CF(E)1，證據(jù)E以CF(E)程度為真 -1CF(E)0，證據(jù)E以CF(E)程度為假,3. 證據(jù)不確定性的表示,4. 否定證據(jù)不確定性的計(jì)算 CF(E)=- CF(E) 5. 組合證據(jù)不確定性的計(jì)算 “合取”與“析取”兩種基本情況。,析取: 當(dāng)組合證據(jù)是多個(gè)單一證據(jù)的析取時(shí) 即E=E1 OR

12、 E2 OR OR En時(shí)，若已知CF(E1)，CF(E2)，CF(En)，則 CF(E)=maxCF(E1), CF(E2), ,CF(En),合取: 當(dāng)組合證據(jù)是多個(gè)單一證據(jù)的組合時(shí) 即 E=E1 AND E2 AND AND En時(shí)，若已知CF(E1)，CF(E2)，CF(En)，則 CF(E)=minCF(E1), CF(E2), ,CF(En),CF模型中的不確定性推理實(shí)際上是從不確定的初始證據(jù)出發(fā)，不斷運(yùn)用相關(guān)的不確性知識(shí)，逐步推出最終結(jié)論和該結(jié)論可信度的過(guò)程。 每一次運(yùn)用不確定性知識(shí)，都需要由證據(jù)的不確定性和知識(shí)的不確定性去計(jì)算結(jié)論的不確定性。,6. 不確定性推理,不確定性的更新

13、公式: CF(H)=CF(H, E)max0, CF(E),若CF(E)0: 若CF(E)=1:,CF(H)=0 即該模型沒(méi)考慮E為假對(duì)H的影響。,CF(H)=CF(H,E) 即規(guī)則強(qiáng)度CF(H,E)實(shí)際上是在E為真時(shí)，H的可信度,當(dāng)有多條知識(shí)支持同一個(gè)結(jié)論，且這些知識(shí)的前提相互獨(dú)立，結(jié)論的可信度又不相同時(shí)，可利用不確定性的合成算法求出結(jié)論的綜合可信度。 設(shè)有知識(shí)：IF E1 THEN H (CF(H, E1) IF E2 THEN H (CF(H, E2) 則結(jié)論H 的綜合可信度可分以下兩步計(jì)算： (1) 分別對(duì)每條知識(shí)求出其CF(H)。即 CF1(H)=CF(H, E1) max0, CF

14、(E1) CF2(H)=CF(H, E2) max0, CF(E2) (2) 用如下公式求E1與E2對(duì)H的綜合可信度,7. 結(jié)論不確定性的合成,設(shè)有如下一組知識(shí)： r1：IF E1 THEN H (0.9) r2：IF E2 THEN H (0.6) r3：IF E3 THEN H (-0.5) r4：IF E4 AND ( E5 OR E6) THEN E1 (0.8) 已知：CF(E2)=0.8，CF(E3)=0.6，CF(E4)=0.5，CF(E5)=0.6, CF(E6)=0.8 求：CF(H)=? 解：由r4得到： CF(E1)=0.8max0, CF(E4 AND (E5 OR E

15、6) = 0.8max0, minCF(E4), CF(E5 OR E6) =0.8max0, minCF(E4), maxCF(E5), CF(E6) =0.8max0, minCF(E4), max0.6, 0.8 =0.8max0, min0.5, 0.8 =0.8max0, 0.5 = 0.4,例子,由r1得到：CF1(H)=CF(H, E1)max0, CF(E1) =0.9max0, 0.4 = 0.36 由r2得到：CF2(H)=CF(H, E2)max0, CF(E2) =0.6max0, 0.8 = 0.48 由r3得到：CF3(H)=CF(H, E3)max0, CF(E3

16、) =-0.5max0, 0.6 = -0.3 根據(jù)結(jié)論不精確性的合成算法，CF1(H)和CF2(H)同號(hào)，有： CF12(H)和CF3(H)異號(hào)，有： 即綜合可信度為CF(H)=0.53,不精確推理過(guò)程可以總結(jié)如下： 每條規(guī)則RULE和每項(xiàng)事實(shí)FACT各自都有一個(gè)確定的可信度(數(shù)值在-1,1閉區(qū)間內(nèi))，給了事實(shí)FACT的可信度F，按照規(guī)則RULE的可信度R，即可以如下地自下而上(從樹(shù)葉到樹(shù)根，前一層的C是后一層的F)計(jì)算出各層推斷出結(jié)論CONCLUSION 的可信度 CF(自下而上算)：,MYCIN 不精確推理,“與”節(jié)點(diǎn)處的結(jié)論可信度C=(推斷規(guī)則的可信度 R)(輸入分支中的 min可信度

17、 F或C) “或”節(jié)點(diǎn)處的結(jié)論可信度C=(規(guī)則可信度R1)與(輸入分支1的可信度C1)之乘積C1R1+(規(guī)則可信度R2)與 (輸入分支2的可信度C2)之乘積C2R2-(C1R1)(C2R2)。 在推理過(guò)程中，一般還規(guī)定有一個(gè)統(tǒng)一的閾值，比方MYCIN系統(tǒng)是0.2；凡遇可信度閾值時(shí)，即置成0.0，表示談不上可信不可信。所以在推理鏈上，凡遇C0.2者，置成C=0。,C1=min0.8=C20.8=0.24,R9=1.0,C7,C6,C3,C4,C5,C2,R8=0.5,R5=0.75,R10=1.0,R6=1.0,R7=0.5,R4=0.8,F5=0.9,R3=0.9,R1=0.8,R2=0.75

18、,F6=1.0,F8=0.5,F1=0.8,F7=0.5,F4=0.9,F3=0.9,F2=0.4,例：,其中:C2=0.40.75=0.3, C3=0.90.8=0.72 C4=1.00.75+0.751.0- 1.00.750.71.0 =0.93, C5=0.80.5=0.4, C6=min0.5= 0.40.5=0.20, C7=0.51.0+0.51.0- 0.51.01.00.5=0.75. 推理鏈上的可信度計(jì)算過(guò)程,8.3.不確定性人工智能的數(shù)學(xué)基礎(chǔ),人工智能是在數(shù)學(xué)的基礎(chǔ)上發(fā)展起來(lái)的 為了解決人工智能中的各種不確定性問(wèn)題，同樣需要數(shù)學(xué)的支持,概率理論 模糊集理論 核函數(shù)和主曲線(xiàn)

19、 粗糙集理論,* * *,8.3.1 概率理論,概率理論是處理隨機(jī)性最好的數(shù)學(xué)工具,17世紀(jì)人們對(duì)賭博中隨機(jī)現(xiàn)象的研究,20世紀(jì)概率論的公理化體系,數(shù)理統(tǒng)計(jì)、隨機(jī)過(guò)程的研究,奠基人：Jacob Bernoulli P.S.Laplace, J.W.Lindeberg P.L.Chebyshev,A.A.Markov,A.N.Kolmogorov,K.Pearson:生物統(tǒng)計(jì)進(jìn)行研究 R.Fisher:模型的參數(shù)估計(jì)方法以及試驗(yàn)設(shè)計(jì)方法 R.Brown:布朗運(yùn)動(dòng)，隨機(jī)過(guò)程 A.K.Erlang:Poisson 過(guò)程,由概率論、數(shù)理統(tǒng)計(jì)和隨機(jī)過(guò)程構(gòu)成的概率理論，為研究隨機(jī)性奠定了數(shù)學(xué)基礎(chǔ)，也為研究

20、不確定性提供了工具。,8.3.1.1 貝葉斯定理,隨機(jī)事件的關(guān)系及邏輯運(yùn)算 集合表示隨機(jī)事件 事件A不出現(xiàn)： 事件A包含于時(shí)間B： 事件A，B至少出現(xiàn)一個(gè)： 事件A，B同時(shí)出現(xiàn)：,事件間的運(yùn)算滿(mǎn)足交換律、結(jié)合律、分配律、對(duì)偶律,確定事件A的概率P（A）通常有三種計(jì)算方法： 古典概率：P（A）=k/m（其中，k為A中所包含的基本事件數(shù)，n為基本事件的總數(shù)）。 頻率法： P（A）=m/n（其中，n為重復(fù)實(shí)驗(yàn)次數(shù)，n為事件A出現(xiàn)的次數(shù)）。 主觀確定法：P（A）=專(zhuān)家主觀賦值（通常用于不宜大量重復(fù)的隨機(jī)現(xiàn)象）,條件概率及貝葉斯定理,定義1：隨機(jī) 事件的獨(dú)立性：設(shè)（ ，F(xiàn)，P）是一概率空間，A，B是F中

21、的任意兩個(gè)隨機(jī)事件，如果 P（AB）=P（A）P（B），則稱(chēng)A、B是相互獨(dú)立的。,一個(gè)事件的發(fā)生對(duì)另一事件的發(fā)生沒(méi)有任何影響，事件才具有獨(dú)立性,定義2：設(shè)（ ，F(xiàn)，P）是一概率空間，A，B是F中的任意兩個(gè)隨機(jī)事件，假設(shè)P（B）0, 稱(chēng) 為事件B出現(xiàn)條件下，事件A發(fā)生的條件概率 。,條件概率及貝葉斯定理,條件概率的意義在于：如果在隨機(jī)試驗(yàn)中，已經(jīng)觀察到了事件B的發(fā)生，那么可以利用事件B發(fā)生的概率，去認(rèn)識(shí)事件A的不確定性。,貝葉斯定理（Bayes） 設(shè)事件A1，A2 ，A3 ，An中任意兩個(gè)事件都不相交，則對(duì)任何事件B有下式成立： 該定理就叫Bayes定理，上式稱(chēng)為Bayes公式。,條件概率及貝葉

22、斯定理,貝葉斯定理,設(shè)Ai是導(dǎo)致事件B發(fā)生的所有可能原因，已知他們的概率為P（Ai）,這些概率被稱(chēng)為先驗(yàn)概率; 設(shè)Ai在隨機(jī)試驗(yàn)中不能或者沒(méi)有被直接觀察到，只能觀察到與之聯(lián)系的B的發(fā)生; 在此條件下，對(duì)事件Ai出現(xiàn)的可能性作出判斷，即求出關(guān)于B的條件概率P（Ai|B），又稱(chēng)為Ai的后驗(yàn)概率。,例如：用B代表發(fā)燒，A代表感冒: P（A|B） - P（B|A）,貝葉斯公式給出用先驗(yàn)概率P（B|A），求后驗(yàn)概率 P（A|B）的方法,例子：,已知：s表示病人脖子強(qiáng)直； m表示病人患有腦膜炎 p（s|m）=0.5; p(m)=1/50000; p(s)=1/20,p(m|s)=?,p(m|s)=p(s|

23、m)p(m)/p(s)=0.0002,8.3.2 粗糙集理論（Rough Set）,1965年，L. A. Zadeh提出Fuzzy Sets 的概念，試圖通過(guò)這一理論解決G.frege的含糊概念。 FS方法：利用隸屬函數(shù)描述邊界上的不確定對(duì)象。,1982年，波蘭華沙理工大學(xué) Z.Pawlak 教授針對(duì)G. frege的邊界線(xiàn)區(qū)域思想提出了Rough Sets理論。 RS方法：把無(wú)法確認(rèn)的個(gè)體都?xì)w屬于邊界區(qū)域，把邊界區(qū)域定義為上近似集和下近似集的差集。,Rough set theory is still another approach to vagueness. Similarly to f

24、uzzy set theory it is not an alternative to classical set theory but it is embedded in it. Rough set theory can be viewed as a specific implementation of Freges idea of vagueness, i.e., imprecision in this approach is expressed by a boundary region of a set, and not by a partial membership, like in

25、fuzzy set theory. Rough set concept can be defined by approximations.,1982 Z. Pawlak 波蘭,1 問(wèn)題,醫(yī)生,癥狀 頭痛？ 肌肉痛？ 體溫？,患??？ 流感？,條件屬性,決策屬性,條件屬性,決策屬性,是,不可分辨關(guān)系,RS理論是基于不可分辨關(guān)系的（等價(jià)關(guān)系）。,1 問(wèn)題,醫(yī)生,癥狀 頭痛？ 肌肉痛？ 體溫？,患病？ 流感？,表達(dá)條件屬性等價(jià)類(lèi)和決策屬性等價(jià)類(lèi)的關(guān)系（其中存在vague）,在條件屬性下的等價(jià)類(lèi),在決策屬性下的等價(jià)類(lèi),b1=p1,p2,p3 b2=p5 b3=p4,p6 b4=p7,X=p1,p4,p5

26、 Y=p2,p3,p6,p7,條件屬性下,決策屬性下,決策屬性,是,X=p1,p4,p5,上近似 b1Ub2Ub3,下近似 b1,邊界域 b2Ub3,直觀理解:,對(duì)于上近似集外的元素,一定不屬于X,對(duì)于邊界域內(nèi)的元素,可能屬于X,也可能不屬于X,對(duì)于下近似內(nèi)的元素,一定屬于X,Rough Set 的能力,屬性約簡(jiǎn),屬性的重要度,規(guī)則生成,8.4 貝葉斯網(wǎng)絡(luò),根據(jù)概率理論的法則建立網(wǎng)絡(luò)模型，對(duì)不確定性進(jìn)行推理。 貝葉斯網(wǎng)絡(luò)是一系列變量的聯(lián)合概率分布的圖形表示。,8.4 .1 貝葉斯網(wǎng)絡(luò)的表示,包含兩個(gè)部分： 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖：有向無(wú)環(huán)圖（DAG），其中圖中的每個(gè)節(jié)點(diǎn)代表相應(yīng)的變量，節(jié)點(diǎn)之間的連接

27、關(guān)系代表了貝葉斯網(wǎng)絡(luò)的條件獨(dú)立語(yǔ)義。 節(jié)點(diǎn)和節(jié)點(diǎn)之間的條件概率表（CPT）：一系列的概率值。,命題S(moker)：吸煙者 命題C(oal Miner)：煤礦礦井工人 命題L(ung Cancer)：他患了肺癌 命題E(mphysema)：他患了肺氣腫,貝葉斯網(wǎng)有時(shí)也叫因果網(wǎng)，因?yàn)榭梢詫⑦B接結(jié)點(diǎn)的弧認(rèn)為是表達(dá)了直接的因果關(guān)系。,如果一個(gè)貝葉斯網(wǎng)絡(luò)提供了足夠的條件概率值，足以計(jì)算任何給定的聯(lián)合概率，我們就稱(chēng)，它是可計(jì)算的，即可推理的。 貝葉斯網(wǎng)的兩個(gè)要素：其一為貝葉斯網(wǎng)的結(jié)構(gòu)，也就是各節(jié)點(diǎn)的繼承關(guān)系，其二就是條件概率表CPT。若一個(gè)貝葉斯網(wǎng)可計(jì)算，則這兩個(gè)條件缺一不可。,貝葉斯網(wǎng)絡(luò),例：,給定了

28、他們是否給你打電話(huà)的證據(jù)，估計(jì)有人入室行竊的概率,7.4.2 貝葉斯網(wǎng)絡(luò)的語(yǔ)義,貝葉斯網(wǎng)絡(luò)能表示任意概率分布的同時(shí)，它們?yōu)檫@些能用簡(jiǎn)單結(jié)構(gòu)表示的分布提供了可計(jì)算優(yōu)勢(shì)。 假設(shè)對(duì)于頂點(diǎn)xi，其雙親節(jié)點(diǎn)集為Pai，每個(gè)變量xi的條件概率P(xi|Pai)。 則頂點(diǎn)集合X=x1,x2,xn的聯(lián)合概率分布可如下計(jì)算：,貝葉斯網(wǎng)絡(luò)的聯(lián)合概率分布,Burglary,Earthquake,P(B),0.001,JohnCalls,Alarm,P(E),0.002,MaryCalls,B E P(A),t t .95,t f .90,f t .30,f f .001,A P(J),t .90,f .05,A P

29、(M),t .70,f .01,計(jì)算報(bào)警器響了，但既沒(méi)有盜賊闖入，也沒(méi)有發(fā)生地震，同時(shí)John和Mary都給你打電話(huà)的概率,P(j m a b e) =P(j|a)P(m|a)P(a|b e) P(b)P(e) =0.90*0.70*0.001*0.999*0.998=0.00062,貝葉斯網(wǎng)絡(luò)的聯(lián)合概率分布,該等式暗示了早先給定的圖結(jié)構(gòu)有條件獨(dú)立語(yǔ)義。 它說(shuō)明貝葉斯網(wǎng)絡(luò)所表示的聯(lián)合分布作為一些單獨(dú)的局部交互作用模型的結(jié)果具有因式分解的表示形式。,7.4.3貝葉斯網(wǎng)的推理模式,因果推理（由上向下推理） 診斷推理 辯解,在確定某個(gè)已觀察事件也就是一組證據(jù)變量值的某個(gè)賦值后，任何概率推理系統(tǒng)的基本

30、任務(wù)都是要計(jì)算一組查詢(xún)變量的后驗(yàn)概率。,因果推理（由上向下推理）,7.4.3貝葉斯網(wǎng)絡(luò)的推理模式,給定患者是一個(gè)吸煙者（S），計(jì)算他患肺氣腫（E）的概率P(E|S)。,S：推理的證據(jù)，E：詢(xún)問(wèn)結(jié)點(diǎn)。,P(E|S)=P(E,C|S)+P(E,C|S);/全概率公式 =P(E|C,S)*P(C|S)+P(E|C,S)*P(C|S); /貝葉斯公式 在圖中，C和S并沒(méi)有雙親關(guān)系，符合條件獨(dú)立條件： P(C|S)=P(C), P(C|S) = P(C), 由此可得： P(E|S) = P(E|S,C)*P(C)+P(E|C,S)*P(C),P(E,C|S)P(E,C,S)/P(S) P(E|C,S)*

31、P(C,S)/P(S)(貝葉斯定理) P(E|C,S)*P(C|S)(反向利用貝葉斯定理,因果推理的主要操作： 1） 按照給定證據(jù)的V和它的所有雙親的聯(lián)合概率，重新表達(dá)給定證據(jù)的詢(xún)問(wèn)結(jié)點(diǎn)的所求條件概率。 2） 回到以所有雙親為條件的概率，重新表達(dá)這個(gè)聯(lián)合概率。 3） 直到所有的概率值可從CPT表中得到，推理完成。,貝葉斯網(wǎng)絡(luò)的推理,診斷推理,計(jì)算“不得肺氣腫的不是礦工”的概率P(C|E),即在貝葉斯網(wǎng)中，從一個(gè)子結(jié)點(diǎn)計(jì)算父結(jié)點(diǎn)的條件概率。也即從結(jié)果推測(cè)一個(gè)起因，這類(lèi)推理叫做診斷推理。,貝葉斯網(wǎng)絡(luò)的推理,P(C|E)P(E|C)*P(C)/P(E)， P(E|C) = P(E,S|C)+P(E,

32、S|C) = P(E|S,C)*P(S)+P(E|S,C)*P(S) = (1-0.3)*0.4+(1-0.10)*(1-0.4)=0.82; 由此得： P(C|E)P(E|C)*P(C)/ P(E)(貝葉斯公式) 0.82*(1-0.3)/ P(E) 0.574/ P(E) 同樣的，P(C|E) P(E|C)* P(C)/ P(E) 0.34*0.3/ P(E) 0.102 /P(E) 由于全概率公式： P(C|E)+P(C|E)1 代入可得 P(E)=0.676 所以， P(C|E)0.849,這種推理方式主要利用Bayes規(guī)則轉(zhuǎn)換成因果推理。,解釋推理,貝葉斯網(wǎng)絡(luò)的推理,如果我們的證據(jù)僅

33、僅是E（不是肺氣腫），象上述那樣，我們可以計(jì)算C(患者不是煤礦工人)的概率。但是如果也給定S（患者不是吸煙者），那么C也應(yīng)該變得不確定。這種情況下，我們說(shuō)S解釋了E，使C變得不確定。這類(lèi)推理使用嵌入在一個(gè)診斷推理中的因果推理。,關(guān)于貝葉斯網(wǎng)絡(luò),是一種已經(jīng)得到成熟發(fā)展的不確定知識(shí)表示方法。 是一個(gè)節(jié)點(diǎn)對(duì)應(yīng)于隨機(jī)變量的有向無(wú)環(huán)圖；每個(gè)節(jié)點(diǎn)在給定父節(jié)點(diǎn)下都有一個(gè)條件概率分布。 提供了一種表示域中的條件獨(dú)立關(guān)系的簡(jiǎn)潔方式。 可以將貝葉斯網(wǎng)絡(luò)視為對(duì)聯(lián)合概率分布的表示。 貝葉斯網(wǎng)絡(luò)的推理意味著給定一個(gè)證據(jù)集合后，計(jì)算一個(gè)查詢(xún)變量集合的概率分布。,習(xí)題：,計(jì)算John和Mary都不打電話(huà)而且同時(shí)發(fā)生地震和入室盜竊的聯(lián)合概率,Burglary,Earthquake,P(B),0.001,JohnCalls,Alarm,P(E),0.002,MaryCalls,B E P(A),t t .95,t f .90,f t .30,f f .001,A P(J),t .90,f .05,A P(M),t .70,f .01,