主觀貝葉斯方法【特制材料】

《主觀貝葉斯方法【特制材料】》由會員分享，可在線閱讀，更多相關(guān)《主觀貝葉斯方法【特制材料】（30頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、 主觀Bayes方法1課程知識 概述l主觀Bayes方法l又稱為主觀概率論l一種處理不確定性推理l一種基于概率邏輯的方法l以概率論中的貝葉斯公式為基礎(chǔ)l首先應(yīng)用于地礦勘探專家系統(tǒng)PROSPECTOR2課程知識5.3.1 基本Bayes公式 概率論基礎(chǔ)l條件概率：條件概率：設(shè)設(shè)A，B是兩個(gè)隨機(jī)事件，是兩個(gè)隨機(jī)事件，則，則是在是在B事件已經(jīng)發(fā)生的條件下，事件已經(jīng)發(fā)生的條件下，A事件發(fā)送的概事件發(fā)送的概率。率。乘法定理乘法定理:0)(BP)()()|(BPABPBAP)()|()(BPBAPABP3課程知識5.3.1 基本Bayes公式全概率公式：設(shè)全概率公式：設(shè) 事件滿足：事件滿足：兩兩互不相容，

2、即當(dāng)兩兩互不相容，即當(dāng) 時(shí)，時(shí)，有有 樣本空間樣本空間 則對任何事件則對任何事件B,有下式成立：有下式成立：稱為稱為全概率公式全概率公式。ji jiAA)1(0)(niAPiUniiAD1)|()()(1iniiABPAPBPnAAA,.,214課程知識5.3.1 基本Bayes公式BayesBayes公式：設(shè)公式：設(shè) 事件滿足：事件滿足：兩兩互不相容，即當(dāng)兩兩互不相容，即當(dāng) 時(shí)，時(shí)，有有 樣本空間樣本空間 則對任何事件則對任何事件B,有下式成立：有下式成立：稱為稱為貝葉斯公式貝葉斯公式。ji jiAA)1(0)(niAPiUniiAD1niBPABPAPBAPiii,.,2,1,)()|()

3、()|(nAAA,215課程知識5.3.1 基本Bayes公式l把全概率公式帶入貝葉斯公式后，得如下公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni,.,2,16課程知識5.3.1 基本Bayes公式l又有產(chǎn)生式規(guī)則lIF E THEN Hil用產(chǎn)生式中的前提條件E代替Bayes公式中的B，用Hi 代替公式中的Ai,就可以得到公式：l用來求得在條件E下，Hi的先驗(yàn)概率。niHPHEPHPHEPEHPnjjjiii,.,2,1,)()|()()|()|(17課程知識5.3.1 基本Bayes公式l在有些情況下，有多個(gè)證據(jù)E1,E2,En和多個(gè)結(jié)論H1,H2,.,Hn

4、，并且每個(gè)證據(jù)都以一定程度支持結(jié)論，這是可對上面的公式進(jìn)行擴(kuò)充，得：niHPHiEPHEPHPHEPHEPEEEHPnjjmjiimini,.,2,1,)()|(.)|()()|(.)|().|(111218課程知識5.3.1 基本Bayes公式l此時(shí)，只要知道Hi的先驗(yàn)概率P(Hi)以及Hi成立時(shí)證據(jù)E1,E2,Em出現(xiàn)的條件概率P(E1|Hi),P(E2|Hi),P(Em|Hi)，就可以求得在E1,E2,.,Em出現(xiàn)情況下Hi的條件概率P(Hi|E1E2.Em)9課程知識5.3.2 主觀Bayes方法l主觀Bayes方法的基本思想l由于證據(jù)E的出現(xiàn)，使得P(H)變?yōu)镻(H|E)l主觀Bay

5、es方法,就是研究利用證據(jù)E，將先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)l主觀Bayes方法引入兩個(gè)數(shù)值（LS，LN）用來度量規(guī)則成立的充分性和必要性。其中，lLS:充分性量度lLN:必要性量度10課程知識5.3.3 知識不確定性的表示l1.知識表示方法知識表示方法l在地礦勘探專家系統(tǒng)中，為了進(jìn)行不確定性推理，把所有的知識規(guī)則連接成一個(gè)有向圖，圖中的各節(jié)點(diǎn)代表假設(shè)結(jié)論，弧代表規(guī)則。l在主觀Bayes方法中，知識的不確定性是以一個(gè)數(shù)值對（LS，LN）來進(jìn)行描述的。其具體產(chǎn)生式規(guī)則形式表示為：lIF E THEN (LS,LN)H (P(H)11課程知識5.3.3 知識不確定性的表示l其中，(L

6、S,LN)是為度量產(chǎn)生式規(guī)則的不確定性而引入的一組數(shù)值，用來表示該知識的強(qiáng)度，LS和LZ的表示形式如下。l(1)充分性度量(LS)的定義)|()|(HEPHEPLS它表示E對H的支持程度，取值范圍為0,+)。12課程知識5.3.3 知識不確定性的表示l(2)必要性度量的定義它表示E對H的支持程度，即E對H為真的必要程度，取值范圍0,+)。)|(1)|(1)|()|(HEPHEPHEPHEPLN13課程知識5.3.3 知識不確定性的表示l結(jié)合Bayes公式，得：P(H|E)=P(E|H)P(H)/P(E)lBayes公式除以上式得：)()()|()|()|()|(HPHPHEPHEPEHPEHP

7、14課程知識5.3.3 知識不確定性的表示l為了討論方便，引入幾率函數(shù) 又l則可以化為)(1)()(xPxPxO)(1)()(xOxOxP)|()|(HEPHEPLS)()()|()|()|()|(HPHPHEPHEPEHPEHP)()|(HOLSEHO15課程知識5.3.3 知識不確定性的表示l上式被稱為Bayes公式的幾率似然性形式。LS稱為充分似然性，如果LS-+，則證據(jù)E對于推出H為真是邏輯充分的。l同理，可得關(guān)于LN的公式：lO(H|E)=LN O(H)l其被稱為Bayes公式的必率似然性形式。LN稱為必然似然性，如果LN=0，則有O(H|E)=0。這說明當(dāng)E為真時(shí)，H必為假，即E對

8、H來說是必然的。16課程知識5.3.3 知識不確定性的表示l2.LS和LN的性質(zhì)(1)LS的性質(zhì)LS表示證據(jù)E的存在，影響結(jié)論H為真的概率：O(H|E)=LS O(H)l當(dāng)LS1時(shí)，P(H|E)P(H),即E支持H，E導(dǎo)致H為真的可能性增加；l當(dāng)LS-+時(shí),表示證據(jù)E將致使H為真；l當(dāng)LS=1時(shí)，表示E對H沒有影響，與H無關(guān)；l當(dāng)LS1時(shí)，P(H|E)P(H),即E支持H，E導(dǎo)致H為真的可能性增加；l當(dāng)LN-+時(shí),表示證據(jù)E將致使H為真；l當(dāng)LN=1時(shí)，表示E對H沒有影響，與H無關(guān)；l當(dāng)LN1且LN1LS1LS=1=LN19課程知識5.3.4 證據(jù)不確定性的表示l1.單個(gè)證據(jù)不確定性的表示方法

9、單個(gè)證據(jù)不確定性的表示方法l證據(jù)通常可以分為全證據(jù)和部分證據(jù)。全證據(jù)就是所有的證據(jù)，即所有可能的證據(jù)和假設(shè)，他們組成證據(jù)E。部分證據(jù)S就是E的一部分，這部分證據(jù)也可以稱之為觀察。在主觀Bayes方法中，證據(jù)的不確定性是用概率表示的。全證據(jù)的可行度依賴于部分證據(jù)，表示為P(E|S)，為后驗(yàn)概率。20課程知識5.3.4 證據(jù)不確定性的表示l2.組合證據(jù)的不確定性的確定方法組合證據(jù)的不確定性的確定方法l當(dāng)證據(jù)E由多個(gè)單一證據(jù)合取而成，即l如果已知P(E1|S),P(E2|S),P(En|S)，則lP(E|S)=minP(E1|S),P(E2|S),P(En|S)l若證據(jù)E由多個(gè)但以證據(jù)析取而成，即l

10、P(E|S)=maxP(E1|S),P(E2|S),P(En|S)l對于非運(yùn)算，lP(E|S)=1-P(E|S)nEEEE.21nEEEE.2121課程知識5.3.5 不確定性推理計(jì)算l1.確定性證據(jù)確定性證據(jù)l(1)證據(jù)確定出現(xiàn)時(shí)證據(jù)E肯定出現(xiàn)的情況下，吧結(jié)論H的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|S)的計(jì)算公式為：l(2)證據(jù)確定不出現(xiàn)時(shí)證據(jù)E肯定不出現(xiàn)的情況下，把結(jié)論H的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)的計(jì)算公式為：1)()1()()|(HPLSHPLSEHP1)()1()()|(HPLNHPLNEHP22課程知識5.3.5 不確定性推理計(jì)算l(2)不確定性證據(jù)l在現(xiàn)實(shí)中,證

11、據(jù)往往是不確定的,即無法肯定它一定存在或一定不存在l用戶提供的原始證據(jù)不精確l用戶的觀察不精確l推理出的中間結(jié)論不精確l假設(shè)S是對E的觀察,則P(E|S)表示在觀察S下,E為真的概率,值在0,1；23課程知識5.3.5 不確定性推理計(jì)算l此時(shí)0P(E|S)1，故計(jì)算后驗(yàn)概率P(R|S),不能使用Bayes公式l可以采用下面的公式修正（杜達(dá)公式）)|()|()|()|()|(SEPEHPSEPEHPSHP1）E肯定存在，即P(E|S)=1,且P(E|S)=0，杜達(dá)公式簡化為：1)()1()()|()|(HPLSHPLSEHPSHP24課程知識5.3.5 不確定性推理計(jì)算2）E肯定不存在，即P(E

12、|S)=0,P(E|S)=1，杜達(dá)公式簡化為：1)()1()()|()|(HPLNHPLNEHPSHP3）P(E|S)=P(E)，即E和S無關(guān),利用全概率公式（公式7），杜達(dá)公式可以化為：)()()|()()|()|(HPEPEHPEPEHPSHP25課程知識5.3.5 不確定性推理計(jì)算4)當(dāng)P(E|S)為其它值（非0，非1，非P(E)）時(shí)，則需要通過分段線形插值計(jì)算：1)|()(),()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP?26課程知識5.3.6結(jié)論不確定性的合成和更新算法l1.

13、結(jié)論不確定性的合成算法結(jié)論不確定性的合成算法ln條規(guī)則都支持同一結(jié)論R,l這些規(guī)則的前提條件E1,E2,En 相互獨(dú)立l每個(gè)證據(jù)所對應(yīng)的觀察為S1,S2,Snl先計(jì)算O(H|Si)，然后再計(jì)算所有觀察下，H的后驗(yàn)幾率計(jì)算方法:)()()|()()|()()|(),.,|(2121HOHOSHOHOSHOHOSHOSSSHOnnL27課程知識5.3.6結(jié)論不確定性的合成和更新算法l2.結(jié)論不確定性的更新算法結(jié)論不確定性的更新算法l其思想是，按照順序使用規(guī)則對先驗(yàn)概率進(jìn)行更新，再把得到的更新概率當(dāng)做先驗(yàn)概率，更新其他規(guī)則，這樣繼續(xù)更新直到所有的規(guī)則使用完。28課程知識小 結(jié)l主觀Bayes方法（條件概率）l當(dāng)一個(gè)事件發(fā)生后，先驗(yàn)概率如何轉(zhuǎn)變?yōu)楹篁?yàn)概率l推理前知道結(jié)論的先驗(yàn)概率信息l證據(jù)不確定時(shí)，必須采用杜達(dá)等推導(dǎo)公式:lP(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S)29課程知識30課程知識