主觀貝葉斯方法【特制材料】

《主觀貝葉斯方法【特制材料】》由會員分享，可在線閱讀，更多相關(guān)《主觀貝葉斯方法【特制材料】（30頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、 主觀Bayes方法1課程知識 概述l主觀Bayes方法l又稱為主觀概率論l一種處理不確定性推理l一種基于概率邏輯的方法l以概率論中的貝葉斯公式為基礎l首先應用于地礦勘探專家系統(tǒng)PROSPECTOR2課程知識5.3.1 基本Bayes公式 概率論基礎l條件概率：條件概率：設設A，B是兩個隨機事件，是兩個隨機事件，則，則是在是在B事件已經(jīng)發(fā)生的條件下，事件已經(jīng)發(fā)生的條件下，A事件發(fā)送的概事件發(fā)送的概率。率。乘法定理乘法定理:0)(BP)()()|(BPABPBAP)()|()(BPBAPABP3課程知識5.3.1 基本Bayes公式全概率公式：設全概率公式：設 事件滿足：事件滿足：兩兩互不相容，

2、即當兩兩互不相容，即當 時，時，有有 樣本空間樣本空間 則對任何事件則對任何事件B,有下式成立：有下式成立：稱為稱為全概率公式全概率公式。ji jiAA)1(0)(niAPiUniiAD1)|()()(1iniiABPAPBPnAAA,.,214課程知識5.3.1 基本Bayes公式BayesBayes公式：設公式：設 事件滿足：事件滿足：兩兩互不相容，即當兩兩互不相容，即當 時，時，有有 樣本空間樣本空間 則對任何事件則對任何事件B,有下式成立：有下式成立：稱為稱為貝葉斯公式貝葉斯公式。ji jiAA)1(0)(niAPiUniiAD1niBPABPAPBAPiii,.,2,1,)()|()

3、()|(nAAA,215課程知識5.3.1 基本Bayes公式l把全概率公式帶入貝葉斯公式后，得如下公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni,.,2,16課程知識5.3.1 基本Bayes公式l又有產(chǎn)生式規(guī)則lIF E THEN Hil用產(chǎn)生式中的前提條件E代替Bayes公式中的B，用Hi 代替公式中的Ai,就可以得到公式：l用來求得在條件E下，Hi的先驗概率。niHPHEPHPHEPEHPnjjjiii,.,2,1,)()|()()|()|(17課程知識5.3.1 基本Bayes公式l在有些情況下，有多個證據(jù)E1,E2,En和多個結(jié)論H1,H2,.,Hn

4、，并且每個證據(jù)都以一定程度支持結(jié)論，這是可對上面的公式進行擴充，得：niHPHiEPHEPHPHEPHEPEEEHPnjjmjiimini,.,2,1,)()|(.)|()()|(.)|().|(111218課程知識5.3.1 基本Bayes公式l此時，只要知道Hi的先驗概率P(Hi)以及Hi成立時證據(jù)E1,E2,Em出現(xiàn)的條件概率P(E1|Hi),P(E2|Hi),P(Em|Hi)，就可以求得在E1,E2,.,Em出現(xiàn)情況下Hi的條件概率P(Hi|E1E2.Em)9課程知識5.3.2 主觀Bayes方法l主觀Bayes方法的基本思想l由于證據(jù)E的出現(xiàn)，使得P(H)變?yōu)镻(H|E)l主觀Bay

5、es方法,就是研究利用證據(jù)E，將先驗概率P(H)更新為后驗概率P(H|E)l主觀Bayes方法引入兩個數(shù)值（LS，LN）用來度量規(guī)則成立的充分性和必要性。其中，lLS:充分性量度lLN:必要性量度10課程知識5.3.3 知識不確定性的表示l1.知識表示方法知識表示方法l在地礦勘探專家系統(tǒng)中，為了進行不確定性推理，把所有的知識規(guī)則連接成一個有向圖，圖中的各節(jié)點代表假設結(jié)論，弧代表規(guī)則。l在主觀Bayes方法中，知識的不確定性是以一個數(shù)值對（LS，LN）來進行描述的。其具體產(chǎn)生式規(guī)則形式表示為：lIF E THEN (LS,LN)H (P(H)11課程知識5.3.3 知識不確定性的表示l其中，(L

6、S,LN)是為度量產(chǎn)生式規(guī)則的不確定性而引入的一組數(shù)值，用來表示該知識的強度，LS和LZ的表示形式如下。l(1)充分性度量(LS)的定義)|()|(HEPHEPLS它表示E對H的支持程度，取值范圍為0,+)。12課程知識5.3.3 知識不確定性的表示l(2)必要性度量的定義它表示E對H的支持程度，即E對H為真的必要程度，取值范圍0,+)。)|(1)|(1)|()|(HEPHEPHEPHEPLN13課程知識5.3.3 知識不確定性的表示l結(jié)合Bayes公式，得：P(H|E)=P(E|H)P(H)/P(E)lBayes公式除以上式得：)()()|()|()|()|(HPHPHEPHEPEHPEHP

7、14課程知識5.3.3 知識不確定性的表示l為了討論方便，引入幾率函數(shù) 又l則可以化為)(1)()(xPxPxO)(1)()(xOxOxP)|()|(HEPHEPLS)()()|()|()|()|(HPHPHEPHEPEHPEHP)()|(HOLSEHO15課程知識5.3.3 知識不確定性的表示l上式被稱為Bayes公式的幾率似然性形式。LS稱為充分似然性，如果LS-+，則證據(jù)E對于推出H為真是邏輯充分的。l同理，可得關(guān)于LN的公式：lO(H|E)=LN O(H)l其被稱為Bayes公式的必率似然性形式。LN稱為必然似然性，如果LN=0，則有O(H|E)=0。這說明當E為真時，H必為假，即E對

8、H來說是必然的。16課程知識5.3.3 知識不確定性的表示l2.LS和LN的性質(zhì)(1)LS的性質(zhì)LS表示證據(jù)E的存在，影響結(jié)論H為真的概率：O(H|E)=LS O(H)l當LS1時，P(H|E)P(H),即E支持H，E導致H為真的可能性增加；l當LS-+時,表示證據(jù)E將致使H為真；l當LS=1時，表示E對H沒有影響，與H無關(guān)；l當LS1時，P(H|E)P(H),即E支持H，E導致H為真的可能性增加；l當LN-+時,表示證據(jù)E將致使H為真；l當LN=1時，表示E對H沒有影響，與H無關(guān)；l當LN1且LN1LS1LS=1=LN19課程知識5.3.4 證據(jù)不確定性的表示l1.單個證據(jù)不確定性的表示方法

9、單個證據(jù)不確定性的表示方法l證據(jù)通?？梢苑譃槿C據(jù)和部分證據(jù)。全證據(jù)就是所有的證據(jù)，即所有可能的證據(jù)和假設，他們組成證據(jù)E。部分證據(jù)S就是E的一部分，這部分證據(jù)也可以稱之為觀察。在主觀Bayes方法中，證據(jù)的不確定性是用概率表示的。全證據(jù)的可行度依賴于部分證據(jù)，表示為P(E|S)，為后驗概率。20課程知識5.3.4 證據(jù)不確定性的表示l2.組合證據(jù)的不確定性的確定方法組合證據(jù)的不確定性的確定方法l當證據(jù)E由多個單一證據(jù)合取而成，即l如果已知P(E1|S),P(E2|S),P(En|S)，則lP(E|S)=minP(E1|S),P(E2|S),P(En|S)l若證據(jù)E由多個但以證據(jù)析取而成，即l

10、P(E|S)=maxP(E1|S),P(E2|S),P(En|S)l對于非運算，lP(E|S)=1-P(E|S)nEEEE.21nEEEE.2121課程知識5.3.5 不確定性推理計算l1.確定性證據(jù)確定性證據(jù)l(1)證據(jù)確定出現(xiàn)時證據(jù)E肯定出現(xiàn)的情況下，吧結(jié)論H的先驗概率P(H)更新為后驗概率P(H|S)的計算公式為：l(2)證據(jù)確定不出現(xiàn)時證據(jù)E肯定不出現(xiàn)的情況下，把結(jié)論H的先驗概率P(H)更新為后驗概率P(H|E)的計算公式為：1)()1()()|(HPLSHPLSEHP1)()1()()|(HPLNHPLNEHP22課程知識5.3.5 不確定性推理計算l(2)不確定性證據(jù)l在現(xiàn)實中,證

11、據(jù)往往是不確定的,即無法肯定它一定存在或一定不存在l用戶提供的原始證據(jù)不精確l用戶的觀察不精確l推理出的中間結(jié)論不精確l假設S是對E的觀察,則P(E|S)表示在觀察S下,E為真的概率,值在0,1；23課程知識5.3.5 不確定性推理計算l此時0P(E|S)1，故計算后驗概率P(R|S),不能使用Bayes公式l可以采用下面的公式修正（杜達公式）)|()|()|()|()|(SEPEHPSEPEHPSHP1）E肯定存在，即P(E|S)=1,且P(E|S)=0，杜達公式簡化為：1)()1()()|()|(HPLSHPLSEHPSHP24課程知識5.3.5 不確定性推理計算2）E肯定不存在，即P(E

12、|S)=0,P(E|S)=1，杜達公式簡化為：1)()1()()|()|(HPLNHPLNEHPSHP3）P(E|S)=P(E)，即E和S無關(guān),利用全概率公式（公式7），杜達公式可以化為：)()()|()()|()|(HPEPEHPEPEHPSHP25課程知識5.3.5 不確定性推理計算4)當P(E|S)為其它值（非0，非1，非P(E)）時，則需要通過分段線形插值計算：1)|()(),()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP?26課程知識5.3.6結(jié)論不確定性的合成和更新算法l1.

13、結(jié)論不確定性的合成算法結(jié)論不確定性的合成算法ln條規(guī)則都支持同一結(jié)論R,l這些規(guī)則的前提條件E1,E2,En 相互獨立l每個證據(jù)所對應的觀察為S1,S2,Snl先計算O(H|Si)，然后再計算所有觀察下，H的后驗幾率計算方法:)()()|()()|()()|(),.,|(2121HOHOSHOHOSHOHOSHOSSSHOnnL27課程知識5.3.6結(jié)論不確定性的合成和更新算法l2.結(jié)論不確定性的更新算法結(jié)論不確定性的更新算法l其思想是，按照順序使用規(guī)則對先驗概率進行更新，再把得到的更新概率當做先驗概率，更新其他規(guī)則，這樣繼續(xù)更新直到所有的規(guī)則使用完。28課程知識小 結(jié)l主觀Bayes方法（條件概率）l當一個事件發(fā)生后，先驗概率如何轉(zhuǎn)變?yōu)楹篁灨怕蔿推理前知道結(jié)論的先驗概率信息l證據(jù)不確定時，必須采用杜達等推導公式:lP(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S)29課程知識30課程知識