隨機過程 PPT課件

《隨機過程 PPT課件》由會員分享，可在線閱讀，更多相關《隨機過程 PPT課件（44頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、 函數(shù)有限維且其條件分布，及若對任意的正整數(shù)為隨機過程設、定義0,111221121nnnxt，X，xt，XxtXPtttn，TttX馬爾可夫過程 111111/nnnnnnnnxtXxtXPxt，X，xtXxtXP 為馬爾可夫過程。則稱TttX,2、馬爾可夫性系統(tǒng)在已知現(xiàn)在所處狀態(tài)的條件下，它將來所處的狀態(tài)與過去所處的狀態(tài)無關。第1頁/共44頁4.1 馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念 nT，n，aaXnXnttXaaItXn, 2 , 1 , 0, 2 , 1 , 0,)(, 2 , 1 , 0,2121即參數(shù)空間為：移可列個時刻發(fā)生狀態(tài)轉(zhuǎn)且過程只在之一，則所能取的狀態(tài)必為所處

2、狀態(tài)記為：在每一時刻而的狀態(tài)空間為假定馬爾可夫過程第2頁/共44頁即條件概率滿足：時刻以前的狀態(tài)無關過程在而與時刻的狀態(tài)有關只與過程在的概率時刻處在任一狀態(tài)在定義：若過程,)(. 1mmakmtXkmimkmmmkmimikmiimimikmaXaXPaXaXaXaXP/,/1111簡稱馬氏鏈。為馬爾可夫鏈則稱此隨機過程，nXn0,4.1 馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念第3頁/共44頁 參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過程稱為馬爾可夫鏈。第4頁/共44頁2、馬氏鏈的轉(zhuǎn)移概率/,m kjmiijP XaXapm mkkmmpakmkamijji,：狀態(tài)的轉(zhuǎn)移概率，記為轉(zhuǎn)移到時刻

3、步，在狀態(tài)經(jīng)時刻處于為馬氏鏈在iajamkm稱條件概率氏鏈。下面我們僅討論齊次馬次的，無關，則稱馬氏鏈為齊與若有關，與一般均為正整數(shù)mkmmpkmjikmmpkmjiijij,第5頁/共44頁3、一步轉(zhuǎn)移概率及矩陣即得一步轉(zhuǎn)移概率在上面轉(zhuǎn)移概率中，取1k/1,1imjmijijaXaXPmmpp構成的矩陣由所有的一步轉(zhuǎn)移概率ijp稱為馬氏鏈的一步轉(zhuǎn)移概率矩陣nnppppppP2122211211第6頁/共44頁IjaiijjiijijIapIaapp1)2(,0) 1 (具有性質(zhì)：矩陣稱為隨機矩陣。性質(zhì)的、，滿足和為即矩陣中任一和元素之個狀態(tài)是必然事件，轉(zhuǎn)移到狀態(tài)空間的某一即從)2() 1 (

4、1ia第7頁/共44頁4.多步轉(zhuǎn)移概率的確定 npnpnpnpnpnpnP：naXaXPnmmpnpnnknnimjnmijij2222111211/,) 1 (步轉(zhuǎn)移概率矩陣為對應的步轉(zhuǎn)移概率：即得時、在轉(zhuǎn)移概率中取：，nP即也滿足性質(zhì)也為隨機矩陣)( IanpIaanpiIaijjiijj. 1)2(,. 0) 1 (第8頁/共44頁通常我們還規(guī)定： jijimmppijijij01,0(2)、切普曼柯爾莫哥洛夫方程 （Chapman-Kolmogorov） IarjirijjinrknpkpnpI，aan，nX)(, 00,有：整數(shù)則對任意的為齊次馬氏鏈定理：設方程。簡稱柯爾莫哥洛夫方程

5、，此乃有名的切普曼kc knPkPnP或第9頁/共44頁ramjaiakmnm直觀解釋對照圖第10頁/共44頁 imIarkmimjnmrkmimimIajnmrkmimimjnmimimjnmijaXPaXaXaXPaXaXPaXPaXaXaXPaXPaXaXPaXaXPnprr,/,/馬爾可夫性有：證明：利用概率公式及第11頁/共44頁 knpkpaXaXPaXaXPrjIairrkmjnmIaimrkmrr/用矩陣形式表示為： knPkPnPnPnPnPPPPnPPPPnnPPn，Pk)()2() 1 ()3(3) 1 () 1 ()2(2) 1()(132為任意整數(shù)時有：一般當時：時有

6、：則在上式取 表明一步轉(zhuǎn)移概率是最基本的，它確定了馬氏鏈的狀態(tài)轉(zhuǎn)移的統(tǒng)計規(guī)律。第12頁/共44頁全概率公式v若有N個互斥事件Bn（n=1,2,N），它的并集等于整個樣本空間，則NiiiBPBAPAP1)()|()(第13頁/共44頁（1）離散型隨機變量的條件分布律及條件期望iijjijjipyjipyYxXPYX02 , 1,，有若對于給定的聯(lián)合分布律：是兩個離散型隨機變量設定義jiijiijiijyYPpxpxyYXE11/的條件分布律；關于為則稱jjijjijiyYXppyYxXPp/的條件期望為：關于則jyYX第14頁/共44頁5、初始概率與絕對概率 。和為和分布和絕對分布，簡記為馬氏鏈

7、的初始和絕對概率，并分別稱為馬氏鏈的初始概率和，和分別稱為馬爾可夫鏈定義：設)()0(),(),0()()()0(,0,) 1 (0nppIanpIapIaaXPnpaXPpnXjjjjjjjjnjjjn寫成向量形式:),(,),(),()(),0(,),0(),0()0(2121npnpnpnpppppjj第15頁/共44頁(2) 絕對概率與初始概率的關系)()0()()()0()() 1 (nPpnpnppnpIaijiij或具有性質(zhì)：，絕對概率和意的為馬爾可夫鏈，則對任定理：設)(10,npnIanXjjnPnpnppnpnpIaijiji)1()()1()()2(或第16頁/共44頁)

8、()0(/,)() 1 (000nppaXaXPaXPaXaXPaXPnpijIaiijnIaiIajnijnjiii證： 表明n時刻的絕對概率分布完全由初始分布和n步轉(zhuǎn)移概率所確定。 IaijiinjnIainIajninjnjiiipnPaXaXaXPaXaXPaXPnp) 1(/,)2(111第17頁/共44頁（3）馬氏鏈的有限維分布 IaiiiiiiniiiiininnnnpppaXaXaXPnIaaa，nX1121210,1,0,21有：和則對任意的為齊次馬氏鏈定理：設IaiiiiiiiiniiiniiiiiIaiiniiIainiiinnnnininppppaXaXaXaXPaXa

9、XaXPaXaXPaXPaXaXaXUPaXaXaXP121111121121)0(,/,/,1101020101021證：第18頁/共44頁nnnnnniiiiiiniiiiiiiiniippaXaXaXaXPpppaXaXaXP：11002111001002110/,)2()0(,) 1 (推論總結：1）齊次馬氏鏈多步轉(zhuǎn)移概率可由一步轉(zhuǎn)移概率確定； nPnP)(2) 絕對概率可由初始概率及n步轉(zhuǎn)移概率確定Iaijijinppnp)()0()(3)有限維分布可完全由初始概率及一步轉(zhuǎn)移概率確定。第19頁/共44頁賭徒輸光問題，求甲輸光的概率。，輸?shù)母怕蕿榈母怕蕿榧宗A光為止。設在每一局中局，直到

10、兩人中一個輸者一元，沒有和元，每賭一局輸者給贏賭徒乙有元，列賭博，賭徒甲有兩賭徒甲、乙進行一系pqpa16解：定義Xn為第n次時甲的賭資，其狀態(tài)空間為：狀態(tài)的概率。狀態(tài)先于到達出發(fā)到達點，現(xiàn)在問題是求質(zhì)點從，cabaccI0, 2 , 1 , 0第20頁/共44頁，由全概率公式：，是吸收狀態(tài)，故和，由于即要計算的概率，出發(fā)轉(zhuǎn)移到狀態(tài)表示甲從狀態(tài)設01000caiuucuiu1i1ii0bapq 11, 2 , 1,11ciqupuuiii和事件的概率。后再輸光”這兩事件的處于狀態(tài)）去輸了一局（概率為后再輸光”和“他接下），處于狀態(tài)概率為“他接下去贏了一局（等于元開始賭到輸光的概率含義為：甲從有

11、11iqipi第21頁/共44頁程式實質(zhì)上是一個差分方由于) 1 ( , 1 qp 21, 2 , 111ciuuruuiiii 30, 10cuu，pqr邊界條件為其中cuuuiuuuuuuuuciuuuurcciiiiii010101201112, 1, 2 , 1)2(1令等差數(shù)列式：由的情況，先討論第22頁/共44頁1, 2 , 11ciciuic，uuc1100得代入最后一式將babu，b，qp，b故乙輸光的概率為：由于甲、乙地位對稱、性大，即賭本小者輸光的可能成正比賭本甲輸光的概率與乙的情況下在表明babca：uaia1,求得甲輸光的概率為令賭博遲早要結束。人要輸光，表明甲、乙中必

12、有一由于1bauu第23頁/共44頁 )4(1121110111rrruuuruuruuqprckckiickiiikc式得：由的情況。，即現(xiàn)討論cccrrurruuuk11111111, 0, 0110有由于令第24頁/共44頁 ccbbccaacckkrrrurrruakckrrru1,11, 2 , 1,14得甲輸光的概率令式得代入!, 1光兩人中總有一個人要輸由bauu第25頁/共44頁為隨機游動。則稱有相同的分布，令變量序列，且是整數(shù)值獨立隨機例：隨機游動，設0,0210210nXXnnkkn是時齊馬氏鏈。隨機游動，隨機游動是質(zhì)點的位置，則表示在時刻，于是次移動的長度為整數(shù)間質(zhì)點移動

13、一次，第，每隔一個單位時為運動的質(zhì)點，初始位置上作點在直線上的整數(shù)格點隨機游動可以解釋為質(zhì)0,0,000nXnXnXkXnnnkknk第26頁/共44頁111100110011110010,/,1nnnnnnnnniXiXiXPiXiXiXPiXiXiXiXPiii，n和整數(shù)對任意的.,121101100101100nnnnnnnnniiPiiiiiPiiiiiP111/nnnnnnniiPiXiXP同理：ijnnnijpijPiXjXPp1/一步轉(zhuǎn)移概率為：第27頁/共44頁是一隨機過程。時質(zhì)點的位置，則表示時刻若以格到達向左移一或以概率右移動一格到達向，則下一步質(zhì)點以概率如某一時刻質(zhì)點位于

14、，點在直線上作隨機游動無限制的隨機游動：質(zhì)例0,111.nXnX，ipq，ipinn，I21012 其狀態(tài)空間為：齊次馬氏鏈。為隨機游動，它是一個則第次向左移動一格，第次向右移動一格令nknnkX01,1幾種特殊的隨機游動第28頁/共44頁IjiijpIipqppp：iiiiii, 1, 110 ,01,1,一步轉(zhuǎn)移概率為)(npnij步轉(zhuǎn)移概率下面求它的次，則次，向左次轉(zhuǎn)移中向右如果，次轉(zhuǎn)移的結果是從，而向右的概率為，向左的概率為可能已知每次轉(zhuǎn)移只有兩種21mmnjinpq，ijmmnmm) 1(121212,221ijnmijnm第29頁/共44頁12121)(,mnCmmnijnmm：是

15、任意的，選取方法為步向左步向右，哪步中哪偶數(shù)，且在必須是只能取整數(shù)，所以由于112,( )0mmmnijCp qnjip nnji 偶 奇第30頁/共44頁例 帶一個吸收壁的隨機游動它的一步轉(zhuǎn)移概率為：，即非負整數(shù)集合，其狀態(tài)空間為：，這樣的狀態(tài)稱為吸收態(tài)停留在這個零狀態(tài)了，時，就點一旦到達僅作一點改變，即當質(zhì)其規(guī)律如上例，這里動質(zhì)點在直線上作隨機游, 2 , 1 , 00,IXnIiiIjiijppIiiqpppiiiiii, 1, 1, 110, 1001,1,1iip充要條件是注：狀態(tài)為吸收狀態(tài)的第31頁/共44頁pqpqP000001210210一步轉(zhuǎn)移矩陣為：矩陣為：吸收狀態(tài)，則一步

16、轉(zhuǎn)移兩狀態(tài)為，其中狀態(tài)空間為動。若隨機游動的帶兩個吸收壁的隨機游例aaI0, 2 , 1 , 0第32頁/共44頁100000000000000000001pqqpqPajpjpppaiiijpaiqpaippajjaaiiiiii0001111, 1, 1011110001,1,第33頁/共44頁104,103,102,101)0(4 , 3 , 2 , 1, 2 , 1 , 0, 4 , 3 , 2 , 1pInXnXnn，若間為：為齊次馬氏鏈，狀態(tài)空次拋球后拿球人標號。表示如圖示，拋球規(guī)律標號為四人相互拋一球，人的：例(1)已知開始第一人拿球，經(jīng)三次傳球后又回到 第一人的概率；(2)開始

17、第一人拿球，經(jīng)三次傳球后又回到第一 人的概率；(3)經(jīng)三次傳球后第一人拿球的概率；(4)經(jīng)三次傳球后，又回開始拿球人的概率。第34頁/共44頁 031313121021031310312102101P1342 9491319161316131319194916131613122PP第35頁/共44頁 92277277277187911879127727792277187911879133PP911/1)3() 1 (0311XXPp901911011/111, 1)2(03030XXPXPXXP第36頁/共44頁512771049110327710291101)3()0(1)3()3(1413

18、1iiippXPp45892104911039210291101)3()0(,)4(414130iiiiippiXiXP第37頁/共44頁。，傳輸錯誤的概率為：為：設每步傳輸正確的概率需經(jīng)過若干個級每個數(shù)字的傳輸?shù)耐ㄐ畔到y(tǒng)和例：傳輸數(shù)字10110910qp，pqqpPI，nX，nXnn101 , 00,：其一步轉(zhuǎn)移概率矩陣為且狀態(tài)鏈是一兩狀態(tài)的齊次馬氏則步傳輸出的數(shù)字表示第以傳輸后的誤碼率；真率與三級求系統(tǒng)二級傳輸后的傳設，p9 . 0) 1 (第38頁/共44頁10)0(1)0()2(0001XPp，XPp設初始分布又已知系統(tǒng)經(jīng)n級傳輸后輸出為1,問原字符也是1的概率是多少?qppqqpPP

19、nPnn21, 1)(有相異的特征根：由于步轉(zhuǎn)移概率矩陣解：先求出由線性代數(shù)知識,可將P表示成對角陣第39頁/共44頁qp0010021212121212121ee，對應的特征向量：即求出21212121,21eeH令：第40頁/共44頁nnnnnnnqpqpqpqpHHHHPHHP2121,21212121,212110111于是則244. 01 . 09 . 02121)3()3(820. 01 . 09 . 02121)2()2(9 . 0) 1 (3011020011ppppp別為：三級傳輸后的誤碼率分的傳真率與時，系統(tǒng)經(jīng)二級傳輸后當?shù)?1頁/共44頁的概率為：，原發(fā)字符也是輸出為級傳輸后知系統(tǒng)經(jīng)根據(jù)貝葉斯公式，當已11)2(n nnnnnqpqpnppnppnppXPXXpXPXXP121)0()()0(011/111/1111010111000一般可表示為：一步轉(zhuǎn)移概率矩陣氏蓮對于只有兩個狀態(tài)的馬，第42頁/共44頁1,0 ,1110babbaaP利用類似的方法,可得n步轉(zhuǎn)移概率矩陣為 bbaababaababbanpnpnpnpPnPnoooon1110)(1111 對齊次馬爾可夫鏈,雖然一步專移概率能夠完全決定馬爾可夫鏈的統(tǒng)計規(guī)律，但仍有許多理論上和實際上的問題需要我們作進一步的討論。第43頁/共44頁感謝您的觀看！第44頁/共44頁