|
怎樣向外行人解釋馬爾科夫蒙特卡洛方法？ http://help.3g.163.com/15/0212/03/AI7LL3NM00964K83.html 每當(dāng)我們討論概率時(shí)，我們其實(shí)都是在對(duì)概率密度進(jìn)行積分。在貝葉斯分析中，我們所用到的很多概率密度都不是能解析表達(dá)的：對(duì)他們積分你需要付出很大的代價(jià)，如果他們真的可積。所以，我們用一種代替的方法，就是大量的仿真這個(gè)隨機(jī)變量，然后從我們仿真出的隨機(jī)數(shù)里得到概率。如果我們想要知道X小于10的概率，我們就計(jì)算仿真出的隨機(jī)數(shù)里小于10的比例，用它作為我們的估算結(jié)果。這就是“蒙特卡洛”部分，它是一種基于隨機(jī)數(shù)的概率估計(jì)方法。當(dāng)仿真出的隨機(jī)數(shù)足夠多的時(shí)候，估計(jì)的結(jié)果就非常好，但是它本質(zhì)上仍然是隨機(jī)的。 那又為什么用“馬爾科夫”呢？因?yàn)樵谔囟ǖ募夹g(shù)條件下，你可以生成一個(gè)無(wú)記憶的過(guò)程（例如，一個(gè)馬爾科夫過(guò)程），這個(gè)過(guò)程和你想要仿真的隨機(jī)變量有一樣的分布。你可以迭代任意數(shù)量的不同的仿真過(guò)程，這些仿真過(guò)程可以生成相關(guān)的隨機(jī)數(shù)（只基于這些數(shù)的當(dāng)前值），并且這個(gè)過(guò)程保證了一旦你生成足夠多的結(jié)果，你將能得到一組數(shù)，它們看起來(lái)就好像你用某種方法成功地從你想要知道的復(fù)雜分布中獲得了獨(dú)立的樣本一樣。 例如，如果我想估計(jì)一個(gè)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量小于0.5的概率，我可以從標(biāo)準(zhǔn)正態(tài)分布中生成10000個(gè)獨(dú)立的樣本，然后數(shù)出其中小于0.5的樣本的數(shù)量；假設(shè)，我得到6905個(gè)樣本小于0.5，那么我對(duì)P(Z<0.5)的估計(jì)就是0.6905，這個(gè)估計(jì)和真實(shí)值相去不遠(yuǎn)。這就是個(gè)蒙特卡洛估計(jì)。 現(xiàn)在想像我沒(méi)辦法生成獨(dú)立的標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量，于是我從0開(kāi)始，每一步加一些-0.5到0.5之間均勻分布的隨機(jī)數(shù)到我的當(dāng)前值，然后根據(jù)一種特殊的檢驗(yàn)方法來(lái)決定我是不是接受這個(gè)新值，如果我不接受，那我就拒絕這個(gè)值保留我的舊值。因?yàn)槲抑豢紤]新值和當(dāng)前值，所以這是個(gè)馬爾科夫鏈。如果我正確地建立了決定是否保留新值的檢驗(yàn)方法（可以是隨機(jī)游走Metropolis-Hastings方法，細(xì)節(jié)比較復(fù)雜），于是盡管我沒(méi)生成哪怕一個(gè)正態(tài)隨機(jī)變量，如果我仿真這個(gè)過(guò)程足夠長(zhǎng)時(shí)間，我從這個(gè)過(guò)程得到的數(shù)列就將分布得像用某種方法生成的正態(tài)隨機(jī)變量的大量樣本一樣。這就是對(duì)一個(gè)標(biāo)準(zhǔn)正態(tài)分布隨機(jī)變量的馬爾科夫蒙特卡洛仿真。如果我用這種方法去估計(jì)概率，這就是一個(gè)馬爾科夫蒙特卡洛估計(jì)。
譯者注：此篇文章是我在國(guó)外的一個(gè)數(shù)學(xué)論壇上看到的一個(gè)關(guān)于馬爾科夫蒙特卡洛方法的簡(jiǎn)單解釋。我覺(jué)得講得很淺顯易懂，適合入門(mén)者掌握概念，所以分享給大家。原問(wèn)題的答主昵稱(chēng)叫Rich，這是他的論壇主頁(yè)鏈接http://stats./users/61/rich。 馬爾科夫鏈（Markov Chain） 在已知“現(xiàn)在”的條件下，“未來(lái)”與“過(guò)去”彼此獨(dú)立的特性就被稱(chēng)為馬爾科夫性，又叫無(wú)后效性或馬爾科夫假設(shè)，具有這種性質(zhì)的隨機(jī)過(guò)程就叫做馬爾科夫過(guò)程，時(shí)間和狀態(tài)都是離散的馬爾科夫過(guò)程稱(chēng)為馬爾科夫鏈。
參考文獻(xiàn)： 馬爾科夫鏈 馬爾科夫 http://baike./view/88424.htm#2 馬爾科夫過(guò)程 http://wiki.mbalib.com/wiki/馬爾可夫過(guò)程 馬爾科夫鏈/Markov鏈 http://baike.baidu.com/view/3053716.htm http://baike.baidu.com/view/340221.htm 馬爾科夫鏈模型簡(jiǎn)介 http://wenku.baidu.com/view/3ac8b5bb960590c69ec376ee.html 馬爾科夫預(yù)測(cè) http://baike.baidu.com/view/1621554.htm http://wenku.baidu.com/view/2407c58a680203d8ce2f24e6.html
蒙特卡洛模擬（Monte Carlo simulation） 1、蒙特卡羅模擬簡(jiǎn)介 蒙特卡羅模擬，也叫統(tǒng)計(jì)模擬，這個(gè)術(shù)語(yǔ)是二戰(zhàn)時(shí)期美國(guó)物理學(xué)家Metropolis執(zhí)行曼哈頓計(jì)劃的過(guò)程中提出來(lái)的，其基本思想很早以前就被人們所發(fā)現(xiàn)和利用。早在17世紀(jì)，人們就知道用事件發(fā)生的"頻率"來(lái)決定事件的"概率"。19世紀(jì)人們用投針試驗(yàn)的方法來(lái)決定圓周率π。本世紀(jì)40年代電子計(jì)算機(jī)的出現(xiàn)，特別是近年來(lái)高速電子計(jì)算機(jī)的出現(xiàn)，使得用數(shù)學(xué)方法在計(jì)算機(jī)上大量、快速地模擬這樣的試驗(yàn)成為可能。 蒙特卡洛模擬是一種通過(guò)設(shè)定隨機(jī)過(guò)程，反復(fù)生成時(shí)間序列，計(jì)算參數(shù)估計(jì)量和統(tǒng)計(jì)量，進(jìn)而研究其分布特征的方法。蒙特卡洛模擬方法的原理是當(dāng)問(wèn)題或?qū)ο蟊旧砭哂懈怕侍卣鲿r(shí)，可以用計(jì)算機(jī)模擬的方法產(chǎn)生抽樣結(jié)果，根據(jù)抽樣計(jì)算統(tǒng)計(jì)量或者參數(shù)的值；隨著模擬次數(shù)的增多，可以通過(guò)對(duì)各次統(tǒng)計(jì)量或參數(shù)的估計(jì)值求平均的方法得到穩(wěn)定結(jié)論。由于涉及到時(shí)間序列的反復(fù)生成，蒙特卡洛模擬法是以高容量和高速度的計(jì)算機(jī)為前提條件的，因此只是在近些年才得到廣泛推廣。 2、蒙特卡洛模擬步驟 版本1： （1）構(gòu)造或描述概率過(guò)程：對(duì)于本身就具有隨機(jī)性質(zhì)的問(wèn)題，如粒子輸運(yùn)問(wèn)題，主要是正確描述和模擬這個(gè)概率過(guò)程，對(duì)于本來(lái)不是隨機(jī)性質(zhì)的確定性問(wèn)題，比如計(jì)算定積分，就必須事先構(gòu)造一個(gè)人為的概率過(guò)程，它的某些參量正好是所要求問(wèn)題的解。即要將不具有隨機(jī)性質(zhì)的問(wèn)題轉(zhuǎn)化為隨機(jī)性質(zhì)的問(wèn)題。 （2）實(shí)現(xiàn)從已知概率分布抽樣：構(gòu)造了概率模型以后，由于各種概率模型都可以看作是由各種各樣的概率分布構(gòu)成的，因此產(chǎn)生已知概率分布的隨機(jī)變量（或隨機(jī)向量），就成為實(shí)現(xiàn)蒙特卡羅方法模擬實(shí)驗(yàn)的基本手段，這也是蒙特卡羅方法被稱(chēng)為隨機(jī)抽樣的原因。最簡(jiǎn)單、最基本、最重要的一個(gè)概率分布是(0,1)上的均勻分布（或稱(chēng)矩形分布）。隨機(jī)數(shù)就是具有這種均勻分布的隨機(jī)變量。隨機(jī)數(shù)序列就是具有這種分布的總體的一個(gè)簡(jiǎn)單子樣，也就是一個(gè)具有這種分布的相互獨(dú)立的隨機(jī)變數(shù)序列。產(chǎn)生隨機(jī)數(shù)的問(wèn)題，就是從這個(gè)分布的抽樣問(wèn)題。在計(jì)算機(jī)上，可以用物理方法產(chǎn)生隨機(jī)數(shù)，但價(jià)格昂貴，不能重復(fù)，使用不便。另一種方法是用數(shù)學(xué)遞推公式產(chǎn)生。這樣產(chǎn)生的序列，與真正的隨機(jī)數(shù)序列不同，所以稱(chēng)為偽隨機(jī)數(shù)，或偽隨機(jī)數(shù)序列。不過(guò)，經(jīng)過(guò)多種統(tǒng)計(jì)檢驗(yàn)表明，它與真正的隨機(jī)數(shù)，或隨機(jī)數(shù)序列具有相近的性質(zhì)，因此可把它作為真正的隨機(jī)數(shù)來(lái)使用。由已知分布隨機(jī)抽樣有各種方法，與從(0,1)上均勻分布抽樣不同，這些方法都是借助于隨機(jī)序列來(lái)實(shí)現(xiàn)的，也就是說(shuō)，都是以產(chǎn)生隨機(jī)數(shù)為前提的。由此可見(jiàn)，隨機(jī)數(shù)是我們實(shí)現(xiàn)蒙特卡羅模擬的基本工具。建立各種估計(jì)量：一般說(shuō)來(lái)，構(gòu)造了概率模型并能從中抽樣后，即實(shí)現(xiàn)模擬實(shí)驗(yàn)后，我們就要確定一個(gè)隨機(jī)變量，作為所要求的問(wèn)題的解，我們稱(chēng)它為無(wú)偏估計(jì)。 （3）建立各種估計(jì)量，相當(dāng)于對(duì)模擬實(shí)驗(yàn)的結(jié)果進(jìn)行考察和登記，從中得到問(wèn)題的解。例如：檢驗(yàn)產(chǎn)品的正品率問(wèn)題，我們可以用1表示正品，0表示次品，于是對(duì)每個(gè)產(chǎn)品檢驗(yàn)可以定義如下的隨機(jī)變數(shù)Ti，作為正品率的估計(jì)量：于是，在N次實(shí)驗(yàn)后，正品個(gè)數(shù)為：顯然，正品率p為：不難看出，Ti為無(wú)偏估計(jì)。當(dāng)然，還可以引入其它類(lèi)型的估計(jì)，如最大似然估計(jì)，漸進(jìn)有偏估計(jì)等。但是，在蒙特卡羅計(jì)算中，使用最多的是無(wú)偏估計(jì)。 版本2： （1）根據(jù)提出的問(wèn)題構(gòu)造一個(gè)簡(jiǎn)單、適用的概率模型或隨機(jī)模型，使問(wèn)題的解對(duì)應(yīng)于該模型中隨機(jī)變量的某些特征（如概率、均值和方差等），所構(gòu)造的模型在主要特征參量方面要與實(shí)際問(wèn)題或系統(tǒng)相一致； （2）根據(jù)模型中各個(gè)隨機(jī)變量的分布，在計(jì)算機(jī)上產(chǎn)生隨機(jī)數(shù)，實(shí)現(xiàn)一次模擬過(guò)程所需的足夠數(shù)量的隨機(jī)數(shù)。通常先產(chǎn)生均勻分布的隨機(jī)數(shù)，然后生成服從某一分布的隨機(jī)數(shù)，方可進(jìn)行隨機(jī)模擬試驗(yàn)。 （3）根據(jù)概率模型的特點(diǎn)和隨機(jī)變量的分布特性，設(shè)計(jì)和選取合適的抽樣方法，并對(duì)每個(gè)隨機(jī)變量進(jìn)行抽樣（包括直接抽樣、分層抽樣、相關(guān)抽樣、重要抽樣等）； （4）按照所建立的模型進(jìn)行仿真試驗(yàn)、計(jì)算，求出問(wèn)題的隨機(jī)解； （5）統(tǒng)計(jì)分析模擬試驗(yàn)結(jié)果，給出問(wèn)題的概率解以及解的精度估計(jì)。 3、蒙特卡洛模擬應(yīng)用 （1）直接應(yīng)用蒙特卡洛模擬：應(yīng)用大規(guī)模的隨機(jī)數(shù)列來(lái)模擬復(fù)雜系統(tǒng)，得到某些參數(shù)或重要指標(biāo)； （2）蒙特卡洛積分：利用隨機(jī)數(shù)列計(jì)算積分，維數(shù)越高，積分效率越高； （3）MCMC：直接應(yīng)用蒙特卡洛模擬的推廣，該方法中隨機(jī)數(shù)的產(chǎn)生是采用的馬爾科夫鏈形式。 4、蒙特卡洛模擬舉例 （1）有一個(gè)例子可以使你比較直觀(guān)地了解蒙特卡羅方法：假設(shè)我們要計(jì)算一個(gè)不規(guī)則圖形的面積，那么圖形的不規(guī)則程度和分析性計(jì)算（比如，積分）的復(fù)雜程度是成正比的。蒙特卡羅模擬是怎么計(jì)算的呢？假想你有一袋豆子，把豆子均勻地朝這個(gè)圖形上撒，然后數(shù)這個(gè)圖形之中有多少顆豆子，這個(gè)豆子的數(shù)目就是圖形的面積。當(dāng)你的豆子越小，撒的越多的時(shí)候，結(jié)果就越精確。 （2）蒙特卡洛積分 蒙特卡洛方法與定積分計(jì)算：隨機(jī)投點(diǎn)法與平均值法 http:///2010/03/monte-carlo-method-to-compute-integration/
參考文獻(xiàn)： 蒙特卡羅方法 http://baike.baidu.com/view/476019.htm http://wiki.mbalib.com/wiki/蒙特卡羅方法 http://www.baike.com/wiki/蒙特卡羅方法 蒙特卡羅模擬 http://baike.baidu.com/view/2692033.htm http://baike.baidu.com/view/284709.htm 蒙特卡羅(MonteCarlo)方法簡(jiǎn)介 http://blog.sciencenet.cn/blog-324394-292355.html MCMC方法研究 http://cdmd.cnki.com.cn/Article/CDMD-10422-2007088260.htm
馬爾科夫蒙特卡洛（MCMC） MonteCarlo方法的一個(gè)基本應(yīng)用是產(chǎn)生（偽）隨機(jī)數(shù)，使之服從一個(gè)概率分布π(X)。當(dāng)X是一維的情況時(shí)，這很容易做到，現(xiàn)在有許多計(jì)算機(jī)軟件都可以得到這樣的隨機(jī)數(shù)，前面介紹的例子都是這種簡(jiǎn)單情況。但X常取值于Rk，直接產(chǎn)生符合二的獨(dú)立樣本通常是不可行的。往往是要么樣本不獨(dú)立，要么不符合π，或者二者都有。以前有很多人設(shè)計(jì)出許多方法去克服這一點(diǎn)，目前最常用的是MCMC方法。Metropolis方法（Metropolis.et.al.1953）與Hastings的概括奠定了MCMC方法的基石，此方法就是在以π為平穩(wěn)分布的馬氏鏈上產(chǎn)生相互依賴(lài)的樣本。換句話(huà)說(shuō)，MCMC方法本質(zhì)上是一個(gè)MonteCarlo綜合程序，它的隨機(jī)樣本的產(chǎn)生與一條馬氏鏈有關(guān)。基于條件分布的迭代取樣是另外一種重要的MCMC方法，其中最著名的特殊情況就是Gibbs抽樣，現(xiàn)在已成為統(tǒng)計(jì)計(jì)算的標(biāo)準(zhǔn)工具，它最吸引人的特征是其潛在的馬氏鏈?zhǔn)峭ㄟ^(guò)分解一系列條件分布建立起來(lái)。 從數(shù)學(xué)上講，馬爾科夫鏈的蒙特卡洛采樣的核心思想是構(gòu)造一個(gè)Markovchain，使得從任意一個(gè)狀態(tài)采樣開(kāi)始，按該Markovchain轉(zhuǎn)移，經(jīng)過(guò)一段時(shí)間的采樣，逼近平穩(wěn)分布/目標(biāo)分布（Stationarydistribution/Equilibriumdistribution），最后選用逼近后的樣本作為最終的采樣。換句話(huà)說(shuō)，如果我模擬了一條這樣的馬爾科夫鏈，去除掉前面一部分樣本之后，就可以認(rèn)為后面的樣本來(lái)自于平穩(wěn)分布。
參考文獻(xiàn)： LDA-math-MCMC和GibbsSampling(1) http://www./lda-math-mcmc-%e5%92%8c-gibbs-sampling1 LDA-math-MCMC和GibbsSampling(2) http://www./lda-math-mcmc-%E5%92%8C-gibbs-sampling2 MCMC方法研究 http://wenku.baidu.com/view/0051e4ed856a561252d36f7f.html
MarkovChainMonteCarlo方法總結(jié) http://blog.csdn.net/dreamflylin/article/details/6315736 MCMC算法簡(jiǎn)介 http://tieba.baidu.com/p/1681867134 為什么要用MarkovchainMonteCarlo(MCMC) http://blog.sciencenet.cn/blog-870888-677965.html
LDA-math-神奇的Gamma函數(shù)(1) http://www./lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b01 LDA-math-神奇的Gamma函數(shù)(2) http://www./lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b02 LDA-math-神奇的Gamma函數(shù)(3) http://www./lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b03 LDA-math-認(rèn)識(shí)Beta/Dirichlet分布(1) http://www./lda-math-%e8%ae%a4%e8%af%86betadirichlet%e5%88%86%e5%b8%831 LDA-math-認(rèn)識(shí)Beta/Dirichlet分布(2) http://www./lda-math-%e8%ae%a4%e8%af%86betadirichlet%e5%88%86%e5%b8%832 LDA-math-認(rèn)識(shí)Beta/Dirichlet分布(3) http://www./lda-math-%e8%ae%a4%e8%af%86betadirichlet%e5%88%86%e5%b8%833
隨機(jī)模擬與采樣
參考文獻(xiàn)： 隨機(jī)模擬的基本思想和常用采樣方法(sampling) http://blog.csdn.net/xianlingmao/article/details/7768833 MCMC方法及應(yīng)用 |
|
|
