高中數(shù)學對概率的定義：在大量重復進行同一實驗事件A發(fā)生的頻率總是接近某一個常數(shù)，并在它附近進行擺動，這時將這個常數(shù)叫事件A的概率，記作P(A)。

這是古典頻率學派對概率的定義，定義包含了二個要點：

（1）、事件A發(fā)生的概率是常數(shù)。

（2）、事件A發(fā)生的概率是重復多次進行同一實驗得到的。

頻率學派的局限性：

頻率學派評估可重復實驗事件發(fā)生的概率具有一定的現(xiàn)實意義。

但是假如評估本世紀末北極圈的冰川消失的概率，按照頻率學派的思想，首先需要創(chuàng)造無數(shù)個平行世界，然后計算北極圈冰川消失的平行世界的頻率，記該頻率為冰川消失的概率。

目前，創(chuàng)造無數(shù)個平行世界的技術還不成熟，因此頻率學派在評估不可重復實驗事件發(fā)生的概率具有很大的限制性。

貝葉斯學派對概率的定義：貝葉斯學派評估事件A發(fā)生的概率帶有主觀性，且事件A發(fā)生的概率是當前觀測數(shù)據(jù)集D下的概率，即條件概率P(A|D)，當觀測數(shù)據(jù)集更新為D1時，則事件A發(fā)生的概率為P(A|D1)，不同的數(shù)據(jù)集預測A事件發(fā)生的概率不同。貝葉斯學派評估事件A發(fā)生的概率會引用先驗概率和后驗概率兩個概念，貝葉斯定理是搭建先驗概率和后驗概率的橋梁。

定義包含了三個要點：

（1）、事件A發(fā)生的概率是變化的，并非常數(shù)。

（2）、事件A發(fā)生的概率是特定數(shù)據(jù)集下的條件概率。

（3）、事件A發(fā)生的概率是后驗概率，且事件A發(fā)生的先驗概率已給定。

貝葉斯學派的難點在于如何設置合理反映事件A發(fā)生的先驗概率，不同的先驗概率得到的結果不一樣。

條件概率：設A，B是兩個事件，且P(A)>0，稱

為在事件A發(fā)生的條件下事件B發(fā)生的概率。

乘法定理：設P(A)>0，稱

事件A，B同時發(fā)生的概率等于事件A發(fā)生的概率與事件A發(fā)生的條件下事件B發(fā)生的概率的乘積。

求和定理：設P(A)>0，稱

為事件A發(fā)生概率的邊緣化。

全概率公式：事件B發(fā)生的所有可能結果B1，B2，…，Bn，事件A發(fā)生的概率P(A)，則

貝葉斯定理：

其中，P(A|B)為已知事件B下A發(fā)生的概率，稱為后驗概率；等式右邊分子部分P(A)為事件A發(fā)生的概率，稱為先驗概率。貝葉斯定理是先驗概率和后驗概率轉換的橋梁。

相同點：最大似然函數(shù)在頻率學派和貝葉斯學派都具有重要的作用，最大似然函數(shù)的思想是存在即合理，認為已觀測數(shù)據(jù)的概率分布是最大概率，最大概率對應的模型就是我們需要找的模型。

不同點：頻率學派認為模型是一成不變的，即模型參數(shù)是個常數(shù)；貝葉斯學派認為模型是一直在變的，當獲取新的信息后，模型也相應的在改變，即模型參數(shù)是個變量，用概率去描述模型參數(shù)的不確定性。

【例】小明在做拋硬幣試驗，已觀測數(shù)據(jù)集D為五次正面向上，求正面向上的概率w

頻率學派解法：

硬幣正面向上的概率為1，模型明顯存在問題，稱為過擬合

貝葉斯學派解法：

假設硬幣正面向上的先驗概率p(w)，根據(jù)貝葉斯定理得：

由于篇幅的關系，本文只在這里描述了貝葉斯學派求解硬幣正面向上概率的流程圖，筆者會在后面的文章詳細描述這一現(xiàn)象。

【例】 一個紅盒子有六個橘子一個蘋果，一個藍色盒子有一個橘子三個蘋果，選擇紅盒子的概率為0.4，選擇藍盒子的概率為0.6，隨機從盒子抽取一次水果，（1）求水果為橘子的概率；（2）當抽取的水果為橘子時，求隨機選擇盒子為紅色的概率；

解：

假設選擇盒子的事件記為B，B有兩種可能的結果，選擇紅盒子記為r，選擇藍盒子記為b；

假設抽取水果的事件記為F，F(xiàn)有兩種可能的結果，抽取橘子記為o，抽取蘋果記為a；

(1)、由全概率公式得：

因此，隨機抽取水果為橘子的該為0.45。

（2）、問題轉化為求解P(B=r|F=o)

            由貝葉斯定理得：

由（2）可知，選擇紅色盒子概率為0.4，該概率為先驗概率；當觀測數(shù)據(jù)為橘子時，選擇紅色盒子的概率變成0.67，該概率為后驗概率。再次證明了貝葉斯估計模型的概率是隨著觀測數(shù)據(jù)的變化而變化的。

本文介紹了頻率學派和貝葉斯學派的概率定義，頻率學派認為模型是一成不變的，貝葉斯學派認為模型是隨著數(shù)據(jù)的更新而不斷更新，頻率學派和貝葉斯學派都可以使用最大似然函數(shù)來估計模型。