對(duì)深度學(xué)習(xí)和機(jī)器學(xué)習(xí)工程師而言，在世界上所有的概率模型中，高斯分布（Gaussian distribution）模型最為引人注目。即使你從來沒有進(jìn)行過AI項(xiàng)目，有很大的幾率你曾經(jīng)遇到過高斯模型。

高斯分布，又稱為正態(tài)分布（Normal distribution），常?？梢酝ㄟ^其標(biāo)志性的鐘形曲線識(shí)別出來。高斯分布如此流行，有三大原因。

在自然現(xiàn)象中普遍存在

所有的模型都是錯(cuò)的，但有些模型有用！

—— George Box

自然科學(xué)和社會(huì)科學(xué)中有極其大量的過程天然遵循高斯分布。即使當(dāng)它們并不遵循高斯分布的時(shí)候，高斯分布也往往提供最佳的逼近。一些例子：

• 成人的身高、血壓、智商
• 擴(kuò)散中的微粒位置
• 測(cè)量誤差

數(shù)學(xué)上的原因：中心極限定理

中心極限定理表明，滿足一定條件時(shí)，大量相互獨(dú)立的隨機(jī)變量經(jīng)適當(dāng)標(biāo)準(zhǔn)化后，收斂于高斯分布。例如，隨機(jī)行走的總距離分趨向于高斯概率分布。

這一定理意味著專門為高斯模型開發(fā)的大量科學(xué)方法和統(tǒng)計(jì)學(xué)方法同樣適用于可能牽涉其他類型分布的廣闊領(lǐng)域內(nèi)的問題。

可以認(rèn)為，這一定理解釋了為什么這么多自然現(xiàn)象遵循高斯分布。

另外，高斯分布在一些轉(zhuǎn)換后仍然是高斯分布：

• 高斯函數(shù)經(jīng)傅里葉變換后，所得仍為高斯函數(shù)。
• 兩個(gè)高斯函數(shù)的積仍然是高斯函數(shù)。
• 兩個(gè)高斯函數(shù)的卷積仍然是高斯函數(shù)。
• 兩個(gè)符合高斯分布的獨(dú)立隨機(jī)變量之和仍然符合高斯分布。

簡(jiǎn)單性

對(duì)每個(gè)高斯模型逼近而言，可能存在一個(gè)提供更好的逼近的復(fù)雜多參數(shù)分布。然而，我們?nèi)匀贿x擇高斯模型，因?yàn)樗蟠蠛?jiǎn)化了數(shù)學(xué)！

• 均值、中位數(shù)、眾數(shù)均相等
• 整個(gè)分布僅需指定兩個(gè)參數(shù)——均值和方差

高斯分布得名于偉大的數(shù)學(xué)家和物理學(xué)家卡爾·弗里德里?！じ咚梗–arl Friedrich Gauss）。