最大熵原理

求是1025 2023-05-04 發(fā)布于山東

展開全文

在實際應(yīng)用中，隨機變量的概率分布是很難測定的，一般只能測得其相關(guān)的數(shù)學(xué)特征（如數(shù)學(xué)期望和方差等）或已知某些限定條件下的值（如峰值和取值個數(shù)等），符合測得這些值的分布可有多種，以至無窮多種。通常，其中有一種分布的熵最大。選用具有最大熵的分布作為該隨機變量的分布，是一種有效的處理方法和準(zhǔn)則。這種方法雖有一定的主觀性，但可以認(rèn)為是最符合客觀情況的一種選擇。在數(shù)學(xué)上，這個原理稱為最大熵原理。

基本概念

熵是衡量一個隨機變量不確定性大小的值，熵值最大的時候，說明隨機變量不確定性最大，對其行為做準(zhǔn)確預(yù)測最困難。從這個意義上講，最大熵原理的實質(zhì)就是，在已知部分知識的前提下，關(guān)于未知分布最合理的推斷就是在符合已知知識的情況下，未知部分選擇最隨機的可能性，這樣所得出的結(jié)論更可能接近真實結(jié)果，因為最隨機的概率最高。簡單來說，最大熵原理就是高概率事件出現(xiàn)的可能性最大公理的一個推論。

理論方法

已知信息可以簡單的理解為約束，即要求最后得到的概率分布或者概率密度函數(shù)必須滿足的條件。熵最大，表明不再做其他假設(shè)，并且希望得到的概率分布或者概率密度函數(shù)的熵盡可能大，該問題可以轉(zhuǎn)化為一個優(yōu)化問題。

離散情況

設(shè)離散隨機變量 $X$ 取值自 $(x_1,x_2,\cdots,x_n)$ ，可測信息一般為隨機變量在相關(guān)函數(shù)上的期望值，假設(shè)約束一共有 $m$ 個。另外，所有的取值概率之和應(yīng)該為1。則該問題可以寫作：

$\begin{align} &\max H({X})\\ &s.t \ \ \sum^n_{i=1}\mathrm{Pr}({x}_i)f_k({x}_i)=F_k,k=1,2,\cdots,{m}\\ &\sum^n_{i=1}\mathrm{Pr}({x}_i)=1 \end{align}$ …（1）

該問題可以利用拉格朗日乘子法來得出最優(yōu)解。解的形式如下：

$\mathrm{Pr}({x}_i)=\frac{1}{Z(\lambda_1,\lambda_2,\cdots,\lambda_n)}\exp\bigg[\sum^n_{k=1}\lambda_kf_k(\mathrm{x}_i)\bigg]$ …（2）

式中 ${Z(\lambda_1,\lambda_2,\cdots,\lambda_n)}=\sum^n_{ i=1} \exp[\sum^n_{k=1}\lambda_kf_k({x}_i)]$ ，是歸一化因子，該分布又稱吉布斯分布。 $\lambda_k$ 是拉格朗日乘子，其由約束條件而定，具體式子是 $F_k=\frac{\partial}{\partial\lambda_k} \log {Z(\lambda_1,\lambda_2,\cdots,\lambda_n)}$ 。

連續(xù)情況

類似于離散情況，可以得到如下式子：

$\begin{align} &\max \{h[p({ x}])\}\\ & s.t \ \ \int{p}({x})f_k({x})\mathrmopkdopnojkx=F_k,k=1,2,\cdots,{m}\\ &\int{p}({x})\mathrmopkdopnojkx=1\\ & p({x})\geqslant 0 \end{align}$ …（3）

運用類似方法可以得到概率密度分布函數(shù)的形式如下：

$p({x})=\frac{1}{Z(\lambda_1,\lambda_2,\cdots,\lambda_n)}{m(x)}\exp\bigg[\sum^n_{k=1}\lambda_kf_k({x}_i)\bigg]$ …（4）

擴展閱讀

蓋莫爾 A E，金榮漢．網(wǎng)絡(luò)信息論．張林，譯．北京：清華大學(xué)出版社，2015．
SOOFI E S．Principal information theoretic approaches．Journal of the American Statistical Association，2000，95(452)：1349-1353．