斯坦福大學深度學習公開課cs231n學習筆記（1）softmax函數理解與應用

文明世界拼圖 2020-01-19

展開全文

我學習使用的是帶中文翻譯字幕的網易課程，公開課地址：http://study.163.com/course/courseLearn.htm?courseId=1003223001#/learn/video?lessonId=1003734105&courseId=1003223001

該節(jié)課中提到了一種叫作softmax的函數，因為之前對這個概念不了解，所以本篇就這個函數進行整理，如下：

維基給出的解釋：softmax函數，也稱指數歸一化函數，它是一種logistic函數的歸一化形式，可以將K維實數向量壓縮成范圍[0-1]的新的K維實數向量。函數形式為：

（1）

其中，分母部分起到歸一化的作用。至于取指數的原因，第一是要模擬max的行為，即使得大的數值更大；第二是方便求導運算。

在概率論中，softmax函數輸出可以代表一個類別分布--有k個可能結果的概率分布。

從定義中也可以看出，softmax函數與logistic函數有著緊密的的聯系，對于logistic函數，定義如下：

最顯著的區(qū)別:logistic 回歸是針對二分類問題，softmax則是針對多分類問題，logistic可看成softmax的特例。

二分類器（two-class classifier）要最大化數據集的似然值等價于將每個數據點的線性回歸輸出推向正無窮(類1)和負無窮(類2)。邏輯回歸的損失方程(Loss Function):

對于給定的測試輸入 $\textstyle x$ ，假如想用假設函數針對每一個類別j估算出概率值 $\textstyle p(y=j | x)$ 。即估計 $\textstyle x$ 的每一種分類結果出現的概率。因此，假設函數將要輸出一個 $\textstyle k$ 維的向量（向量元素的和為1）來表示這 $\textstyle k$ 個估計的概率值。假設函數 $\textstyle h_{\theta}(x)$ 形式如下：

其中 $\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}$ 是模型的參數。請注意 $\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} }$ 這一項對概率分布進行歸一化，使得所有概率之和為 1 。

其代價函數可以寫為：

其中，1{真}=1,1{假}=0.

12.23補充：

關于代價函數，softmax用的是cross-entropy loss，信息論中有個重要的概念叫做交叉熵cross-entropy，公式是：

香農熵的公式：

這里寫圖片描述
交叉熵與 loss的聯系，設p(x)代表的是真實的概率分布，那么可以看出上式是概率分布為的相對熵公式，是對第i個類別概率的估計。使用損失函數可以描述真實分布于估計分布的交叉熵。交叉熵可以看做熵與相對熵之和：，這里的相對熵也叫作kl距離，在信息論中，D(P||Q)表示當用概率分布Q來擬合真實分布P時，產生的信息損耗，其中P表示真實分布，Q表示P的擬合分布。又因為真實值的熵是不變的，交叉熵也描述預測結果與真實結果的相似性，用來做損失函數可保證預測值符合真實值。