深度神經(jīng)網(wǎng)絡(luò)（DNN）模型與前向傳播算法

昵稱59761374 2018-09-17

展開全文

　　　　深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，以下簡(jiǎn)稱DNN）是深度學(xué)習(xí)的基礎(chǔ)，而要理解DNN，首先我們要理解DNN模型，下面我們就對(duì)DNN的模型與前向傳播算法做一個(gè)總結(jié)。

1. 從感知機(jī)到神經(jīng)網(wǎng)絡(luò)

　　　　在感知機(jī)原理小結(jié)中，我們介紹過(guò)感知機(jī)的模型，它是一個(gè)有若干輸入和一個(gè)輸出的模型，如下圖:

　　　　輸出和輸入之間學(xué)習(xí)到一個(gè)線性關(guān)系，得到中間輸出結(jié)果：

z = \sum_{i = 1}^{m} w_{i} x_{i} + b

　　　　接著是一個(gè)神經(jīng)元激活函數(shù):

s i g n (z) = {\begin{cases} - 1 & z < 0 \\ 1 & z \geq 0 \end{cases}

　　　　從而得到我們想要的輸出結(jié)果1或者-1。

　　　　這個(gè)模型只能用于二元分類，且無(wú)法學(xué)習(xí)比較復(fù)雜的非線性模型，因此在工業(yè)界無(wú)法使用。

　　　　而神經(jīng)網(wǎng)絡(luò)則在感知機(jī)的模型上做了擴(kuò)展，總結(jié)下主要有三點(diǎn)：

　　　　1）加入了隱藏層，隱藏層可以有多層，增強(qiáng)模型的表達(dá)能力，如下圖實(shí)例，當(dāng)然增加了這么多隱藏層模型的復(fù)雜度也增加了好多。

　　　　2）輸出層的神經(jīng)元也可以不止一個(gè)輸出，可以有多個(gè)輸出，這樣模型可以靈活的應(yīng)用于分類回歸，以及其他的機(jī)器學(xué)習(xí)領(lǐng)域比如降維和聚類等。多個(gè)神經(jīng)元輸出的輸出層對(duì)應(yīng)的一個(gè)實(shí)例如下圖，輸出層現(xiàn)在有4個(gè)神經(jīng)元了。

　　　　3）對(duì)激活函數(shù)做擴(kuò)展，感知機(jī)的激活函數(shù)是 $s i g n (z)$ ,雖然簡(jiǎn)單但是處理能力有限，因此神經(jīng)網(wǎng)絡(luò)中一般使用的其他的激活函數(shù)，比如我們?cè)谶壿嫽貧w里面使用過(guò)的Sigmoid函數(shù)，即：

f (z) = \frac{1}{1 + e^{- z}}

　　　　還有后來(lái)出現(xiàn)的tanx, softmax,和ReLU等。通過(guò)使用不同的激活函數(shù)，神經(jīng)網(wǎng)絡(luò)的表達(dá)能力進(jìn)一步增強(qiáng)。對(duì)于各種常用的激活函數(shù)，我們?cè)诤竺嬖賹ｉT講。

2. DNN的基本結(jié)構(gòu)

　　　　上一節(jié)我們了解了神經(jīng)網(wǎng)絡(luò)基于感知機(jī)的擴(kuò)展，而DNN可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)。這個(gè)很多其實(shí)也沒有什么度量標(biāo)準(zhǔn), 多層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)DNN其實(shí)也是指的一個(gè)東西，當(dāng)然，DNN有時(shí)也叫做多層感知機(jī)（Multi-Layer perceptron,MLP）, 名字實(shí)在是多。后面我們講到的神經(jīng)網(wǎng)絡(luò)都默認(rèn)為DNN。

　　　　從DNN按不同層的位置劃分，DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層,如下圖示例，一般來(lái)說(shuō)第一層是輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。

　　　　層與層之間是全連接的，也就是說(shuō)，第i層的任意一個(gè)神經(jīng)元一定與第i+1層的任意一個(gè)神經(jīng)元相連。雖然DNN看起來(lái)很復(fù)雜，但是從小的局部模型來(lái)說(shuō)，還是和感知機(jī)一樣，即一個(gè)線性關(guān)系 $z = \sum w_{i} x_{i} + b$ 加上一個(gè)激活函數(shù) $σ (z)$ 。

　　　　由于DNN層數(shù)多，則我們的線性關(guān)系系數(shù) $w$ 和偏倚 $b$ 的數(shù)量也就是很多了。具體的參數(shù)在DNN是如何定義的呢？

　　　　首先我們來(lái)看看線性關(guān)系系數(shù) $w$ 的定義。以下圖一個(gè)三層的DNN為例，第二層的第4個(gè)神經(jīng)元到第三層的第2個(gè)神經(jīng)元的線性系數(shù)定義為 $w_{24}^{3}$ 。上標(biāo)3代表線性系數(shù) $w$ 所在的層數(shù)，而下標(biāo)對(duì)應(yīng)的是輸出的第三層索引2和輸入的第二層索引4。你也許會(huì)問(wèn)，為什么不是 $w_{42}^{3}$ , 而是 $w_{24}^{3}$ 呢？這主要是為了便于模型用于矩陣表示運(yùn)算，如果是 $w_{42}^{3}$ 而每次進(jìn)行矩陣運(yùn)算是 $w^{T} x + b$ ，需要進(jìn)行轉(zhuǎn)置。將輸出的索引放在前面的話，則線性運(yùn)算不用轉(zhuǎn)置,即直接為 $w x + b$ ?？偨Y(jié)下，第 $l - 1$ 層的第k個(gè)神經(jīng)元到第 $l$ 層的第j個(gè)神經(jīng)元的線性系數(shù)定義為 $w_{j k}^{l}$ 。注意，輸入層是沒有 $w$ 參數(shù)的。

　　　　再來(lái)看看偏倚 $b$ 的定義。還是以這個(gè)三層的DNN為例，第二層的第三個(gè)神經(jīng)元對(duì)應(yīng)的偏倚定義為 $b_{3}^{2}$ 。其中，上標(biāo)2代表所在的層數(shù)，下標(biāo)3代表偏倚所在的神經(jīng)元的索引。同樣的道理，第三個(gè)的第一個(gè)神經(jīng)元的偏倚應(yīng)該表示為 $b_{1}^{3}$ 。同樣的，輸入層是沒有偏倚參數(shù) $b$ 的。

3. DNN前向傳播算法數(shù)學(xué)原理

　　　　在上一節(jié)，我們已經(jīng)介紹了DNN各層線性關(guān)系系數(shù) $w$ ,偏倚 $b$ 的定義。假設(shè)我們選擇的激活函數(shù)是 $σ (z)$ ，隱藏層和輸出層的輸出值為 $a$ ，則對(duì)于下圖的三層DNN,利用和感知機(jī)一樣的思路，我們可以利用上一層的輸出計(jì)算下一層的輸出，也就是所謂的DNN前向傳播算法。

　　　　對(duì)于第二層的的輸出 $a_{1}^{2}, a_{2}^{2}, a_{3}^{2}$ ，我們有：

a_{1}^{2} = σ (z_{1}^{2}) = σ (w_{11}^{2} x_{1} + w_{12}^{2} x_{2} + w_{13}^{2} x_{3} + b_{1}^{2})

a_{2}^{2} = σ (z_{2}^{2}) = σ (w_{21}^{2} x_{1} + w_{22}^{2} x_{2} + w_{23}^{2} x_{3} + b_{2}^{2})

a_{3}^{2} = σ (z_{3}^{2}) = σ (w_{31}^{2} x_{1} + w_{32}^{2} x_{2} + w_{33}^{2} x_{3} + b_{3}^{2})

　　　　對(duì)于第三層的的輸出 $a_{1}^{3}$ ，我們有：

a_{1}^{3} = σ (z_{1}^{3}) = σ (w_{11}^{3} a_{1}^{2} + w_{12}^{3} a_{2}^{2} + w_{13}^{3} a_{3}^{2} + b_{1}^{3})

　　　　將上面的例子一般化，假設(shè)第 $l - 1$ 層共有m個(gè)神經(jīng)元，則對(duì)于第 $l$ 層的第j個(gè)神經(jīng)元的輸出 $a_{j}^{l}$ ，我們有：

a_{j}^{l} = σ (z_{j}^{l}) = σ (\sum_{k = 1}^{m} w_{j k}^{l} a_{k}^{l - 1} + b_{j}^{l})

　　　　其中，如果 $l = 2$ ,則對(duì)于的 $a_{k}^{1}$ 即為輸入層的 $x_{k}$ 。

　　　　從上面可以看出，使用代數(shù)法一個(gè)個(gè)的表示輸出比較復(fù)雜，而如果使用矩陣法則比較的簡(jiǎn)潔。假設(shè)第 $l - 1$ 層共有m個(gè)神經(jīng)元，而第 $l$ 層共有n個(gè)神經(jīng)元，則第 $l$ 層的線性系數(shù) $w$ 組成了一個(gè) $n \times m$ 的矩陣 $W^{l}$ , 第 $l$ 層的偏倚 $b$ 組成了一個(gè) $n \times 1$ 的向量 $b^{l}$ , 第 $l - 1$ 層的的輸出 $a$ 組成了一個(gè) $m \times 1$ 的向量 $a^{l - 1}$ ，第 $l$ 層的的未激活前線性輸出 $z$ 組成了一個(gè) $n \times 1$ 的向量 $z^{l}$ , 第 $l$ 層的的輸出 $a$ 組成了一個(gè) $n \times 1$ 的向量 $a^{l}$ 。則用矩陣法表示，第l層的輸出為：

a^{l} = σ (z^{l}) = σ (W^{l} a^{l - 1} + b^{l})

　　　　這個(gè)表示方法簡(jiǎn)潔漂亮，后面我們的討論都會(huì)基于上面的這個(gè)矩陣法表示來(lái)。

4. DNN前向傳播算法

　　　　有了上一節(jié)的數(shù)學(xué)推導(dǎo)，DNN的前向傳播算法也就不難了。所謂的DNN的前向傳播算法也就是利用我們的若干個(gè)權(quán)重系數(shù)矩陣 $W$ ,偏倚向量 $b$ 來(lái)和輸入值向量 $x$ 進(jìn)行一系列線性運(yùn)算和激活運(yùn)算，從輸入層開始，一層層的向后計(jì)算，一直到運(yùn)算到輸出層，得到輸出結(jié)果為值。

　　　　輸入: 總層數(shù)L，所有隱藏層和輸出層對(duì)應(yīng)的矩陣 $W$ ,偏倚向量 $b$ ，輸入值向量 $x$

　　　　輸出：輸出層的輸出 $a^{L}$

　　　　1）初始化 $a^{1} = x$

　　　　2) for $l = 2$ to $L$ , 計(jì)算：

a^{l} = σ (z^{l}) = σ (W^{l} a^{l - 1} + b^{l})

　　　　最后的結(jié)果即為輸出 $a^{L}$ 。

5. DNN前向傳播算法小結(jié)

　　　　單獨(dú)看DNN前向傳播算法，似乎沒有什么大用處，而且這一大堆的矩陣 $W$ ,偏倚向量 $b$ 對(duì)應(yīng)的參數(shù)怎么獲得呢？怎么得到最優(yōu)的矩陣 $W$ ,偏倚向量 $b$ 呢？這個(gè)我們?cè)谥vDNN的反向傳播算法時(shí)再講。而理解反向傳播算法的前提就是理解DNN的模型與前向傳播算法。這也是我們這一篇先講的原因。

（歡迎轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)注明出處。歡迎溝通交流： liujianping-ok@163.com）

參考資料：

1） Neural Networks and Deep Learning by By Michael Nielsen

2） Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

3） UFLDL Tutorial

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來(lái)自：昵稱59761374 > 《待分類》

舉報(bào)/認(rèn)領(lǐng)