轉(zhuǎn)載地址：

http://fcst./CN/abstract/abstract2521.shtml

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)和人工智能研究的最新趨勢(shì)，作為一個(gè)十余年來快速發(fā)展的嶄新領(lǐng)域，越來越受到研究者的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型是深度學(xué)習(xí)模型中最重要的一種經(jīng)典結(jié)構(gòu)，其性能在近年來深度學(xué)習(xí)任務(wù)上逐步提高。由于可以自動(dòng)學(xué)習(xí)樣本數(shù)據(jù)的特征表示，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割以及自然語(yǔ)言處理等領(lǐng)域。首先分析了典型卷積神經(jīng)網(wǎng)絡(luò)模型為提高其性能增加網(wǎng)絡(luò)深度以及寬度的模型結(jié)構(gòu)，分析了采用注意力機(jī)制進(jìn)一步提升模型性能的網(wǎng)絡(luò)結(jié)構(gòu)，然后歸納分析了目前的特殊模型結(jié)構(gòu)，最后總結(jié)并討論了卷積神經(jīng)網(wǎng)絡(luò)在相關(guān)領(lǐng)域的應(yīng)用，并對(duì)未來的研究方向進(jìn)行展望。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN） 在計(jì)算機(jī)視覺[1- 5]、自然語(yǔ)言處理[6- 7]等領(lǐng)域已被廣泛 應(yīng)用。在卷積神經(jīng)網(wǎng)絡(luò)興起之前，主要依靠人工針對(duì)特定的問題設(shè)計(jì)算法，比如采用 Sobel、LoG（Laplacian of Gaussian）、Canny、Prewitt 等[8- 11]算子進(jìn)行邊 緣 檢 測(cè) ，采 用 Harris、DoG（difference of Gaussian）、FAST（features from accelerated segment test）、SIFT （scale invariant feature transform）等[12-15]用于角點(diǎn)等特 征檢測(cè)，并且采用傳統(tǒng)分類器如 K近域、支持向量機(jī)、 稀疏分類器等[16- 18]進(jìn)行分類。特征提取和分類器的 設(shè)計(jì)是圖片分類等任務(wù)的關(guān)鍵，對(duì)分類結(jié)果的好壞 有著最為直接的影響。卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)地從 訓(xùn)練樣本中學(xué)習(xí)特征并且分類，解決了人工特征設(shè)計(jì) 的局限性。神經(jīng)網(wǎng)絡(luò)的思想起源于1943年McCulloch 和 Pitts 提出的神經(jīng)元模型[19]，簡(jiǎn)稱 MCP 神經(jīng)元模 型。它是利用計(jì)算機(jī)來模擬人的神經(jīng)元反應(yīng)的過 程，具有開創(chuàng)性意義。此模型將神經(jīng)元反應(yīng)簡(jiǎn)化為 三個(gè)過程：輸入信號(hào)線性加權(quán)、求和、非線性激活。1958 年到 1969 年為神經(jīng)網(wǎng)絡(luò)模型發(fā)展的第一階段， 稱為第一代神經(jīng)網(wǎng)絡(luò)模型。在 1958 年 Rosenblatt 第 一次在 MCP 模型上增加學(xué)習(xí)功能并應(yīng)用于機(jī)器學(xué) 習(xí)，發(fā)明了感知器算法[20]，該算法使用 MCP 模型能夠 采用梯度下降法從訓(xùn)練樣本中自動(dòng)學(xué)習(xí)并更新權(quán) 值，并能對(duì)輸入的多維數(shù)據(jù)進(jìn)行二分類，其理論與實(shí) 踐的效果引起了神經(jīng)網(wǎng)絡(luò)研究的第一次浪潮。1969 年美國(guó)數(shù)學(xué)家及人工智能先驅(qū) Minsky在其著作中證 明感知器本質(zhì)上是一種線性模型[21]，只能處理線性分 類問題，最簡(jiǎn)單的異或問題都無法正確分類，因此神 經(jīng)網(wǎng)絡(luò)的研究也陷入了近二十年的停滯。1986 年到 1988 年是神經(jīng)網(wǎng)絡(luò)模型發(fā)展的第二階段，稱為第二 代神經(jīng)網(wǎng)絡(luò)模型。1986 年 Rumelhart 等人提出了誤 差反向傳播算法（back propagation algorithm，BP）[22]。

BP 算法采用 Sigmoid 進(jìn)行非線性映射，有效解決了 非線性分類和學(xué)習(xí)的問題，掀起了神經(jīng)網(wǎng)絡(luò)第二次 研究高潮。BP 網(wǎng)絡(luò)是迄今為止最常用的神經(jīng)網(wǎng)絡(luò)， 目前大多神經(jīng)網(wǎng)絡(luò)模型都是采用 BP網(wǎng)絡(luò)或者其變化 形式。早期神經(jīng)網(wǎng)絡(luò)缺少嚴(yán)格數(shù)學(xué)理論的支撐，并 且在此后的近十年時(shí)間，由于其容易過擬合以及訓(xùn) 練速度慢，并且在 1991 年反向傳播算法被指出在后 向傳播的過程中存在梯度消失的問題[23]，神經(jīng)網(wǎng)絡(luò)再 次慢慢淡出人們的視線。

1998 年 LeCun 發(fā)明了 LeNet-5，并在 Mnist 數(shù)據(jù) 集達(dá)到 98%以上的識(shí)別準(zhǔn)確率，形成影響深遠(yuǎn)的卷積 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但此時(shí)神經(jīng)網(wǎng)絡(luò)的發(fā)展正處于下坡 時(shí)期，沒有引起足夠的重視。從感知機(jī)提出到 2006 年以前，此階段稱為淺層 學(xué)習(xí)，2006 年至今是神經(jīng)網(wǎng)絡(luò)的第三階段，稱為深度 學(xué)習(xí)。深度學(xué)習(xí)分為快速發(fā)展期（2006—2012 年）和 爆發(fā)期（2012 年至今），2006 年 Hinton 提出無監(jiān)督的 “逐層初始化”策略以降低訓(xùn)練難度，并提出具有多 隱層的深度信念網(wǎng)絡(luò)（deep belief network，DBN）[24]， 從此拉開了深度學(xué)習(xí)大幕。

隨著深度學(xué)習(xí)理論的研究和發(fā)展，研究人員提 出了一系列卷積神經(jīng)網(wǎng)絡(luò)模型。為了比較不同模型 的質(zhì)量，收集并整理了文獻(xiàn)中模型在分類任務(wù)上的 識(shí)別率，如圖 1所示。由于部分模型并未在 ImageNet 數(shù)據(jù)集測(cè)試識(shí)別率，給出了其在 Cifar-100 或 Mnist數(shù) 據(jù)集上的識(shí)別率。其中，Top-1識(shí)別率指的是 CNN 模型預(yù)測(cè)出最大概率的分類為正確類別的概率。Top-5 識(shí)別率指的是 CNN 模型預(yù)測(cè)出最大概率的前 5 個(gè)分 類里有正確類別的概率。

2012 年，由 Alex Krizhevshy 提出的 AlexNet給卷 積神經(jīng)網(wǎng)絡(luò)迎來了歷史性的突破。AlexNet 在百萬(wàn) 量級(jí)的 ImageNet數(shù)據(jù)集上對(duì)于圖像分類的精度大幅 度超過傳統(tǒng)方法，一舉摘下了視覺領(lǐng)域競(jìng)賽 ILSVRC2012的桂冠。自 AlexNet之后，研究者從卷積神經(jīng)網(wǎng) 絡(luò)的結(jié)構(gòu)出發(fā)進(jìn)行創(chuàng)新，主要有簡(jiǎn)單的堆疊結(jié)構(gòu)模 型，比如 ZFNet、VGGNet、MSRNet。堆疊結(jié)構(gòu)模型通 過改進(jìn)卷積神經(jīng)的基本單元并將其堆疊以增加網(wǎng)絡(luò) 的深度提升模型性能，但僅在深度這單一維度提升 模 型 性 能 具 有 瓶 頸 ；后 來 在 NIN（network in network）模型提出使用多個(gè)分支進(jìn)行計(jì)算的網(wǎng)中網(wǎng)結(jié) 構(gòu)模型，使寬度和深度都可增加，具有代表性的模型 有 Inception 系列模型等；隨著模型深度以及寬度的 增加，網(wǎng)絡(luò)模型出現(xiàn)參數(shù)量過多、過擬合以及難以訓(xùn) 練等諸多問題。ResNet 提出殘差結(jié)構(gòu)后，為更深層 網(wǎng)絡(luò)構(gòu)建提出解決方案，隨即涌現(xiàn)出很多殘差結(jié)構(gòu)模 型，比如基于 ResNet 改進(jìn)后的 ResNeXt、DenseNet、 PolyNet、WideResNet，并且 Inception也引入殘差結(jié)構(gòu) 形成了 Inception-ResNet-block，以及基于殘差結(jié)構(gòu)并 改進(jìn)其特征通道數(shù)量增加方式的 DPResNet；與之前 在空間維度上提升模型性能的方法相比，注意力機(jī) 制模型通過通道注意力和空間注意力機(jī)制可以根據(jù) 特征通道重要程度進(jìn)一步提升模型性能，典型的模 型為 SENet、SKNet 以及 CBAM（convolutional block attention module）。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型性能十分優(yōu)秀，已經(jīng) 應(yīng)用到各個(gè)領(lǐng)域，具有舉足輕重的地位。由于卷積 神經(jīng)網(wǎng)絡(luò)的模型十分豐富，有些模型的結(jié)構(gòu)或用途 比較特殊，在本文中統(tǒng)稱為特殊模型，包括具有簡(jiǎn)單的結(jié)構(gòu)和很少參數(shù)量的擠壓網(wǎng)絡(luò)模型 SqueezeNet，采 用無監(jiān)督學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)模型（generative adversarial network，GAN），其具有完全相同的兩路網(wǎng)絡(luò) 結(jié)構(gòu)以及權(quán)值的孿生神經(jīng)網(wǎng)絡(luò)模型 SiameseNet，以 及通過線性運(yùn)算生成其他冗余特征圖的幽靈網(wǎng)絡(luò) GhostNet。由于卷積神經(jīng)網(wǎng)絡(luò)的一系列突破性研究成果， 并根據(jù)不同的任務(wù)需求不斷改進(jìn)，使其在目標(biāo)檢測(cè)、 語(yǔ)義分割、自然語(yǔ)言處理等不同的任務(wù)中均獲得了 成功的應(yīng)用。

基于以上認(rèn)識(shí)，本文首先概括性地介紹了卷積 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，然后分析了典型的卷積神經(jīng) 網(wǎng)絡(luò)模型通過堆疊結(jié)構(gòu)、網(wǎng)中網(wǎng)結(jié)構(gòu)、殘差結(jié)構(gòu)以及 注意力機(jī)制提升模型性能的方法，并進(jìn)一步介紹了 特殊的卷積神經(jīng)網(wǎng)絡(luò)模型及其結(jié)構(gòu)，最后討論了卷 積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)、語(yǔ)義分割以及自然語(yǔ)言處 理領(lǐng)域的典型應(yīng)用，并對(duì)當(dāng)前深度卷積神經(jīng)網(wǎng)絡(luò)存 在的問題以及未來發(fā)展方向進(jìn)行探討。

轉(zhuǎn)載文章，如有侵權(quán)，請(qǐng)聯(lián)系我刪除