小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

憑什么相信你,我的CNN模型?關(guān)于CNN模型可解釋性的思考

 InfoRich 2020-06-26
作者|bindog,https://www.jianshu.com/p/1d7b5c4ecb93
本文僅作學(xué)術(shù)分享,如有侵權(quán),請(qǐng)聯(lián)系后臺(tái)作刪文處理。

篇一 CAM和Grad-CAM

背景

在當(dāng)前深度學(xué)習(xí)的領(lǐng)域,有一個(gè)非常不好的風(fēng)氣:一切以經(jīng)驗(yàn)論,好用就行,不問(wèn)為什么,很少深究問(wèn)題背后的深層次原因。從長(zhǎng)遠(yuǎn)來(lái)看,這樣做就埋下了隱患。舉個(gè)例子,在1980年左右的時(shí)候,美國(guó)五角大樓啟動(dòng)了一個(gè)項(xiàng)目:用神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別坦克(當(dāng)時(shí)還沒有深度學(xué)習(xí)的概念),他們采集了100張隱藏在樹叢中的坦克照片,以及另100張僅有樹叢的照片。一組頂尖的研究人員訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別這兩種不同的場(chǎng)景,這個(gè)神經(jīng)網(wǎng)絡(luò)模型效果拔群,在測(cè)試集上的準(zhǔn)確率盡然達(dá)到了100%!于是這幫研究人員很高興的把他們的研究成果帶到了某個(gè)學(xué)術(shù)會(huì)議上,會(huì)議上有個(gè)哥們提出了質(zhì)疑:你們的訓(xùn)練數(shù)據(jù)是怎么采集的?后來(lái)進(jìn)一步調(diào)查發(fā)現(xiàn),原來(lái)那100張有坦克的照片都是在陰天拍攝的,而另100張沒有坦克的照片是在晴天拍攝的……也就是說(shuō),五角大樓花了那么多的經(jīng)費(fèi),最后就得到了一個(gè)用來(lái)區(qū)分陰天和晴天的分類模型。

當(dāng)然這個(gè)故事應(yīng)該是虛構(gòu)的,不過(guò)它很形象的說(shuō)明了什么叫“數(shù)據(jù)泄露”,這在以前的Kaggle比賽中也曾經(jīng)出現(xiàn)過(guò)。大家不妨思考下,假如我們手里現(xiàn)在有一家醫(yī)院所有醫(yī)生和護(hù)士的照片,我們希望訓(xùn)練出一個(gè)圖片分類模型,能夠準(zhǔn)確的區(qū)分出醫(yī)生和護(hù)士。當(dāng)模型訓(xùn)練完成之后,準(zhǔn)確率達(dá)到了99%,你認(rèn)為這個(gè)模型可靠不可靠呢?大家可以自己考慮下這個(gè)問(wèn)題。

好在學(xué)術(shù)界的一直有人關(guān)注著這個(gè)問(wèn)題,并引申出一個(gè)很重要的分支,就是模型的可解釋性問(wèn)題。那么本文從就從近幾年來(lái)的研究成果出發(fā),談?wù)?span>如何讓看似黑盒的CNN模型“說(shuō)話”,對(duì)它的分類結(jié)果給出一個(gè)解釋。注意,本文所說(shuō)的“解釋”,與我們?nèi)粘Uf(shuō)的“解釋”內(nèi)涵不一樣:例如我們給孩子一張貓的圖片,讓他解釋為什么這是一只貓,孩子會(huì)說(shuō)因?yàn)樗屑舛?、胡須等。而我們讓CNN模型解釋為什么將這張圖片的分類結(jié)果為貓,只是讓它標(biāo)出是通過(guò)圖片的哪些像素作出判斷的。(嚴(yán)格來(lái)說(shuō),這樣不能說(shuō)明模型是否真正學(xué)到了我們?nèi)祟愃斫獾摹疤卣鳌?,因?yàn)槟P退鶎W(xué)習(xí)到的特征本來(lái)就和人類的認(rèn)知有很大區(qū)別。何況,即使只標(biāo)注出是通過(guò)哪些像素作出判斷就已經(jīng)有很高價(jià)值了,如果標(biāo)注出的像素集中在地面上,而模型的分類結(jié)果是貓,顯然這個(gè)模型是有問(wèn)題的)

0x01 反卷積和導(dǎo)向反向傳播

關(guān)于CNN模型的可解釋問(wèn)題,很早就有人開始研究了,姑且稱之為CNN可視化吧。比較經(jīng)典的有兩個(gè)方法,反卷積(Deconvolution)和導(dǎo)向反向傳播(Guided-backpropagation),通過(guò)它們,我們能夠一定程度上“看到”CNN模型中較深的卷積層所學(xué)習(xí)到的一些特征。當(dāng)然這兩個(gè)方法也衍生出了其他很多用途,以反卷積為例,它在圖像語(yǔ)義分割中有著非常重要的作用。(ps:目前網(wǎng)上有一些關(guān)于反卷積的文章,我感覺沒有說(shuō)的特別到位的,當(dāng)然也有可能是大家理解的角度不同,但是另外一些解讀那就是完全錯(cuò)誤的了,包括某乎。不得不說(shuō),真正要深入理解反卷積還是要去啃論文,很多人嫌麻煩總是看些二手的資料,得到的認(rèn)識(shí)自然是有問(wèn)題的。當(dāng)然這些都是題外話,我也有寫一篇關(guān)于反卷積的文章的計(jì)劃??匆院蟮臅r(shí)間安排)

從本質(zhì)上說(shuō),反卷積和導(dǎo)向反向傳播的基礎(chǔ)都是反向傳播,其實(shí)說(shuō)白了就是對(duì)輸入進(jìn)行求導(dǎo),三者唯一的區(qū)別在于反向傳播過(guò)程中經(jīng)過(guò)ReLU層時(shí)對(duì)梯度的不同處理策略。在這篇論文(https:///pdf/1412.6806.pdf)中有著非常詳細(xì)的說(shuō)明,如下圖所示:

雖然過(guò)程上的區(qū)別看起來(lái)沒有非常微小,但是在最終的效果上卻有很大差別。如下圖所示:

使用普通的反向傳播得到的圖像噪聲較多,基本看不出模型的學(xué)到了什么東西。使用反卷積可以大概看清楚貓和狗的輪廓,但是有大量噪聲在物體以外的位置上。導(dǎo)向反向傳播基本上沒有噪聲,特征很明顯的集中貓和狗的身體部位上。

雖然借助反卷積和導(dǎo)向反向傳播我們“看到”了CNN模型神秘的內(nèi)部,但是卻并不能拿來(lái)解釋分類的結(jié)果,因?yàn)樗鼈儗?duì)類別并不敏感,直接把所有能提取的特征都展示出來(lái)了。在剛才的圖片中,模型給出的分類結(jié)果是貓,但是通過(guò)反卷積和導(dǎo)向反向傳播展示出來(lái)的結(jié)果卻同時(shí)包括了狗的輪廓。換句話說(shuō),我們并不知道模型到底是通過(guò)哪塊區(qū)域判斷出當(dāng)前圖片是一只貓的。要解決這個(gè)問(wèn)題,我們必須考慮其他辦法。

0x02 CAM

大家在電視上應(yīng)該都看過(guò)熱成像儀生成的圖像,就像下面這張圖片。

圖像中動(dòng)物或人因?yàn)樯l(fā)出熱量,所以能夠清楚的被看到。接下來(lái)要介紹的CAM(Class Activation Mapping)產(chǎn)生的CAM圖與之類似,當(dāng)我們需要模型解釋其分類的原因時(shí),它以熱力圖(Saliency Map,我不知道怎么翻譯最適合,叫熱力圖比較直觀一點(diǎn))的形式展示它的決策依據(jù),如同在黑夜中告訴我們哪有發(fā)熱的物體。

對(duì)一個(gè)深層的卷積神經(jīng)網(wǎng)絡(luò)而言,通過(guò)多次卷積和池化以后,它的最后一層卷積層包含了最豐富的空間和語(yǔ)義信息,再往下就是全連接層和softmax層了,其中所包含的信息都是人類難以理解的,很難以可視化的方式展示出來(lái)。所以說(shuō),要讓卷積神經(jīng)網(wǎng)絡(luò)的對(duì)其分類結(jié)果給出一個(gè)合理解釋,必須要充分利用好最后一個(gè)卷積層。

CAM借鑒了很著名的論文Network in Network(https:///abs/1312.4400)_中的思路,利用GAP(Global Average Pooling)替換掉了全連接層??梢园袵AP視為一個(gè)特殊的average pool層,只不過(guò)其pool size和整個(gè)特征圖一樣大,其實(shí)說(shuō)白了就是求每張?zhí)卣鲌D所有像素的均值。

GAP的優(yōu)點(diǎn)在NIN的論文中說(shuō)的很明確了:由于沒有了全連接層,輸入就不用固定大小了,因此可支持任意大小的輸入;此外,引入GAP更充分的利用了空間信息,且沒有了全連接層的各種參數(shù),魯棒性強(qiáng),也不容易產(chǎn)生過(guò)擬合;還有很重要的一點(diǎn)是,在最后的 mlpconv層(也就是最后一層卷積層)強(qiáng)制生成了和目標(biāo)類別數(shù)量一致的特征圖,經(jīng)過(guò)GAP以后再通過(guò)softmax層得到結(jié)果,這樣做就給每個(gè)特征圖賦予了很明確的意義,也就是categories confidence maps。如果你當(dāng)時(shí)不理解這個(gè)categories confidence maps是個(gè)什么東西,結(jié)合CAM應(yīng)該就能很快理解。

我們重點(diǎn)看下經(jīng)過(guò)GAP之后與輸出層的連接關(guān)系(暫不考慮softmax層),實(shí)質(zhì)上也是就是個(gè)全連接層,只不過(guò)沒有了偏置項(xiàng),如圖所示:

從圖中可以看到,經(jīng)過(guò)GAP之后,我們得到了最后一個(gè)卷積層每個(gè)特征圖的均值,通過(guò)加權(quán)和得到輸出(實(shí)際中是softmax層的輸入)。需要注意的是,對(duì)每一個(gè)類別C,每個(gè)特征圖k的均值都有一個(gè)對(duì)應(yīng)的,記為。CAM的基本結(jié)構(gòu)就是這樣了,下面就是和普通的CNN模型一樣訓(xùn)練就可以了。訓(xùn)練完成后才是重頭戲:我們?nèi)绾蔚玫揭粋€(gè)用于解釋分類結(jié)果的熱力圖呢?其實(shí)非常簡(jiǎn)單,比如說(shuō)我們要解釋為什么分類的結(jié)果是羊駝,我們把羊駝這個(gè)類別對(duì)應(yīng)的所有取出來(lái),求出它們與自己對(duì)應(yīng)的特征圖的加權(quán)和即可。由于這個(gè)結(jié)果的大小和特征圖是一致的,我們需要對(duì)它進(jìn)行上采樣,疊加到原圖上去,如下所示。

這樣,CAM以熱力圖的形式告訴了我們,模型是重點(diǎn)通過(guò)哪些像素確定這個(gè)圖片是羊駝了。

0x03 Grad-CAM方法

前面看到CAM的解釋效果已經(jīng)很不錯(cuò)了,但是它有一個(gè)致使傷,就是它要求修改原模型的結(jié)構(gòu),導(dǎo)致需要重新訓(xùn)練該模型,這大大限制了它的使用場(chǎng)景。如果模型已經(jīng)上線了,或著訓(xùn)練的成本非常高,我們幾乎是不可能為了它重新訓(xùn)練的。于是乎,Grad-CAM橫空出世,解決了這個(gè)問(wèn)題。

Grad-CAM的基本思路和CAM是一致的,也是通過(guò)得到每對(duì)特征圖對(duì)應(yīng)的權(quán)重,最后求一個(gè)加權(quán)和。但是它與CAM的主要區(qū)別在于求權(quán)重的過(guò)程。CAM通過(guò)替換全連接層為GAP層,重新訓(xùn)練得到權(quán)重,而Grad-CAM另辟蹊徑,用梯度的全局平均來(lái)計(jì)算權(quán)重。事實(shí)上,經(jīng)過(guò)嚴(yán)格的數(shù)學(xué)推導(dǎo),Grad-CAM與CAM計(jì)算出來(lái)的權(quán)重是等價(jià)的。為了和CAM的權(quán)重做區(qū)分,定義Grad-CAM中第k個(gè)特征圖對(duì)類別c的權(quán)重為,可通過(guò)下面的公式計(jì)算:


其中,Z為特征圖的像素個(gè)數(shù),是對(duì)應(yīng)類別c的分?jǐn)?shù)(在代碼中一般用logits表示,是輸入softmax層之前的值),表示第k個(gè)特征圖中,(i,j)位置處的像素值。求得類別對(duì)所有特征圖的權(quán)重后,求其加權(quán)和就可以得到熱力圖。


Grad-CAM的整體結(jié)構(gòu)如下圖所示:

注意這里和CAM的另一個(gè)區(qū)別是,Grad-CAM對(duì)最終的加權(quán)和加了一個(gè)ReLU,加這么一層ReLU的原因在于我們只關(guān)心對(duì)類別c有正影響的那些像素點(diǎn),如果不加ReLU層,最終可能會(huì)帶入一些屬于其它類別的像素,從而影響解釋的效果。使用Grad-CAM對(duì)分類結(jié)果進(jìn)行解釋的效果如下圖所示:

除了直接生成熱力圖對(duì)分類結(jié)果進(jìn)行解釋,Grad-CAM還可以與其他經(jīng)典的模型解釋方法如導(dǎo)向反向傳播相結(jié)合,得到更細(xì)致的解釋。

這樣就很好的解決了反卷積和導(dǎo)向反向傳播對(duì)類別不敏感的問(wèn)題。當(dāng)然,Grad-CAM的神奇之處還不僅僅局限在對(duì)圖片分類的解釋上,任何與圖像相關(guān)的深度學(xué)習(xí)任務(wù),只要用到了CNN,就可以用Grad-CAM進(jìn)行解釋,如圖像描述(Image Captioning),視覺問(wèn)答(Visual Question Answering)等,所需要做的只不過(guò)是把y^c換為對(duì)應(yīng)模型中的那個(gè)值即可。限于篇幅,本文就不展開了,更多細(xì)節(jié),強(qiáng)烈建議大家去讀讀論文(https:///abs/1610.02391),包括Grad-CAM與CAM權(quán)重等價(jià)的證明也在論文中。如果你只是想在自己的模型中使用Grad-CAM,可以參考這個(gè)鏈接(https://github.com/Ankush96/grad-cam.tensorflow),熟悉tensorflow的話實(shí)現(xiàn)起來(lái)真的非常簡(jiǎn)單,一看就明白。

0x04 擴(kuò)展

其實(shí)無(wú)論是CAM還是Grad-CAM,除了用來(lái)對(duì)模型的預(yù)測(cè)結(jié)果作解釋外,還有一個(gè)非常重要的功能:就是用于物體檢測(cè)。大家都知道現(xiàn)在物體檢測(cè)是一個(gè)非常熱門的方向,它要求在一張圖片中準(zhǔn)確的識(shí)別出多個(gè)物體,同時(shí)用方框?qū)⑵淇蚱饋?lái)。物體檢測(cè)對(duì)訓(xùn)練數(shù)據(jù)量的要求是非常高的,目前常被大家使用的有 PASCAL、COCO,如果需要更多數(shù)據(jù),或者想要識(shí)別的物體在這些數(shù)據(jù)庫(kù)中沒有話,那就只能人工來(lái)進(jìn)行標(biāo)注了,工作量可想而知。

仔細(xì)想想我們不難發(fā)現(xiàn),Grad-CAM在給出解釋的同時(shí),不正好完成了標(biāo)注物體位置的工作嗎?雖然其標(biāo)注的位置不一定非常精確,也不一定完整覆蓋到物體的每一個(gè)像素。但只要有這樣一個(gè)大致的信息,我們就可以得到物體的位置,更具有誘惑力的是,我們不需要人工標(biāo)注的方框就可以做到了。

順便吐槽下當(dāng)前比較火的幾個(gè)物體檢測(cè)模型如Faster-RCNN、SSD等,無(wú)一例外都有一個(gè)Region Proposal階段,相當(dāng)于“胡亂”在圖片中畫各種大小的方框,然后再來(lái)判斷方框中是否有物體存在。雖然效果很好,但是根本就是違背人類直覺的。相比之下,Grad-CAM這種定位方式似乎更符合人類的直覺。當(dāng)然這些純屬我個(gè)人的瞎扯,業(yè)務(wù)場(chǎng)景中SSD還是非常好用的,肯定要比Grad-CAM這種弱監(jiān)督條件下的定位要強(qiáng)的多。

0x05 小結(jié)

試想如果當(dāng)時(shí)五角大樓的研究人員知道本文介紹的這些方法,并對(duì)他們的分類結(jié)果用熱力圖進(jìn)行解釋,相信他們能很快發(fā)現(xiàn)熱力圖的紅色區(qū)域主要集中在天空上,顯然說(shuō)明模型并沒有真正學(xué)到如何判別一輛坦克,最后也就不至于鬧笑話了。

回顧本文所介紹的這些方法,它們都有一個(gè)共同前提:即模型對(duì)我們來(lái)說(shuō)是白盒,我們清楚的知道模型內(nèi)部的所有細(xì)節(jié),能夠獲取任何想要的數(shù)據(jù),甚至可以修改它的結(jié)構(gòu)。但如果我們面對(duì)的是一個(gè)黑盒,對(duì)其內(nèi)部一無(wú)所知,只能提供一個(gè)輸入并得到相應(yīng)的輸出值(比如別人的某個(gè)模型部署在線上,我們只有使用它的權(quán)利),在這種情況下,我們?nèi)绾闻袛噙@個(gè)模型是否靠譜?能不能像Grad-CAM那樣對(duì)分類結(jié)果給出一個(gè)解釋呢?歡迎關(guān)注篇二。

篇二 萬(wàn)金油LIME

0x00 背景

在篇一中,我們介紹了多種解釋CNN模型的分類結(jié)果的方法,也提到了他們共同的局限性:當(dāng)模型對(duì)我們來(lái)說(shuō)完全為一個(gè)黑盒時(shí)就無(wú)能為力了。針對(duì)這個(gè)問(wèn)題,本文介紹另一套辦法,即使我們對(duì)模型一無(wú)所知也能夠?qū)λ男袨樽鞒鼋忉尅?/p>

0x01 LIME

LIME是KDD 2016上一篇非常漂亮的論文,思路簡(jiǎn)潔明了,適用性廣,理論上可以解釋任何分類器給出的結(jié)果。其核心思想是:對(duì)一個(gè)復(fù)雜的分類模型(黑盒),在局部擬合出一個(gè)簡(jiǎn)單的可解釋模型,例如線性模型、決策樹等等。這樣說(shuō)比較籠統(tǒng),我們從論文中的一張示例圖來(lái)解釋:

如圖所示,紅色和藍(lán)色區(qū)域表示一個(gè)復(fù)雜的分類模型(黑盒),圖中加粗的紅色十字表示需要解釋的樣本,顯然,我們很難從全局用一個(gè)可解釋的模型(例如線性模型)去逼近擬合它。但是,當(dāng)我們把關(guān)注點(diǎn)從全局放到局部時(shí),可以看到在某些局部是可以用線性模型去擬合的。具體來(lái)說(shuō),我們從加粗的紅色十字樣本周圍采樣,所謂采樣就是對(duì)原始樣本的特征做一些擾動(dòng),將采樣出的樣本用分類模型分類并得到結(jié)果(紅十字和藍(lán)色點(diǎn)),同時(shí)根據(jù)采樣樣本與加粗紅十字的距離賦予權(quán)重(權(quán)重以標(biāo)志的大小表示)。虛線表示通過(guò)這些采樣樣本學(xué)到的局部可解釋模型,在這個(gè)例子中就是一個(gè)簡(jiǎn)單的線性分類器。在此基礎(chǔ)上,我們就可以依據(jù)這個(gè)局部的可解釋模型對(duì)這個(gè)分類結(jié)果進(jìn)行解釋了。

一個(gè)看似復(fù)雜的模型通過(guò)我們巧妙的轉(zhuǎn)換,就能夠從局部上得到一個(gè)讓人類理解的解釋模型,光這樣說(shuō)還是顯得有些空洞,具體來(lái)看看LIME在圖像識(shí)別上的應(yīng)用。我們希望LIME最好能生成和Grad-CAM一樣的熱力圖解釋。但是由于LIME不介入模型的內(nèi)部,需要不斷的擾動(dòng)樣本特征,這里所謂的樣本特征就是指圖片中一個(gè)一個(gè)的像素了。仔細(xì)一想就知道存在一個(gè)問(wèn)題,LIME采樣的特征空間太大的話,效率會(huì)非常低,而一張普通圖片的像素少說(shuō)也有上萬(wàn)個(gè)。若直接把每個(gè)像素視為一個(gè)特征,采樣的空間過(guò)于龐大,嚴(yán)重影響效率;如果少采樣一些,最終效果又會(huì)比較差。

所以針對(duì)圖像任務(wù)使用LIME時(shí)還需要一些特別的技巧,也就是考慮圖像的空間相關(guān)和連續(xù)的特性。不考慮一些極小特例的情況下,圖片中的物體一般都是由一個(gè)或幾個(gè)連續(xù)的像素塊構(gòu)成,所謂像素塊是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊,我們稱之為超像素。相應(yīng)的,將圖片分割成一個(gè)個(gè)超像素的算法稱為超像素分割算法,比較典型的有SLIC超像素分割算法還有quickshit等,這些算法在scikit-image庫(kù)中都已經(jīng)實(shí)現(xiàn)好了,quickshit分割后如圖所示:

從特征的角度考慮,實(shí)際上就不再以單個(gè)像素為特征,而是以超像素為特征,整個(gè)圖片的特征空間就小了很多,采樣的過(guò)程也變的簡(jiǎn)單了許多。更具體的說(shuō),圖像上的采樣過(guò)程就是隨機(jī)保留一部分超像素,隱藏另一部分超像素,如下所示:

從圖中可以很直觀的看出這么做的意義:找出對(duì)分類結(jié)果影響最大的幾個(gè)超像素,也就是說(shuō)模型僅通過(guò)這幾個(gè)像素塊就已經(jīng)能夠自信的做出預(yù)測(cè)。這里還涉及到一個(gè)特征選擇的問(wèn)題,畢竟我們不可能窮舉特征空間所有可能的樣本,所以需要在有限個(gè)樣本中找出那些關(guān)鍵的超像素塊。雖然這部分沒有在論文中過(guò)多提及,但在LIME的代碼實(shí)現(xiàn)中是一個(gè)重要部分,實(shí)現(xiàn)了前向搜索(forward selection)、Lasso和嶺回歸(ridge regression)等特征選擇方式,默認(rèn)當(dāng)特征數(shù)小于等于6時(shí)采用前向搜索,其他情況采用嶺回歸。

整體流程如圖所示:

和Grad-CAM一樣,LIME同樣可以對(duì)其他可能的分類結(jié)果進(jìn)行解釋。

LIME除了能夠?qū)D像的分類結(jié)果進(jìn)行解釋外,還可以應(yīng)用到自然語(yǔ)言處理的相關(guān)任務(wù)中,如主題分類、詞性標(biāo)注等。因?yàn)長(zhǎng)IME本身的出發(fā)點(diǎn)就是模型無(wú)關(guān)的,具有廣泛的適用性。

雖然LIME方法雖然有著很強(qiáng)的通用性,效果也挺好,但是在速度上卻遠(yuǎn)遠(yuǎn)不如Grad-CAM那些方法來(lái)的快。當(dāng)然這也是可以理解的,畢竟LIME在采樣完成后,每張采樣出來(lái)的圖片都要通過(guò)原模型預(yù)測(cè)一次結(jié)果。

說(shuō)來(lái)也巧,在寫這篇文章的時(shí)候,AAAI 2018的論文放出來(lái)了,其中有LIME作者的后續(xù)研究成果Anchors,順道去了解了一下。Anchors指的是復(fù)雜模型在局部所呈現(xiàn)出來(lái)的很強(qiáng)的規(guī)則性的規(guī)律,注意和LIME的區(qū)別,LIME是在局部建立一個(gè)可理解的線性可分模型,而Anchors的目的是建立一套更精細(xì)的規(guī)則系統(tǒng)。不過(guò)看過(guò)論文以后感覺更多是在和文本相關(guān)的任務(wù)上有不錯(cuò)的表現(xiàn),在圖像相關(guān)的任務(wù)上并沒有什么特別另人耳目一新的東西,只是說(shuō)明了在Anchor(圖像中指若干個(gè)超像素)固定的情況下,其他像素?zé)o論替換為什么,現(xiàn)有的模型都會(huì)罔顧人類常識(shí),自信的做出錯(cuò)誤判斷。這部分內(nèi)容由于前幾年看多了Adversarial Samples,已經(jīng)見怪不怪了。

0x02 小結(jié)

實(shí)際上在模型可解釋性這塊還有其他很多相關(guān)研究,包括最近的AAAI 2018上也有幾篇這方面的文章,如Beyond Sparsity: Tree Regularization of Deep Models for Interpretability,這都在一定程度上說(shuō)明,業(yè)內(nèi)還是重視這個(gè)方向的。尤其在涉及到醫(yī)療、自動(dòng)駕駛等人命關(guān)天的應(yīng)用場(chǎng)合,可解釋性顯得尤為重要,最后也希望更多感興趣的同學(xué)加入到這個(gè)行列來(lái)~

參考資料

  • Deconvolution Visualizing and Understanding Convolutional Networks
  • Guided-backpropagation Striving for Simplicity: The All Convolutional Net
  • CAM Learning Deep Features for Discriminative Localization
  • Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
  • Yes, Deep Networks are great, but are they Trustworthy?
  • CAM的tensorflow實(shí)現(xiàn)
  • Grad-CAM的tensorflow實(shí)現(xiàn)
  • 'Why Should I Trust You?': Explaining the Predictions of Any Classifier
  • Introduction to Local Interpretable Model-Agnostic Explanations (LIME)

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多