新智元報(bào)道 編輯：肖琴 【新智元導(dǎo)讀】Facebook AI 研究總監(jiān) Yann LeCun 近日在普林斯頓高等研究所進(jìn)行了一次演講，題為《深度學(xué)習(xí)認(rèn)識論》，重點(diǎn)討論了深度學(xué)習(xí)思想的早期歷史和動(dòng)態(tài)，強(qiáng)調(diào)理論理解在深度學(xué)習(xí)研究中的重要意義。更好的理論理解，將有助于深度學(xué)習(xí)研究的發(fā)展。 近日，F(xiàn)acebook AI 研究總監(jiān) Yann LeCun 在普林斯頓高等研究所進(jìn)行了一次演講，題為《深度學(xué)習(xí)認(rèn)識論》(The Epistemology of Deep Learning)，重點(diǎn)討論了深度學(xué)習(xí)思想的早期歷史和動(dòng)態(tài)。 LeCun 認(rèn)為，深度學(xué)習(xí)在一定程度上是一門 “工程科學(xué)”，我們通過理論洞見、直覺、靈感和經(jīng)驗(yàn)探索來創(chuàng)造新的工件。但是理解深度學(xué)習(xí)在一定程度上是 “物理科學(xué)”，需要理解這個(gè)工件的一般屬性。 科學(xué)和技術(shù)的歷史有很多技術(shù)工件先于理論理解的例子：透鏡的發(fā)明在光學(xué)理論之前，蒸汽機(jī)的發(fā)明在熱力學(xué)之前，飛機(jī)在空氣動(dòng)力學(xué)之前，無線電通信再信息理論之前，可編程計(jì)算器在計(jì)算機(jī)科學(xué)之前。 LeCun 演講的兩個(gè)要點(diǎn)是： (1) 經(jīng)驗(yàn)主義是一種完全合適的研究方法，盡管它效率低下； (2) 我們面臨的挑戰(zhàn)是為學(xué)習(xí)和智能開發(fā)一種理論，對應(yīng)于蒸汽機(jī)的熱力學(xué)理論。 有了理論基礎(chǔ)，即使只是概念上的基礎(chǔ)，也將大大加快該領(lǐng)域的研究進(jìn)展，但必須認(rèn)識到一般理論的實(shí)際影響有限。 演講視頻： 2017 年 Ali Rahimi 在 NIPS 的演講中批判深度學(xué)習(xí)是 “煉金術(shù)”（Alchemy），引起機(jī)器學(xué)習(xí)界大討論。當(dāng)時(shí)反駁他的代表、深度學(xué)習(xí)領(lǐng)軍人物 Yann LeCun 在自己的主頁上回應(yīng) Ali，說自己完全不同意 Ali 的說法。 LeCun 表示，那次大爭論很有意思，但他認(rèn)為 Ali Rahami 混淆了兩個(gè)概念，即 “煉金術(shù)” 和 “工程”。Ali 所指的 “煉金術(shù)” 實(shí)際上是工程學(xué)。 煉金術(shù) & 工程 工程科學(xué)是關(guān)于發(fā)明新工件 (new artifacts) 的，你有很多方法可以用來發(fā)明新東西。比如望遠(yuǎn)鏡、蒸汽機(jī)、電磁體、飛機(jī)、無線電等新發(fā)明，顯然有方法被用來創(chuàng)造它們。這是一種創(chuàng)造性的活動(dòng)，其方法如創(chuàng)造、直覺、探測、實(shí)驗(yàn)等等。如果我們對這些現(xiàn)象有一些理論上的理解，這些發(fā)明創(chuàng)造顯然能夠更加高效。 這與今天的神經(jīng)科學(xué)也有相似之處。神經(jīng)科學(xué)是關(guān)于發(fā)現(xiàn)、學(xué)習(xí)和解釋現(xiàn)象的，其方法如在控制條件下的可復(fù)現(xiàn)實(shí)驗(yàn)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、系統(tǒng)性實(shí)驗(yàn)等，同樣也由理論性、概念性和直覺理解所指導(dǎo)。 而理論往往是在發(fā)明之后構(gòu)建起來的，比如：透鏡的發(fā)明在光學(xué)理論之前，蒸汽機(jī)的發(fā)明在熱力學(xué)之前，飛機(jī)在空氣動(dòng)力學(xué)之前，無線電通信再信息理論之前，可編程計(jì)算器在計(jì)算機(jī)科學(xué)之前。 如此，現(xiàn)代世界的種種神奇在人們完全理解它們之前就已經(jīng)被發(fā)明出來了。這和我們告訴學(xué)生的故事有些不同，我們會告訴他們?nèi)プ鰯?shù)學(xué)運(yùn)算，要理解所有的理論，只有這樣你才能利用那些理論去發(fā)明東西。但現(xiàn)實(shí)從來不是這樣。 上面這張 PPT 展示了深度學(xué)習(xí)的根源，即啟發(fā)了深度學(xué)習(xí)的一些理論。
今天的 AI 大部分是監(jiān)督學(xué)習(xí) 其運(yùn)作方式是：向系統(tǒng)提供樣本以訓(xùn)練機(jī)器，而非直接編程。 當(dāng)輸出錯(cuò)誤時(shí)，則調(diào)整參數(shù)。 這是模式識別的一個(gè)標(biāo)準(zhǔn)范式 從 1969 到 1985 年，是深度學(xué)習(xí)的第一個(gè) “冬天”。當(dāng)時(shí)提出的多層網(wǎng)絡(luò)并不學(xué)習(xí)，原因包括使用了錯(cuò)誤的 “神經(jīng)元”，而二元神經(jīng)元阻礙了人們往 gradient-based 的方法去想。 不過到 80 年代早期，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)的第二次熱潮。當(dāng)時(shí)提出了 Hopfield nets、玻爾茲曼機(jī)。到 1985/86 年，反向傳播 (Backprop) 出現(xiàn)了，深度學(xué)習(xí)迎來轉(zhuǎn)機(jī)。 來自生物學(xué)的啟發(fā) 理論是好東西，因?yàn)樗沟脤?shí)驗(yàn)有效。 理論允許我們修補(bǔ)、完善經(jīng)驗(yàn)。一些理論甚至能讓我們預(yù)測現(xiàn)象。
多層神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
卷積網(wǎng)絡(luò)啟發(fā)自視覺皮層
卷積網(wǎng)絡(luò)能夠識別多個(gè)物體 其中，所有層都是卷積的，神經(jīng)網(wǎng)絡(luò)同時(shí)進(jìn)行分割和識別。
80、90 年代時(shí)的神經(jīng)網(wǎng)絡(luò)硬件
1996~2006 年的 10 年間，是神經(jīng)網(wǎng)絡(luò)的第二個(gè)冬天。這期間，很少有團(tuán)隊(duì)能夠訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。 原因有很多
學(xué)習(xí)理論
理論可能會限制我們的創(chuàng)造性思維
更多閱讀
【加入社群】 新智元AI技術(shù)+產(chǎn)業(yè)社群招募中，歡迎對AI技術(shù)+產(chǎn)業(yè)落地感興趣的同學(xué)，加小助手微信號：aiera2015_2 入群;通過審核后我們將邀請進(jìn)群，加入社群后務(wù)必修改群備注（姓名 - 公司 - 職位;專業(yè)群審核較嚴(yán)，敬請諒解）
|
|
|
