|
來(lái)源：DataCastle數(shù)據(jù)城堡（id:datacastle2016） 一部氣勢(shì)恢宏的人工智能發(fā)展史 AlphaGo的勝利，無(wú)人駕駛的成功，模式識(shí)別的突破性進(jìn)展，人工智能的的飛速發(fā)展一次又一次地挑動(dòng)著我們的神經(jīng)。作為人工智能的核心，機(jī)器學(xué)習(xí)也在人工智能的大步發(fā)展中備受矚目，光輝無(wú)限。 如今，機(jī)器學(xué)習(xí)的應(yīng)用已遍及人工智能的各個(gè)分支，如專家系統(tǒng)、自動(dòng)推理、自然語(yǔ)言理解、模式識(shí)別、計(jì)算機(jī)視覺、智能機(jī)器人等領(lǐng)域。 但也許我們不曾想到的事機(jī)器學(xué)習(xí)乃至人工智能的起源，是對(duì)人本身的意識(shí)、自我、心靈等哲學(xué)問(wèn)題的探索。而在發(fā)展的過(guò)程中，更是融合了統(tǒng)計(jì)學(xué)、神經(jīng)科學(xué)、信息論、控制論、計(jì)算復(fù)雜性理論等學(xué)科的知識(shí)。  總的來(lái)說(shuō)，機(jī)器學(xué)習(xí)的發(fā)展是整個(gè)人工智能發(fā)展史上頗為重要的一個(gè)分支。其中故事一波三折，令人驚訝嘆服，頗為蕩氣回腸。 其中穿插了無(wú)數(shù)牛人的故事，在下面的介紹中，你將會(huì)看到以下神級(jí)人物的均有出場(chǎng)，我們順著ML的進(jìn)展時(shí)間軸娓娓道來(lái)：  基礎(chǔ)奠定的熱烈時(shí)期 20世紀(jì)50年代初到60年代中葉 Hebb于1949年基于神經(jīng)心理學(xué)的學(xué)習(xí)機(jī)制開啟機(jī)器學(xué)習(xí)的第一步。此后被稱為Hebb學(xué)習(xí)規(guī)則。Hebb學(xué)習(xí)規(guī)則是一個(gè)無(wú)監(jiān)督學(xué)習(xí)規(guī)則，這種學(xué)習(xí)的結(jié)果是使網(wǎng)絡(luò)能夠提取訓(xùn)練集的統(tǒng)計(jì)特性，從而把輸入信息按照它們的相似性程度劃分為若干類。這一點(diǎn)與人類觀察和認(rèn)識(shí)世界的過(guò)程非常吻合，人類觀察和認(rèn)識(shí)世界在相當(dāng)程度上就是在根據(jù)事物的統(tǒng)計(jì)特征進(jìn)行分類。  從上面的公式可以看出，權(quán)值調(diào)整量與輸入輸出的乘積成正比，顯然經(jīng)常出現(xiàn)的模式將對(duì)權(quán)向量有較大的影響。在這種情況下，Hebb學(xué)習(xí)規(guī)則需預(yù)先定置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時(shí)出現(xiàn)權(quán)值無(wú)約束增長(zhǎng)。 Hebb學(xué)習(xí)規(guī)則與“條件反射”機(jī)理一致，并且已經(jīng)得到了神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí)。比如巴甫洛夫的條件反射實(shí)驗(yàn)：每次給狗喂食前都先響鈴，時(shí)間一長(zhǎng)，狗就會(huì)將鈴聲和食物聯(lián)系起來(lái)。以后如果響鈴但是不給食物，狗也會(huì)流口水。 1950年，阿蘭·圖靈創(chuàng)造了圖靈測(cè)試來(lái)判定計(jì)算機(jī)是否智能。圖靈測(cè)試認(rèn)為，如果一臺(tái)機(jī)器能夠與人類展開對(duì)話（通過(guò)電傳設(shè)備）而不能被辨別出其機(jī)器身份，那么稱這臺(tái)機(jī)器具有智能。這一簡(jiǎn)化使得圖靈能夠令人信服地說(shuō)明“思考的機(jī)器”是可能的。  2014年6月8日，一臺(tái)計(jì)算機(jī)（計(jì)算機(jī)尤金·古斯特曼是一個(gè)聊天機(jī)器人，一個(gè)電腦程序）成功讓人類相信它是一個(gè)13歲的男孩，成為有史以來(lái)首臺(tái)通過(guò)圖靈測(cè)試的計(jì)算機(jī)。這被認(rèn)為是人工智能發(fā)展的一個(gè)里程碑事件。 1952，IBM科學(xué)家亞瑟·塞繆爾開發(fā)了一個(gè)跳棋程序。該程序能夠通過(guò)觀察當(dāng)前位置，并學(xué)習(xí)一個(gè)隱含的模型，從而為后續(xù)動(dòng)作提供更好的指導(dǎo)。塞繆爾發(fā)現(xiàn)，伴隨著該游戲程序運(yùn)行時(shí)間的增加，其可以實(shí)現(xiàn)越來(lái)越好的后續(xù)指導(dǎo)。 通過(guò)這個(gè)程序，塞繆爾駁倒了普羅維登斯提出的機(jī)器無(wú)法超越人類，像人類一樣寫代碼和學(xué)習(xí)的模式。他創(chuàng)造了“機(jī)器學(xué)習(xí)”，并將它定義為“可以提供計(jì)算機(jī)能力而無(wú)需顯式編程的研究領(lǐng)域”。 1957年，羅森·布拉特基于神經(jīng)感知科學(xué)背景提出了第二模型，非常的類似于今天的機(jī)器學(xué)習(xí)模型。這在當(dāng)時(shí)是一個(gè)非常令人興奮的發(fā)現(xiàn)，它比Hebb的想法更適用?；谶@個(gè)模型羅森·布拉特設(shè)計(jì)出了第一個(gè)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)——感知機(jī)（the perceptron），它模擬了人腦的運(yùn)作方式。 3年后，維德羅首次使用Delta學(xué)習(xí)規(guī)則用于感知器的訓(xùn)練步驟。這種方法后來(lái)被稱為最小二乘方法。這兩者的結(jié)合創(chuàng)造了一個(gè)良好的線性分類器。  1967年，最近鄰算法（The nearest neighbor algorithm）出現(xiàn)，由此計(jì)算機(jī)可以進(jìn)行簡(jiǎn)單的模式識(shí)別。kNN算法的核心思想是如果一個(gè)樣本在特征空間中的k個(gè)最相鄰的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。該方法在確定分類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分樣本所屬的類別。  kNN的優(yōu)點(diǎn)在于易于理解和實(shí)現(xiàn)，無(wú)需估計(jì)參數(shù)，無(wú)需訓(xùn)練，適合對(duì)稀有事件進(jìn)行分類，特別適合于多分類問(wèn)題(multi-modal,對(duì)象具有多個(gè)類別標(biāo)簽)， 甚至比SVM的表現(xiàn)要好。 Han等人于2002年嘗試?yán)秘澬姆?，針?duì)文件分類實(shí)做可調(diào)整權(quán)重的k最近鄰居法WAkNN (weighted adjusted k nearest neighbor)，以促進(jìn)分類效果；而Li等人于2004年提出由于不同分類的文件本身有數(shù)量上有差異，因此也應(yīng)該依照訓(xùn)練集合中各種分類的文件數(shù)量，選取不同數(shù)目的最近鄰居，來(lái)參與分類。 1969年馬文·明斯基將感知器興奮推到最高頂峰。他提出了著名的XOR問(wèn)題和感知器數(shù)據(jù)線性不可分的情形。 明斯基還把人工智能技術(shù)和技術(shù)結(jié)合起來(lái)，開發(fā)出了世界上最早的能夠模擬人活動(dòng)的機(jī)器人Robot C，使機(jī)器人技術(shù)躍上了一個(gè)新臺(tái)階。明斯基的另一個(gè)大舉措是創(chuàng)建了著名的“思維機(jī)公司”（Thinking Machines，Inc．），開發(fā)具有智能的計(jì)算機(jī)。 此后，神經(jīng)網(wǎng)絡(luò)的研究將處于休眠狀態(tài)，直到上世紀(jì)80年代。盡管BP神經(jīng)的想法由林納因馬在1970年提出，并將其稱為“自動(dòng)分化反向模式”，但是并未引起足夠的關(guān)注。 停滯不前的冷靜時(shí)期 20世紀(jì)60年代中葉到70年代末 從60年代中到70年代末，機(jī)器學(xué)習(xí)的發(fā)展步伐幾乎處于停滯狀態(tài)。雖然這個(gè)時(shí)期溫斯頓(Winston)的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯·羅思(Hayes Roth)等的基于邏輯的歸納學(xué)習(xí)系統(tǒng)取得較大的進(jìn)展，但只能學(xué)習(xí)單一概念，而且未能投入實(shí)際應(yīng)用。此外，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)因理論缺陷未能達(dá)到預(yù)期效果而轉(zhuǎn)入低潮。 這個(gè)時(shí)期的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu) 作為機(jī)器內(nèi)部描述。機(jī)器能夠采用符號(hào)來(lái)描述概念(符號(hào)概念獲取)，并提出關(guān)于學(xué)習(xí)概念的各種假設(shè)。 事實(shí)上，這個(gè)時(shí)期整個(gè)AI領(lǐng)域都遭遇了瓶頸。當(dāng)時(shí)的計(jì)算機(jī)有限的內(nèi)存和處理速度不足以解決任何實(shí)際的AI問(wèn)題。要求程序?qū)@個(gè)世界具有兒童水平的認(rèn)識(shí)，研究者們很快發(fā)現(xiàn)這個(gè)要求太高了：1970年沒(méi)人能夠做出如此巨大的數(shù)據(jù)庫(kù)，也沒(méi)人知道一個(gè)程序怎樣才能學(xué)到如此豐富的信息。 重拾希望的復(fù)興時(shí)期 20世紀(jì)70年代末到80年代中葉 從70年代末開始，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí) 策略和各種學(xué)習(xí)方法。這個(gè)時(shí)期，機(jī)器學(xué)習(xí)在大量的時(shí)間應(yīng)用中回到人們的視線，又慢慢復(fù)蘇。 1980年，在美國(guó)的卡內(nèi)基梅隆大學(xué)(CMU)召開了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。此后，機(jī)器歸納學(xué)習(xí)進(jìn)入應(yīng)用。 經(jīng)過(guò)一些挫折后，多層感知器(MLP)由偉博斯在1981年的神經(jīng)網(wǎng)絡(luò)反向傳播(BP)算法中具體提出。當(dāng)然BP仍然是今天神經(jīng)網(wǎng)絡(luò)架構(gòu)的關(guān)鍵因素。有了這些新思想，神經(jīng)網(wǎng)絡(luò)的研究又加快了。 1985 -1986神經(jīng)網(wǎng)絡(luò)研究人員（魯梅爾哈特，辛頓，威廉姆斯-赫，尼爾森）先后提出了MLP與BP訓(xùn)練相結(jié)合的理念。 一個(gè)非常著名的ML算法由昆蘭在1986年提出，我們稱之為決策樹算法，更準(zhǔn)確的說(shuō)是ID3算法。這是另一個(gè)主流機(jī)器學(xué)習(xí)的火花點(diǎn)。此外，與黑盒神經(jīng)網(wǎng)絡(luò)模型截然不同的是，決策樹ID3算法也被作為一個(gè)軟件，通過(guò)使用簡(jiǎn)單的規(guī)則和清晰的參考可以找到更多的現(xiàn)實(shí)生活中的使用情況。  《機(jī)器學(xué)習(xí)》中打網(wǎng)球的天氣分類決策 決策樹是一個(gè)預(yù)測(cè)模型，他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。樹中每個(gè)節(jié)點(diǎn)表示某個(gè)對(duì)象，而每個(gè)分叉路徑則代表的某個(gè)可能的屬性值，而每個(gè)葉結(jié)點(diǎn)則對(duì)應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對(duì)象的值。決策樹僅有單一輸出，若欲有復(fù)數(shù)輸出，可以建立獨(dú)立的決策樹以處理不同輸出。中決策樹是一種經(jīng)常要用到的技術(shù)，可以用于分析數(shù)據(jù)，同樣也可以用來(lái)作預(yù)測(cè)。 現(xiàn)代機(jī)器學(xué)習(xí)的成型時(shí)期 20世紀(jì)90年初到21世紀(jì)初 1990年, Schapire最先構(gòu)造出一種多項(xiàng)式級(jí)的算法 ,對(duì)該問(wèn)題做了肯定的證明 ,這就是最初的 Boosting算法。一年后 ,Freund提出了一種效率更高的Boosting算法。但是,這兩種算法存在共同的實(shí)踐上的缺陷 ,那就是都要求事先知道弱學(xué)習(xí)算法學(xué)習(xí)正確的下限。  1995年 , Freund和schapire改進(jìn)了Boosting算法 ,提出了 AdaBoost (Adap tive Boosting)算法,該算法效率和 Freund于 1991年提出的 Boosting算法幾乎相同 ,但不需要任何關(guān)于弱學(xué)習(xí)器的先驗(yàn)知識(shí) ,因而更容易應(yīng)用到實(shí)際問(wèn)題當(dāng)中。 Boosting方法是一種用來(lái)提高弱分類算法準(zhǔn)確度的方法,這種方法通過(guò)構(gòu)造一個(gè)預(yù)測(cè)函數(shù)系列,然后以一定的方式將他們組合成一個(gè)預(yù)測(cè)函數(shù)。他是一種框架算法,主要是通過(guò)對(duì)樣本集的操作獲得樣本子集,然后用弱分類算法在樣本子集上訓(xùn)練生成一系列的基。 同年，機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)最重要的突破，支持向量(support vector machines, SVM )，由瓦普尼克和科爾特斯在大量理論和實(shí)證的條件下年提出。從此將機(jī)器學(xué)習(xí)社區(qū)分為神經(jīng)網(wǎng)絡(luò)社區(qū)和支持向量機(jī)社區(qū)。  然而兩個(gè)社區(qū)之間的競(jìng)爭(zhēng)并不那么容易，神經(jīng)網(wǎng)絡(luò)要落后SVM核化后的版本將近2000s 。支持向量機(jī)在以前許多神經(jīng)網(wǎng)絡(luò)模型不能解決的任務(wù)中取得了良好的效果。此外，支持向量機(jī)能夠利用所有的先驗(yàn)知識(shí)做凸優(yōu)化選擇，產(chǎn)生準(zhǔn)確的理論和核模型。因此，它可以對(duì)不同的學(xué)科產(chǎn)生大的推動(dòng)，產(chǎn)生非常高效的理論和實(shí)踐改善。 支撐向量機(jī) , Boosting，最大熵方法(比如logistic regression, LR)等。這些模型的結(jié)構(gòu)基本上可以看成帶有一層隱層節(jié)點(diǎn)(如SVM, Boosting)，或沒(méi)有隱層節(jié)點(diǎn)(如LR)。這些模型在無(wú)論是理論分析還是應(yīng)用都獲得了巨大的成功。 另一個(gè)集成決策樹模型由布雷曼博士在2001年提出，它是由一個(gè)隨機(jī)子集的實(shí)例組成，并且每個(gè)節(jié)點(diǎn)都是從一系列隨機(jī)子集中選擇。由于它的這個(gè)性質(zhì)，被稱為隨機(jī)森林(RF)，隨機(jī)森林也在理論和經(jīng)驗(yàn)上證明了對(duì)過(guò)擬合的抵抗性。 甚至連AdaBoost算法在數(shù)據(jù)過(guò)擬合和離群實(shí)例中都表現(xiàn)出了弱點(diǎn)，而隨機(jī)森林是針對(duì)這些警告更穩(wěn)健的模型。隨機(jī)森林在許多不同的任務(wù)，像DataCastle、Kaggle等比賽等都表現(xiàn)出了成功的一面。  大放光芒的蓬勃發(fā)展時(shí)期 21世紀(jì)初至今 在機(jī)器學(xué)習(xí)發(fā)展分為兩個(gè)部分，淺層學(xué)習(xí)（Shallow Learning）和深度學(xué)習(xí)（Deep Learning）。淺層學(xué)習(xí)起源上世紀(jì)20年代人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法（Back-propagation）的發(fā)明，使得基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法大行其道，雖然這時(shí)候的人工神經(jīng)網(wǎng)絡(luò)算法也被稱為多層感知機(jī)（Multiple layer Perception），但由于多層網(wǎng)絡(luò)訓(xùn)練困難，通常都是只有一層隱含層的淺層模型。 神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域領(lǐng)軍者Hinton在2006年提出了神經(jīng)網(wǎng)絡(luò)Deep Learning算法，使神經(jīng)網(wǎng)絡(luò)的能力大大提高，向支持向量機(jī)發(fā)出挑戰(zhàn)。 2006年，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Hinton和他的學(xué)生Salakhutdinov在頂尖學(xué)術(shù)刊物《Scince》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。 這篇文章有兩個(gè)主要的訊息：1）很多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻劃，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過(guò)“逐層初始化”（ layer-wise pre-training）來(lái)有效克服，在這篇文章中，逐層初始化是通過(guò)無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。 Hinton的學(xué)生Yann LeCun的LeNets深度學(xué)習(xí)網(wǎng)絡(luò)可以被廣泛應(yīng)用在全球的ATM機(jī)和銀行之中。同時(shí)，Yann LeCun和吳恩達(dá)等認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)允許人工神經(jīng)網(wǎng)絡(luò)能夠快速訓(xùn)練，因?yàn)槠渌加玫膬?nèi)存非常小，無(wú)須在圖像上的每一個(gè)位置上都單獨(dú)存儲(chǔ)濾鏡，因此非常適合構(gòu)建可擴(kuò)展的深度網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)因此非常適合識(shí)別模型。 2015年，為紀(jì)念人工智能概念提出60周年，LeCun、Bengio和Hinton推出了深度學(xué)習(xí)的聯(lián)合綜述。 深度學(xué)習(xí)可以讓那些擁有多個(gè)處理層的計(jì)算模型來(lái)學(xué)習(xí)具有多層次抽象的數(shù)據(jù)的表示。這些方法在許多方面都帶來(lái)了顯著的改善，包括最先進(jìn)的語(yǔ)音識(shí)別、視覺對(duì)象識(shí)別、對(duì)象檢測(cè)和許多其它領(lǐng)域，例如藥物發(fā)現(xiàn)和基因組學(xué)等。深度學(xué)習(xí)能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。它是利用BP算法來(lái)完成這個(gè)發(fā)現(xiàn)過(guò)程的。BP算法能夠指導(dǎo)機(jī)器如何從前一層獲取誤差而改變本層的內(nèi)部參數(shù)，這些內(nèi)部參數(shù)可以用于計(jì)算表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語(yǔ)音和音頻方面帶來(lái)了突破，而遞歸網(wǎng)絡(luò)在處理序列數(shù)據(jù)，比如文本和語(yǔ)音方面表現(xiàn)出了閃亮的一面。 當(dāng)前統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域最熱門方法主要有deep learning和SVM（supportvector machine），它們是統(tǒng)計(jì)學(xué)習(xí)的代表方法?？梢哉J(rèn)為神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)都源自于感知機(jī)。 神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)一直處于“競(jìng)爭(zhēng)”關(guān)系。SVM應(yīng)用核函數(shù)的展開定理，無(wú)需知道非線性映射的顯式表達(dá)式；由于是在高維特征空間中建立線性學(xué)習(xí)機(jī)，所以與線性模型相比，不但幾乎不增加計(jì)算的復(fù)雜性，而且在某種程度上避免了“維數(shù)災(zāi)難”。而早先的神經(jīng)網(wǎng)絡(luò)算法比較容易過(guò)訓(xùn)練，大量的經(jīng)驗(yàn)參數(shù)需要設(shè)置；訓(xùn)練速度比較慢，在層次比較少(小于等于3)的情況下效果并不比其它方法更優(yōu)。 神經(jīng)網(wǎng)絡(luò)模型貌似能夠?qū)崿F(xiàn)更加艱難的任務(wù)，如目標(biāo)識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等。但是，應(yīng)該注意的是，這絕對(duì)不意味著其他機(jī)器學(xué)習(xí)方法的終結(jié)。盡管深度學(xué)習(xí)的成功案例迅速增長(zhǎng)，但是對(duì)這些模型的訓(xùn)練成本是相當(dāng)高的，調(diào)整外部參數(shù)也是很麻煩。同時(shí)，SVM的簡(jiǎn)單性促使其仍然最為廣泛使用的機(jī)器學(xué)習(xí)方式。  人工智能機(jī)器學(xué)習(xí)是誕生于20世紀(jì)中葉的一門年輕的學(xué)科，它對(duì)人類的生產(chǎn)、生活方式產(chǎn)生了重大的影響，也引發(fā)了激烈的哲學(xué)爭(zhēng)論。但總的來(lái)說(shuō)，機(jī)器學(xué)習(xí)的發(fā)展與其他一般事物的發(fā)展并無(wú)太大區(qū)別，同樣可以用哲學(xué)的發(fā)展的眼光來(lái)看待。 機(jī)器學(xué)習(xí)的發(fā)展并不是一帆風(fēng)順的，也經(jīng)歷了螺旋式上升的過(guò)程，成就與坎坷并存。其中大量的研究學(xué)者的成果才有了今天人工智能的空前繁榮，是量變到質(zhì)變的過(guò)程，也是內(nèi)因和外因的共同結(jié)果。 回望過(guò)去，我們都會(huì)被這一段波瀾壯闊的歷史所折服吧。 相關(guān)閱讀： 一篇文章講清楚人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別 本文轉(zhuǎn)自將門創(chuàng)業(yè)(thejiangmen)，來(lái)源：NVIDIA官網(wǎng) 作者：Michael Copeland，Long-time Tech記者 譯者：曲曉峰，香港理工大學(xué) 有人說(shuō)，人工智能（AI）是未來(lái)，人工智能是科幻，人工智能也是我們?nèi)粘Ｉ钪械囊徊糠?。這些評(píng)價(jià)可以說(shuō)都是正確的，就看你指的是哪一種人工智能。 今年早些時(shí)候，Google DeepMind的AlphaGo打敗了韓國(guó)的圍棋大師李世乭九段。在媒體描述DeepMind勝利的時(shí)候，將人工智能（AI）、機(jī)器學(xué)習(xí)（machine learning）和深度學(xué)習(xí)（deep learning）都用上了。這三者在AlphaGo擊敗李世乭的過(guò)程中都起了作用，但它們說(shuō)的并不是一回事。 今天我們就用最簡(jiǎn)單的方法——同心圓，可視化地展現(xiàn)出它們?nèi)叩年P(guān)系和應(yīng)用。 如下圖，人工智能是最早出現(xiàn)的，也是最大、最外側(cè)的同心圓；其次是機(jī)器學(xué)習(xí)，稍晚一點(diǎn)；最內(nèi)側(cè)，是深度學(xué)習(xí)，當(dāng)今人工智能大爆炸的核心驅(qū)動(dòng)。 五十年代，人工智能曾一度被極為看好。之后，人工智能的一些較小的子集發(fā)展了起來(lái)。先是機(jī)器學(xué)習(xí)，然后是深度學(xué)習(xí)。深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)的子集。深度學(xué)習(xí)造成了前所未有的巨大的影響。 從概念的提出到走向繁榮 1956年，幾個(gè)計(jì)算機(jī)科學(xué)家相聚在達(dá)特茅斯會(huì)議（Dartmouth Conferences），提出了“人工智能”的概念。其后，人工智能就一直縈繞于人們的腦海之中，并在科研實(shí)驗(yàn)室中慢慢孵化。之后的幾十年，人工智能一直在兩極反轉(zhuǎn)，或被稱作人類文明耀眼未來(lái)的預(yù)言；或者被當(dāng)成技術(shù)瘋子的狂想扔到垃圾堆里。坦白說(shuō)，直到2012年之前，這兩種聲音還在同時(shí)存在。 過(guò)去幾年，尤其是2015年以來(lái)，人工智能開始大爆發(fā)。很大一部分是由于GPU的廣泛應(yīng)用，使得并行計(jì)算變得更快、更便宜、更有效。當(dāng)然，無(wú)限拓展的存儲(chǔ)能力和驟然爆發(fā)的數(shù)據(jù)洪流（大數(shù)據(jù)）的組合拳，也使得圖像數(shù)據(jù)、文本數(shù)據(jù)、交易數(shù)據(jù)、映射數(shù)據(jù)全面海量爆發(fā)。 讓我們慢慢梳理一下計(jì)算機(jī)科學(xué)家們是如何將人工智能從最早的一點(diǎn)點(diǎn)苗頭，發(fā)展到能夠支撐那些每天被數(shù)億用戶使用的應(yīng)用的。 人工智能（Artificial Intelligence）——為機(jī)器賦予人的智能 成王（King me）:能下國(guó)際跳棋的程序是早期人工智能的一個(gè)典型應(yīng)用，在二十世紀(jì)五十年代曾掀起一陣風(fēng)潮。（譯者注：國(guó)際跳棋棋子到達(dá)底線位置后，可以成王，成王棋子可以向后移動(dòng)）。 早在1956年夏天那次會(huì)議，人工智能的先驅(qū)們就夢(mèng)想著用當(dāng)時(shí)剛剛出現(xiàn)的計(jì)算機(jī)來(lái)構(gòu)造復(fù)雜的、擁有與人類智慧同樣本質(zhì)特性的機(jī)器。這就是我們現(xiàn)在所說(shuō)的“強(qiáng)人工智能”（General AI）。這個(gè)無(wú)所不能的機(jī)器，它有著我們所有的感知（甚至比人更多），我們所有的理性，可以像我們一樣思考。 人們?cè)陔娪袄镆部偸强吹竭@樣的機(jī)器：友好的，像星球大戰(zhàn)中的C-3PO；邪惡的，如終結(jié)者。強(qiáng)人工智能現(xiàn)在還只存在于電影和科幻小說(shuō)中，原因不難理解，我們還沒(méi)法實(shí)現(xiàn)它們，至少目前還不行。 我們目前能實(shí)現(xiàn)的，一般被稱為“弱人工智能”（Narrow AI）。弱人工智能是能夠與人一樣，甚至比人更好地執(zhí)行特定任務(wù)的技術(shù)。例如，Pinterest上的圖像分類；或者Facebook的人臉識(shí)別。 這些是弱人工智能在實(shí)踐中的例子。這些技術(shù)實(shí)現(xiàn)的是人類智能的一些具體的局部。但它們是如何實(shí)現(xiàn)的？這種智能是從何而來(lái)？這就帶我們來(lái)到同心圓的里面一層，機(jī)器學(xué)習(xí)。 機(jī)器學(xué)習(xí)—— 一種實(shí)現(xiàn)人工智能的方法 健康食譜（Spam free diet）：機(jī)器學(xué)習(xí)能夠幫你過(guò)濾電子信箱里的（大部分）垃圾郵件。（譯者注：英文中垃圾郵件的單詞spam來(lái)源于二戰(zhàn)中美國(guó)曾大量援助英國(guó)的午餐肉品牌SPAM。直到六十年代，英國(guó)的農(nóng)業(yè)一直沒(méi)有從二戰(zhàn)的損失中恢復(fù)，因而從美國(guó)大量進(jìn)口了這種廉價(jià)的罐頭肉制品。據(jù)傳聞不甚好吃且充斥市場(chǎng)。） 機(jī)器學(xué)習(xí)最基本的做法，是使用算法來(lái)解析數(shù)據(jù)、從中學(xué)習(xí)，然后對(duì)真實(shí)世界中的事件做出決策和預(yù)測(cè)。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機(jī)器學(xué)習(xí)是用大量的數(shù)據(jù)來(lái)“訓(xùn)練”，通過(guò)各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。 機(jī)器學(xué)習(xí)直接來(lái)源于早期的人工智能領(lǐng)域。傳統(tǒng)算法包括決策樹學(xué)習(xí)、推導(dǎo)邏輯規(guī)劃、聚類、強(qiáng)化學(xué)習(xí)和貝葉斯網(wǎng)絡(luò)等等。眾所周知，我們還沒(méi)有實(shí)現(xiàn)強(qiáng)人工智能。早期機(jī)器學(xué)習(xí)方法甚至都無(wú)法實(shí)現(xiàn)弱人工智能。 機(jī)器學(xué)習(xí)最成功的應(yīng)用領(lǐng)域是計(jì)算機(jī)視覺，雖然也還是需要大量的手工編碼來(lái)完成工作。人們需要手工編寫分類器、邊緣檢測(cè)濾波器，以便讓程序能識(shí)別物體從哪里開始，到哪里結(jié)束；寫形狀檢測(cè)程序來(lái)判斷檢測(cè)對(duì)象是不是有八條邊；寫分類器來(lái)識(shí)別字母“ST-O-P”。使用以上這些手工編寫的分類器，人們總算可以開發(fā)算法來(lái)感知圖像，判斷圖像是不是一個(gè)停止標(biāo)志牌。 這個(gè)結(jié)果還算不錯(cuò)，但并不是那種能讓人為之一振的成功。特別是遇到云霧天，標(biāo)志牌變得不是那么清晰可見，又或者被樹遮擋一部分，算法就難以成功了。這就是為什么前一段時(shí)間，計(jì)算機(jī)視覺的性能一直無(wú)法接近到人的能力。它太僵化，太容易受環(huán)境條件的干擾。 隨著時(shí)間的推進(jìn)，學(xué)習(xí)算法的發(fā)展改變了一切。 深度學(xué)習(xí)——一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù) 放貓（Herding Cats）:從YouTube視頻里面尋找貓的圖片是深度學(xué)習(xí)杰出性能的首次展現(xiàn)。（譯者注：herdingcats是英語(yǔ)習(xí)語(yǔ)，照顧一群喜歡自由，不喜歡馴服的貓，用來(lái)形容局面混亂，任務(wù)難以完成。） 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）是早期機(jī)器學(xué)習(xí)中的一個(gè)重要的算法，歷經(jīng)數(shù)十年風(fēng)風(fēng)雨雨。神經(jīng)網(wǎng)絡(luò)的原理是受我們大腦的生理結(jié)構(gòu)——互相交叉相連的神經(jīng)元啟發(fā)。但與大腦中一個(gè)神經(jīng)元可以連接一定距離內(nèi)的任意神經(jīng)元不同，人工神經(jīng)網(wǎng)絡(luò)具有離散的層、連接和數(shù)據(jù)傳播的方向。 例如，我們可以把一幅圖像切分成圖像塊，輸入到神經(jīng)網(wǎng)絡(luò)的第一層。在第一層的每一個(gè)神經(jīng)元都把數(shù)據(jù)傳遞到第二層。第二層的神經(jīng)元也是完成類似的工作，把數(shù)據(jù)傳遞到第三層，以此類推，直到最后一層，然后生成結(jié)果。 每一個(gè)神經(jīng)元都為它的輸入分配權(quán)重，這個(gè)權(quán)重的正確與否與其執(zhí)行的任務(wù)直接相關(guān)。最終的輸出由這些權(quán)重加總來(lái)決定。 我們?nèi)砸酝Ｖ梗⊿top）標(biāo)志牌為例。將一個(gè)停止標(biāo)志牌圖像的所有元素都打碎，然后用神經(jīng)元進(jìn)行“檢查”：八邊形的外形、救火車般的紅顏色、鮮明突出的字母、交通標(biāo)志的典型尺寸和靜止不動(dòng)運(yùn)動(dòng)特性等等。神經(jīng)網(wǎng)絡(luò)的任務(wù)就是給出結(jié)論，它到底是不是一個(gè)停止標(biāo)志牌。神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)所有權(quán)重，給出一個(gè)經(jīng)過(guò)深思熟慮的猜測(cè)——“概率向量”。 這個(gè)例子里，系統(tǒng)可能會(huì)給出這樣的結(jié)果：86%可能是一個(gè)停止標(biāo)志牌；7%的可能是一個(gè)限速標(biāo)志牌；5%的可能是一個(gè)風(fēng)箏掛在樹上等等。然后網(wǎng)絡(luò)結(jié)構(gòu)告知神經(jīng)網(wǎng)絡(luò)，它的結(jié)論是否正確。 即使是這個(gè)例子，也算是比較超前了。直到前不久，神經(jīng)網(wǎng)絡(luò)也還是為人工智能圈所淡忘。其實(shí)在人工智能出現(xiàn)的早期，神經(jīng)網(wǎng)絡(luò)就已經(jīng)存在了，但神經(jīng)網(wǎng)絡(luò)對(duì)于“智能”的貢獻(xiàn)微乎其微。主要問(wèn)題是，即使是最基本的神經(jīng)網(wǎng)絡(luò)，也需要大量的運(yùn)算。神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算需求難以得到滿足。 不過(guò)，還是有一些虔誠(chéng)的研究團(tuán)隊(duì)，以多倫多大學(xué)的Geoffrey Hinton為代表，堅(jiān)持研究，實(shí)現(xiàn)了以超算為目標(biāo)的并行算法的運(yùn)行與概念證明。但也直到GPU得到廣泛應(yīng)用，這些努力才見到成效。 我們回過(guò)頭來(lái)看這個(gè)停止標(biāo)志識(shí)別的例子。神經(jīng)網(wǎng)絡(luò)是調(diào)制、訓(xùn)練出來(lái)的，時(shí)不時(shí)還是很容易出錯(cuò)的。它最需要的，就是訓(xùn)練。需要成百上千甚至幾百萬(wàn)張圖像來(lái)訓(xùn)練，直到神經(jīng)元的輸入的權(quán)值都被調(diào)制得十分精確，無(wú)論是否有霧，晴天還是雨天，每次都能得到正確的結(jié)果。 只有這個(gè)時(shí)候，我們才可以說(shuō)神經(jīng)網(wǎng)絡(luò)成功地自學(xué)習(xí)到一個(gè)停止標(biāo)志的樣子；或者在Facebook的應(yīng)用里，神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)了你媽媽的臉；又或者是2012年吳恩達(dá)（Andrew Ng）教授在Google實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到貓的樣子等等。 吳教授的突破在于，把這些神經(jīng)網(wǎng)絡(luò)從基礎(chǔ)上顯著地增大了。層數(shù)非常多，神經(jīng)元也非常多，然后給系統(tǒng)輸入海量的數(shù)據(jù)，來(lái)訓(xùn)練網(wǎng)絡(luò)。在吳教授這里，數(shù)據(jù)是一千萬(wàn)YouTube視頻中的圖像。吳教授為深度學(xué)習(xí)（deep learning）加入了“深度”（deep）。這里的“深度”就是說(shuō)神經(jīng)網(wǎng)絡(luò)中眾多的層。 現(xiàn)在，經(jīng)過(guò)深度學(xué)習(xí)訓(xùn)練的圖像識(shí)別，在一些場(chǎng)景中甚至可以比人做得更好：從識(shí)別貓，到辨別血液中癌癥的早期成分，到識(shí)別核磁共振成像中的腫瘤。Google的AlphaGo先是學(xué)會(huì)了如何下圍棋，然后與它自己下棋訓(xùn)練。它訓(xùn)練自己神經(jīng)網(wǎng)絡(luò)的方法，就是不斷地與自己下棋，反復(fù)地下，永不停歇。 深度學(xué)習(xí)，給人工智能以璀璨的未來(lái) 深度學(xué)習(xí)使得機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)眾多的應(yīng)用，并拓展了人工智能的領(lǐng)域范圍。深度學(xué)習(xí)摧枯拉朽般地實(shí)現(xiàn)了各種任務(wù)，使得似乎所有的機(jī)器輔助功能都變?yōu)榭赡?。無(wú)人駕駛汽車，預(yù)防性醫(yī)療保健，甚至是更好的電影推薦，都近在眼前，或者即將實(shí)現(xiàn)。 人工智能就在現(xiàn)在，就在明天。有了深度學(xué)習(xí)，人工智能甚至可以達(dá)到我們暢想的科幻小說(shuō)一般。你的C-3PO我拿走了，你有你的終結(jié)者就好了。 |
|
|
