來源：AI科技大本營

上周，由強化學習加持的AlphaZero，把DeepMind在圍棋上的突破成功泛化到其他棋類游戲：8小時打敗李世石版AlphaGo，4小時擊敗國際象棋最強AI——Stockfish，2小時干掉日本象棋最強AI——Elmo，34小時勝過訓練3天的AlphaGo Zero。

對于這個不再需要訓練數(shù)據(jù)的AlphaZero，有人將其突破歸功于DeepMind在實驗中所用的5064個TPU的強大計算能力，更有甚者則將整個深度學習的突破都歸功于算力，瞬間激起千層浪。

很快，南大周志華教授就在微博上指出，這個說法是絕對錯誤的！

“最重要的進步是由機器學習技術的進步帶來的，計算能力起到了促進作用而不是根本作用?！彼娜氖沁@樣的：

對此，中科院計算所的包云崗研究員則表示，“算法進步和計算能力進步對今天AI都不可或缺”，二者相輔相成。其中算力提升的作用則表現(xiàn)在運行時間減少、功耗降低、開發(fā)效率提高這幾大方面，進步相當顯著：

此后，周志華教授則把該問題進一步定性為：“機器學習的進步使我們從‘不能’到‘能’，計算能力的進步使我們從‘能’到‘更好’。試圖抹殺前者的作用，認為一切都是計算能力提高帶來的，是錯誤且危險的”

交鋒的雙方均有數(shù)據(jù)來做支撐：一邊強調(diào)算法效率所提升的3萬倍；另一邊強調(diào)計算能力所提升的1萬倍，特別是并行計算能力所帶來的200萬倍提速。

隨后，杜克大學副教授陳怡然也加入論戰(zhàn)，在他那篇《有關最近深度學習的兩個爭論》中，陳教授認為計算能力的提高對于深度學習的發(fā)展是有很大貢獻的，他特別提到了Hinton老爺子和李飛飛教授的觀點：

之前很多文章說到深度學習這波高潮的標志性起點是2006年Hinton那篇Science文章。在這篇文章里Hinton其中第一次明確提到計算能力是其研究能成功的三大條件之一：“provided that computers were fast enough, data sets were big enough,and the initial weights were close enough to a good solution”。2014年IBM TrueNoth芯片的發(fā)布會我受邀請在現(xiàn)場，當時剛剛加入斯坦福不到兩年的李飛飛在她的邀請報告中明確提到CNN等深度學習模型的架構(gòu)和1989年被發(fā)明時并無顯著區(qū)別，之所以能廣泛應用的主要原因時兩個主要條件的變化：大數(shù)據(jù)的出現(xiàn)和運算力的提升（大約提高了一百萬倍）。

這里提到的Hinton老爺子那篇文章，是他和當時的學生Russ Salakhutdinov（如今的蘋果AI主管）共同署名的《Reducing the Dimensionality of Data with Neural Networks》一文。他們在文中提出了一種在前饋神經(jīng)網(wǎng)絡中進行有效訓練的算法，即將網(wǎng)絡中的每一層視為無監(jiān)督的受限玻爾茲曼機，再使用有監(jiān)督的反向傳播算法進行調(diào)優(yōu)。

這一論文奠定了反向傳播算法在深度學習中的支柱性地位，并給出了深度學習成功的三大基石：計算能力、大數(shù)據(jù)和算法突破。

“事后來看的話，利用大數(shù)據(jù)訓練計算機算法的做法或許顯而易見。但是在2007年，一切卻沒那么明顯……”這是李飛飛教授2015年在TED演講時所做的總結(jié)。到2009年，規(guī)?？涨暗腎mageNet圖片數(shù)據(jù)集誕生了。其中包括1500萬張照片、涵蓋22000種物品，僅”貓”一個對象，就有62000多只長相各異、姿勢五花八門、品種多種多樣的貓的照片。

這一“貓”的數(shù)據(jù)集，為吳恩達2012年在Google Brain實現(xiàn)“認出YouTube視頻上的貓”的成果奠定好了基礎。

同樣在2012年，基于ImageNet的圖像識別大賽，Hinton和他的學生Alex Krizhevsky在英偉達GPU上取得視覺領域的突破性成果。據(jù)此，英偉達研究中心的Bryan Catanzaro跟吳恩達合作研究GPU，結(jié)果證實，12個GPU的深度學習能力相當于2000個CPU的表現(xiàn)總和。

而后，英偉達開始在深度學習上發(fā)力——投入20億美元、動用數(shù)千工程師，第一臺專門為深度學習優(yōu)化的GPU被提上日程。經(jīng)過3年多的開發(fā)，直到2016年5月正式發(fā)布，才有了老黃GPU的深度學習大爆炸。

簡單來從時間線上看，確實是先有算法上的突破，而后才有更大規(guī)模的數(shù)據(jù)集，以及專注于深度學習的GPU硬件。把這一切歸功于計算能力的提升，似乎確有免費替老黃賣硬件的嫌疑。

但是看具體的進展，Hinton老爺子2006年的算法突破終究離不開當時的數(shù)據(jù)集與計算機硬件。畢竟，Pascal語言之父Niklaus Wirth早就告訴我們，算法加上數(shù)據(jù)結(jié)構(gòu)才能寫出實用的程序。而沒有計算機硬件承載運行的程序代碼，則又毫無存在的意義。

回到AlphaZero的問題，它的突破到底該歸功于算法還是算力？

我們知道，AlphaZero是AlphaGo Zero的進一步優(yōu)化，后者的目的是讓電腦不學人類的對局也能學會圍棋，這是AlphaGo徹底打敗人類之后，DeepMind賦予其圍棋項目的新使命。盡管不使用任何訓練數(shù)據(jù)，AlphaZero卻用到5000個TPU來生成對弈數(shù)據(jù)，而用于模型訓練的TPU數(shù)量僅為64個。

而這里的一切投入，不過是DeepMind之父Demis Hassabis想要解決通用學習問題、超越人類認知極限的一個注腳。如果沒有DeepMind大量的人力物力投入，蒙特卡洛樹搜索算法和GPU并行計算可不會自發(fā)地進化成AlphaGo并打敗李世石、柯潔，如果沒有更進一步的投入，AlphaGo Zero也不會自己就能學會圍棋，AlphaZero更不會自動把它的圍棋能力泛化到其他棋類上。

也就是說，AlphaZero和它的強化學習算法、它的TPU運算集群，是由它背后David Silver、Demis Hassabis等人的瘋狂努力才組合出最佳的效果，向解決通用學習的最終問題又邁進了一步。

而撇開這個全景，單點去談算法和算力之于深度學習孰強孰弱，就有點像是拋開雞的整個物種的進化，而去談先有雞還是先有蛋的問題……問題只是，到底大家是關心雞的祖先多一點呢？還是關心餐盤內(nèi)的雞蛋、雞肉好不好吃多一些？