|
SIGAI推薦 近40年來機(jī)器學(xué)習(xí)領(lǐng)域產(chǎn)生了數(shù)以萬計的論文，并以每年上萬篇的速度增長。但真正能夠稱為經(jīng)典、經(jīng)受住歷史檢驗(yàn)、能投入實(shí)際應(yīng)用的并不多。本文整理了機(jī)器學(xué)習(xí)歷史上出現(xiàn)的經(jīng)典論文，按照被引用次數(shù)對它們進(jìn)行了排序，分為top10，被引用次數(shù)超過2萬，被引用次數(shù)超過1萬，未來有潛力的文章4部分。它們已經(jīng)或者在未來具有資格被寫入機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能的教科書，是一代又一代研究人員為我們留下的寶貴財富。需要說明的是，引用次數(shù)對近幾年新出現(xiàn)的文章是不公平的，它們還處于高速增長期，但好酒就是好酒，隨著時間的沉淀會越來越香。
引用次數(shù)最高的10篇文獻(xiàn) 第1名-EM算法 Arthur P Dempster, Nan M Laird, Donald B Rubin. Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the royal statistical society series b-methodological, 1976. 被引用次數(shù)：55989 令筆者驚訝的是排名第一的居然不是支持向量機(jī)，集成學(xué)習(xí)，深度學(xué)習(xí)，決策樹等歷史上赫赫有名的算法，而是EM。這是EM算法的原文，引用次數(shù)高達(dá)5萬多！EM算法在很多版本的排名中都被稱為機(jī)器學(xué)習(xí)的10大算法之一。它在數(shù)學(xué)上優(yōu)美，實(shí)現(xiàn)起來也很簡單，是求解含有隱變量的最大似然估計、最大后驗(yàn)概率估計的有力工具，在高斯混合模型，隱馬爾可夫模型等問題上得到了成功的應(yīng)用。在SIGAI之前的公眾號文章“理解EM算法”中對其原理進(jìn)行了詳細(xì)的介紹。
第2名-logistic回歸 David W Hosmer, Stanley Lemeshow. Applied logistic regression. Technometrics. 2000. 被引用次數(shù)：55234 代表了線性模型這一山頭。這不是logistic回歸的原文，logistic回歸在這之前幾十年就已經(jīng)被提出，但這篇文獻(xiàn)的引用次數(shù)卻達(dá)到了，雖然它不是論文而是書的形式，但其引用次數(shù)比著名的PRML還要高。這也符合我們的直觀認(rèn)識，logistic回歸雖然簡單，但卻實(shí)用，在工程上，往往是越簡單的東西越有用。
第3名-隨機(jī)森林 Breiman, Leo. Random Forests. Machine Learning 45 (1), 5-32, 2001. 被引用次數(shù)：42608 代表了集成學(xué)習(xí)這一大山頭。Breiman的隨機(jī)森林，分類與回歸樹分列第3/4名。而隨機(jī)森林的排名比AdaBoost算法要高。同樣的，隨機(jī)森林也很簡單，但卻好用。在SIGAI之前的公眾號文章“隨機(jī)森林概述”中對集成學(xué)習(xí)，bagging，隨機(jī)森林進(jìn)行了詳細(xì)的介紹。
第4名-分類與回歸樹 Breiman, L., Friedman, J. Olshen, R. and Stone C. Classification and Regression Trees, Wadsworth, 1984. 被引用次數(shù)：39580 這是分類與回歸樹的原文，代表了決策樹這一山頭。在各種決策樹中，分類與回歸樹（CART）應(yīng)當(dāng)是用的最廣的，現(xiàn)在還被用于充當(dāng)隨機(jī)森林，AdaBoost，梯度提升算法的弱學(xué)習(xí)器。Breiman老爺子在2005年已經(jīng)逝去，但他留給我們大片的樹和森林。在SIGAI之前的公眾號文章“理解決策樹”中對這一算法進(jìn)行了詳細(xì)的介紹。
第5名-支持向量機(jī)開源庫libsvm C.-C. Chang and C.-J. Lin. LIBSVM: a Library for Support Vector Machines. ACM TIST, 2:27:1-27:27, 2011. 被引用次數(shù)：38386 這篇文章介紹了libsvm開源庫。引用次數(shù)超過了支持向量機(jī)的原文，應(yīng)該算是公開的最經(jīng)典的支持向量機(jī)實(shí)現(xiàn)，其作者是臺灣大學(xué)林智仁教授及其學(xué)生。相信很多做機(jī)器學(xué)習(xí)研究和產(chǎn)品的同學(xué)都用過它。在SIGAI之前的公眾號文章“用一張理解SVM”，“理解SVM核函數(shù)和參數(shù)的作用”中對SVM進(jìn)行了詳細(xì)的介紹。
第6名-統(tǒng)計學(xué)習(xí)理論 An overview of statistical learning theory. VN Vapnik - IEEE transactions on neural networks 被引用次數(shù)：36117 Top10中唯一一篇理論層面的文章，出自Vapnik之手。他最有影響力的成果是支持向量機(jī)，VC維。但機(jī)器學(xué)習(xí)理論文章，整體來說引用次數(shù)相對較少，應(yīng)該與做這些方向的研究者更少，文章更少有關(guān)，大部分人還是在做某些具體的算法。
第7名-主成分分析 Ian T. Jolliffe. Principal Component Analysis. Springer Verlag, New York, 1986. 被引用次數(shù)：35849 代表了降維算法這一山頭。這篇文獻(xiàn)不是主成分分析的原文，其原文發(fā)表于1個多世紀(jì)以前。這個排名對得起主成分分析的江湖地位，在各種科學(xué)和工程數(shù)據(jù)分析中，PCA被廣為應(yīng)用。在SIGAI之前的公眾號文章“理解主成分分析（PCA）”中對PCA進(jìn)行了介紹。 第8名-決策樹樹-C4.5 J. Ross Quinlan. C4.5: Programs for Machine Learning. Morgan Kaufmann, San Francisco, CA, 1993. 被引用次數(shù)：34703 又是決策樹。決策樹簡單實(shí)用，可解釋性強(qiáng)，是機(jī)器學(xué)習(xí)早期的重要成果。
第9名-深度卷積神經(jīng)網(wǎng)絡(luò) Alex Krizhevsky, Ilya Sutskever, Geoffrey E.Hinton. ImageNet Classification with Deep Convolutional Neural Networks. 2012. 被引用次數(shù)：34574 代表了深度學(xué)習(xí)這一山頭。深度卷積神經(jīng)網(wǎng)絡(luò)的開山之作，將嚴(yán)樂村的卷積神經(jīng)網(wǎng)絡(luò)發(fā)揚(yáng)光大。這篇2012年才發(fā)表的文章能有如此的引用次數(shù)實(shí)屬不易，剛釀造出來的酒就是名酒，出自Hinton之手這也不奇怪。如此的被引用次數(shù)是當(dāng)前炙手可熱的深度學(xué)習(xí)造就的。同樣的，沒有復(fù)雜的公式和理論，但卻出奇的好用。
第10名-支持向量機(jī) Cortes, C. and Vapnik, V. Support vector networks. Machine Learning, 20, 273-297, 1995. 被引用次數(shù)：33540 代表了線性模型、核技巧的山頭，這是SVM正式的原文。支持向量機(jī)才排到第10位讓人有些奇怪，它可是在機(jī)器學(xué)習(xí)的江湖中風(fēng)光了近20年的算法，當(dāng)年言必稱SVM。
總結(jié)這top10的文獻(xiàn)可以看出，簡單才是美。這些文獻(xiàn)提出的算法沒有復(fù)雜的數(shù)學(xué)公式和晦澀難解的理論，但確實(shí)最經(jīng)典的，因?yàn)橛杏?！它們體現(xiàn)的是更深層次的哲學(xué)思想。其實(shí)在其他科學(xué)領(lǐng)域也是如此，數(shù)學(xué)領(lǐng)域中最經(jīng)典的一些定理和公式也是非常的優(yōu)美而簡潔，類似的還有物理。在top10中，Breiman和Vapnik兩次上榜。
引用次數(shù)超過2萬的文獻(xiàn) 除了top10之外，還有一些被引用次數(shù)超過2萬的文章 ，也堪稱經(jīng)典。 Lawrence R. Rabiner. A tutorial on Hidden Markov Models and selected applications in speech recognition. Proceedings of the IEEE. 77 (2): 257–286. 1989. 被引用次數(shù)：26466 代表了概率圖模型這一山頭。終于見到了概率圖模型，過去幾十年中，引用最廣的概率圖模型當(dāng)屬隱馬爾可夫模型（HMM）。這篇文章不是HMM的原文，但卻寫成了經(jīng)典，對HMM的原理，在語音識別中的建模方法講解得清晰透徹。
MacQueen, J. B. Some Methods for classification and Analysis of Multivariate Observations. Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability. 1. University of California Press. pp. 281–297, 1967 被引用次數(shù)：24035 代表了聚類算法的山頭。k均值算法的開山之作，它也在各種排名中都被稱為機(jī)器學(xué)習(xí)10大經(jīng)典算法，同樣是簡單而易于理解，我相信中學(xué)生都能看懂它！
J. Ross Quinlan. Induction of decision trees. Machine Learnin, 1(1): 81-106, 1986. 被引用次數(shù)：20359 介紹決策樹的文獻(xiàn)，不過多解釋，地位擺在這里。Quinlan也是決策樹的一大山頭。
引用次數(shù)超過1萬的文獻(xiàn) Roweis, Sam T and Saul, Lawrence K. Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500). 2000: 2323-2326. 被引用次數(shù)：12941 Tenenbaum, Joshua B and De Silva, Vin and Langford, John C. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500). 2000: 2319-2323. 被引用次數(shù)：11927 流形學(xué)習(xí)的雙雄，兩篇代表作，開這一領(lǐng)域之先河。流形學(xué)習(xí)是當(dāng)年非常熱門的方向。這兩篇文章都發(fā)在Science上，要知道，計算機(jī)科學(xué)的論文發(fā)Science和Nature是非常難的。在SIGAI之前的公眾號文章“流形學(xué)習(xí)概述”中對這類算法進(jìn)行了介紹。
Ronald A. Fisher. The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7 Part 2: 179-188, 1936. 被引用次數(shù)：15379 線性判別分析的原文，1936年就已經(jīng)發(fā)表了，那時候二戰(zhàn)還沒有爆發(fā)。 Burges JC. A tutorial on support vector machines for pattern recognition. Bell Laboratories, Lucent Technologies, 1997. 被引用次數(shù)：19885 介紹支持向量機(jī)在模式中應(yīng)用的文章，SVM當(dāng)年真是灌水的好方向！
Yoav Freund, Robert E Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. computational learning theory. 1995. 被引用次數(shù)：16431 AdaBoost算法的經(jīng)典之作，與SVM并列為當(dāng)年的機(jī)器學(xué)習(xí)雙雄。這是集成學(xué)習(xí)第一個有廣泛影響力的算法，在人臉檢測等問題上取得了成功。在SIGAI之前的公眾號文章“大話AdaBoost算法”，“理解AdaBoost算法”中對它進(jìn)行了詳細(xì)的介紹。
Lafferty, J., McCallum, A., Pereira, F. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. Proc. 18th International Conf. on Machine Learning. Morgan Kaufmann. pp. 282–289. 2001. 被引用次數(shù)：11978 條件隨機(jī)場的經(jīng)典之作，這種方法在自然語言處理，圖像分割等問題上得到了成功的應(yīng)用，如今還被與循環(huán)神經(jīng)網(wǎng)絡(luò)整合在一起，解決自然語言處理等領(lǐng)域中的一些重點(diǎn)問題。
David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams. Learning internal representations by back-propagating errors. Nature, 323(99): 533-536, 1986. 被引用次數(shù)：16610 嚴(yán)格意義上的反向傳播算法的原文，發(fā)在Nature上，重要性就不解釋了?，F(xiàn)在的深度學(xué)習(xí)還是使用它。Hinton的名字再一次出現(xiàn)。在SIGAI之前的公眾號文章“反向傳播算法推導(dǎo)-全連接神經(jīng)網(wǎng)絡(luò)”，“反向傳播算法推導(dǎo)-卷積神經(jīng)網(wǎng)絡(luò)”中進(jìn)行了詳細(xì)的講解。
Hornik, K., Stinchcombe, M., and White, H. Multilayer feedforward networks are universal approximators. Neural Networks, 2, 359-366, 1989. 被引用次數(shù)：16394 神經(jīng)網(wǎng)絡(luò)的理論文章，著名的萬能逼近定理，從理論上證明了至少有1個隱含層的神經(jīng)網(wǎng)絡(luò)尅逼近閉區(qū)間上任意連續(xù)函數(shù)到任意指定精度，為神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)提供了強(qiáng)有力的理論保障。 Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, november 1998. 被引用次數(shù)：16339 LeNet網(wǎng)絡(luò)的原文，被引用次數(shù)比嚴(yán)樂村同志在1989年，1990年提出卷積神經(jīng)網(wǎng)絡(luò)的論文還多。也讓嚴(yán)樂村得到了卷積神經(jīng)網(wǎng)絡(luò)之父的稱號。
Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, Going Deeper with Convolutions, Arxiv Link: http:///abs/1409.4842. 被引用次數(shù)：11268 GoogLeNet網(wǎng)絡(luò)的原文，做深度學(xué)習(xí)的同學(xué)都知道。發(fā)表于2015年的文章能有如此的引用次數(shù)，當(dāng)然得利于深度學(xué)習(xí)的火爆。
K. Simonyan and A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition. international conference on learning representations. 2015. 被引用次數(shù)：18980 VGG網(wǎng)絡(luò)的原文，經(jīng)典的卷積網(wǎng)絡(luò)結(jié)構(gòu)，被用在各個地方，引用次數(shù)比GoogLeNet多不少。
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Deep Residual Learning for Image Recognition. computer vision and pattern recognition, 2015. 被引用次數(shù)：17285 殘差網(wǎng)絡(luò)的原文，做深度學(xué)習(xí)的同學(xué)都知道，終于用中國人名字上榜，加油！
S. Hochreiter, J. Schmidhuber. Long short-term memory. Neural computation, 9(8): 1735-1780, 1997. 被引用次數(shù)：15448 LSTM的原文，讓循環(huán)神經(jīng)網(wǎng)絡(luò)真正走向了實(shí)用。作者在深度學(xué)習(xí)領(lǐng)域做出了重要的貢獻(xiàn)，但卻非常低調(diào)，以至于很多人都不知道。
Martin Ester, Hanspeter Kriegel, Jorg Sander, Xu Xiaowei. A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, pp. 226–231, 1996. 被引用次數(shù)：13817 又是聚類算法，著名的DBSCAN-基于密度的聚類算法的典型代表。這算法也非常簡單，但也非常強(qiáng)大，沒有一個超過中學(xué)數(shù)學(xué)范圍之外的公式。在SIGAI之前的公眾號文章“聚類算法概述”中對它進(jìn)行了介紹。
Dorin Comaniciu, Peter Meer. Mean shift: a robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002. 被引用次數(shù)：12146 大名鼎鼎的mean shift算法，同樣是及其簡潔優(yōu)美，但非常好用。做機(jī)器學(xué)習(xí)，機(jī)器視覺的同學(xué)肯定都知道，尤其是做視覺領(lǐng)域中目標(biāo)跟蹤算法的。
未來可能有潛力的文獻(xiàn) 下面這些文章的被引用次數(shù)目前還沒有超過1萬，但它們都還很年輕，未來很有前途，因此單獨(dú)列出。需要強(qiáng)調(diào)的是有幾篇強(qiáng)化學(xué)習(xí)的文章雖然是1990年代發(fā)表的，但我們也列出來了，它們會隨著深度學(xué)習(xí)研究的進(jìn)展而逐漸體現(xiàn)出更重要的價值。
Goodfellow Ian, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets. Advances in Neural Information Processing Systems, 2672-2680, 2014. 被引用次數(shù)：6902 生成對抗網(wǎng)絡(luò)的開山之作，代表了深度生成模型這一山頭。生成對抗網(wǎng)絡(luò)的思想簡單而優(yōu)美，而且有效，出現(xiàn)了大量改進(jìn)算法和各種應(yīng)用。變分自動編碼器（VAE）是僅次于GAN的深度生成模型，但其原文的被引用次數(shù)遠(yuǎn)不及GAN。
Richard Sutton. Learning to predict by the methods of temporal differences. Machine Learning. 3 (1): 9-44.1988. 被引用次數(shù)：5108 時序差分算法的開山之作，地位就不多解釋了。
Mnih, Volodymyr, et al. Human-level control through deep reinforcement learning. Nature. 518 (7540): 529-533, 2015. 被引用次數(shù)：4570 深度強(qiáng)化學(xué)習(xí)的重量級作品，出自DeepMind公司之手。第一篇文章發(fā)表于2013年，引用次數(shù)遠(yuǎn)不及這篇，這篇可是發(fā)在Nature上，開創(chuàng)了DQN算法。
David Silver, et al. Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 2016. 被引用次數(shù)：4123 AlphaGo的原文，就不解釋了，地球人都知道。
Christopher JCH Watkins and Peter Dayan. Q-learning. Machine learning, 8(3-4):279–292, 1992. 被引用次數(shù)：8308 Q學(xué)習(xí)的原文，奠定了這一算法的基礎(chǔ)，也是DQN的基礎(chǔ)。 本文列出的算法在《機(jī)器學(xué)習(xí)與應(yīng)用》（清華大學(xué)出版社出版 雷明著）一書中均有詳細(xì)的講解。  全場六折（12月27日~1月31日） 倒計時8天 2019，開啟學(xué)習(xí)的一年！ 全線產(chǎn)品6折（包括課程、知識庫解讀視頻、云端實(shí)驗(yàn)室） 購買方式：登陸【官網(wǎng)】www.sigai.cn 即可購買 |
|
|
