自2012年以來，隨著深度學習與強化學習的興起，機器學習與人工智能成為科技領域熱門的話題。越來越多的在校生與在職人員開始學習這些知識。然而，機器學習（包括深度學習與強化學習）對數(shù)學有較高的要求。不少數(shù)學知識（如最優(yōu)化方法、矩陣論、信息論、隨機過程、圖論）超出了理工科本科和研究生的學習范疇。即使對于理工科學生學習過的微積分、線性代數(shù)與概率論，機器學習中所用到的不少知識超出了本科的教學范疇?？吹綍蛘撐闹械墓胶屠碚摱恢湟?，是很多讀者面臨的一大難題。

如果你想學好機器學習并打下堅實的數(shù)學基礎，那么這本《機器學習的數(shù)學》再適合不過。

• 人工智能深度學習領域經(jīng)典教程，AI程序員的數(shù)學參考書

• 透徹理解機器學習算法，從數(shù)學層面搞懂核心算法原理的邏輯

• python程序講解，眾多專家學者力薦

全書共由8章組成，用非常小的篇幅精準而系統(tǒng)地覆蓋了機器學習、深度學習、強化學習所必需的數(shù)學知識，內(nèi)容基本上涵蓋了這3門課所需的絕大部分數(shù)學知識。針對理工科本科階段的“高等數(shù)學/微積分”，“線性代數(shù)”，“概率論與數(shù)理統(tǒng)計”進行了精確地補充。下面介紹每一章的主要內(nèi)容。

第1章 一元函數(shù)微積分
這一章的內(nèi)容包括極限與連續(xù)性，一元函數(shù)的導數(shù)與微分，微分中值定理，泰勒公式，不定積分，定積分及其應用，以及常微分方程。這一章講述了可數(shù)集與不可數(shù)集，上確界與下確界，李普希茨連續(xù)性這些常規(guī)微積分課程所沒有講述的知識。它們對于理解后續(xù)章節(jié)以及對機器學習算法的理論分析是至關(guān)重要的。作為應用，還對機器學習中常用的logistic函數(shù)、ReLU函數(shù)等函數(shù)的特性與用途進行了介紹。
第2章 線性代數(shù)與矩陣論
這一章的內(nèi)容向量及其運算，矩陣及其運算，行列式，線性方程組，特征值與特征向量，二次型，矩陣分解。特別地，本章講述了向量的范數(shù)、向量的阿達瑪積，矩陣的范數(shù)，Houserholder變換、QR算法、廣義特征值、瑞利商、條件數(shù)等特征值相關(guān)的內(nèi)容，以及矩陣分解。作為機器學習中的應用實例，本章講述了線性回歸，線性分類器與支持向量機，人工神經(jīng)網(wǎng)絡，譜歸一化與譜正則化的原理。
第3章 多元函數(shù)微積分
這一章的內(nèi)容包括偏導數(shù)，方向?qū)?shù)與梯度，Hessian矩陣，雅克比矩陣，向量與矩陣求導，微分算法，多元函數(shù)泰勒公式，多重積分，以及無窮級數(shù)。其中，Hessian矩陣、雅克比矩陣、多元函數(shù)泰勒公式是本科微積分課程通常沒有講述的。它們對于多元函數(shù)極值、凹凸性，以及機器學習算法的推導分析是非常重要的，也是理解最優(yōu)化方法的基礎。微分算法在機器學習算法中非常重要，而絕大多數(shù)讀者在之前的數(shù)學課程中并沒有接觸過。這一章還講述了最小二乘法、反向傳播算法這些應用實例。
第4章 最優(yōu)化方法
最優(yōu)化方法在機器學習中處于核心地位，幾乎所有機器學習算法最終都歸結(jié)于求解最優(yōu)化問題，遺憾的是絕大部分讀者之前并沒有學習這些課程。這一章系統(tǒng)地介紹了機器學習中的最優(yōu)化方法，包括基本概念，一階優(yōu)化算法（包括梯度下降法，最速下降法，梯度下降法的改進，隨機梯度下降法），二階優(yōu)化算法（包括牛頓法，擬牛頓法），分治法，凸優(yōu)化問題，帶約束的優(yōu)化算法（包括拉格朗日乘數(shù)法，拉格朗日對偶，KKT條件），多目標優(yōu)化問題，泛函極值與變分法，以及機器學習中的目標函數(shù)構(gòu)造（包括有監(jiān)督學習，無監(jiān)督學習，強化學習）。作為應用實例，講解了人工神經(jīng)網(wǎng)絡的訓練算法，支持向量機的SVM算法，求解logistic回歸對偶問題的坐標下降法，機器學習中的典型凸優(yōu)化問題，線性判別分析，支持向量機原問題與對偶問題的推導以及特性，多目標神經(jīng)結(jié)構(gòu)搜索。下面這張圖是本章的知識結(jié)構(gòu)。

下面這張圖列出了機器學習中所用到的最優(yōu)化方法以及其所用的數(shù)學知識。這兩張圖對于理解機器學習中的優(yōu)化問題是非常有用的。

第5章 概率論
概率論對于機器學習來說同樣至關(guān)重要，用概率論的觀點對機器學習問題進行建模，是一種常用的手段。這一章講述了隨機事件與概率，隨機變量與概率分布，機器學習中的常用概率分布，概率分布變換，隨機向量與聯(lián)合概率分布，極限定理，參數(shù)估計問題，隨機算法，以及采樣算法。下面這張圖是本章的知識結(jié)構(gòu)。

需要重點強調(diào)的是，機器學習所用的概率論知識，有不少超出了一般本科概率論課程的范圍。典型的包括條件獨立性，Jensen不等式，多項分布，t分布，概率分布變換，多元正態(tài)分布，最大后驗概率估計，貝葉斯估計，核密度估計，隨機數(shù)生成問題，遺傳算法，蒙特卡洛算法，以及采樣算法。這一章對這些知識進行了系統(tǒng)的補充。另外還講解了貝葉斯分類器，高斯混合模型，logistic回歸，EM算法，Mean Shift算法等機器學習算法。下圖總計了機器學習中的概率模型以及所用的概率論知識。

第6章 信息論
信息論是絕大部分讀者在本科、研究生期間沒有學過的課程，而交叉熵、KL散度等頻繁的出現(xiàn)在機器學習、深度學習的書籍與論文中。這一章從機器學習的角度講述信息論的知識，內(nèi)容包括熵與聯(lián)合熵，交叉熵，KL散度，JS散度，互信息，以及條件熵。下圖對這些常用的信息論概念進行了總結(jié)。

作為應用，本章還講述了決策樹的訓練算法，softmax回歸，流形降維（SNE算法），變分推斷，生成對抗網(wǎng)絡，特征選擇等機器算法與技術(shù)。
第7章 隨機過程
隨機過程對于絕大部分讀者也是陌生的，而高斯過程、馬爾可夫過程等知識在機器學習中被廣泛應用。這一章系統(tǒng)地介紹了機器學習里常用的隨機過程，包括馬爾可夫過程與高斯過程。對于在機器學習中的應用，重點講述了隱馬爾可夫模型，強化學習中的馬爾可夫決策過程，馬爾可夫鏈采樣算法（MCMC），高斯過程回歸，以及貝葉斯優(yōu)化。隨機過程較為抽象，本章力求用機器學習的實際應用來直觀地解釋這些數(shù)學概念。
第8章 圖論
除計算機、軟件工程等專業(yè)之外，絕大部分讀者并沒有學習過圖論的知識，但圖論對于機器學習的作用絲毫不遜色于對整個計算機科學的作用。流形降維，譜聚類，圖神經(jīng)網(wǎng)絡中都離不開它的身影。這一章講述了機器學習中最常用的圖論知識，包括基本概念，一些特殊的圖，重要的圖算法，以及譜圖理論。作為應用，講述了計算圖與自動微分，概率圖模型，流形降維與譜聚類中所用的樣本集的相似度圖，受限玻爾茲曼機，神經(jīng)結(jié)構(gòu)搜索（NAS），以及流形降維（拉普拉斯特征映射）。

為何要選擇《機器學習的數(shù)學》這本書？

1.用盡可能小的篇幅精準地覆蓋了機器學習所需的數(shù)學知識

對于機器學習究竟需要哪些數(shù)學知識，本書給出了一個非常精確的答案。力求用最小的篇幅覆蓋機器學習領域所需的主要數(shù)學知識，以減輕讀者的學習負擔。只需把本書系統(tǒng)地學習一遍，即可滿足幾乎絕大部分讀者在機器學習、深度學習、強化學習以及它們的各個應用方向做學術(shù)、產(chǎn)品研發(fā)的要求。

2.從機器學習的角度講述數(shù)學，從數(shù)學的角度講述機器學習

本書的一大特色是從機器學習的角度講述數(shù)學，從數(shù)學的角度講授機器學習，實現(xiàn)了二者的無縫銜接。讀者之前在學數(shù)學課的時候通常面臨一個問題：這些數(shù)學知識有什么用，應該怎么用？本書通過大量的機器學習實例講解，在數(shù)學與機器學習之間架起了橋梁。既有利于理解數(shù)學知識本身，又能培養(yǎng)數(shù)學建模思維，同時還理解機器學習算法的數(shù)學本質(zhì)，可謂一舉多得。

3.結(jié)構(gòu)合理，脈絡清晰

對于全書的內(nèi)容安排以及章節(jié)結(jié)構(gòu)，作者有細致的考量。得利于扎實的數(shù)學功底以及機器學習領域的造詣。作者非常清晰的知道應該講述哪些數(shù)學知識，以及它們之間的順序、銜接安排。在更細的粒度上，對于數(shù)學、機器學習算法之間的聯(lián)系與演化脈絡，作者也進行了大量的總結(jié)。下面是對各種梯度下降法演化關(guān)系的總結(jié)。

4.講解透徹，深入淺出

數(shù)學本身是抽象難懂的，如何把一些概念、理論清晰的講述出來，是一個非常有挑戰(zhàn)的問題。在這一方面，作者也進行了大量的思考與設計，力求用淺顯易懂的語言把晦澀的知識講述清楚。下面是對Householder變換的講解。

5.推導、證明詳細

對于絕大部分數(shù)學知識和機器學習算法的推導，我們都在篇幅允許的范圍內(nèi)做到盡可能的詳細，不給讀者留下知識的空白。有不少推導和證明過程，以及解釋，是讀者進行構(gòu)思的，市面上不曾有過。

關(guān)于作者

雷明資深機器學習、機器視覺專家。2009年畢業(yè)于清華大學計算機系，研究方向為機器視覺、機器學習，曾發(fā)表論文數(shù)篇?！稒C器學習-原理、算法與應用》（清華大學出版社，2019.09）作者，該書為清華大學出版社2019年度暢銷書，銷量超過2萬冊。曾就職于百度，任高級軟件工程師、項目經(jīng)理；zmodo/meShare公司CTO、平臺研發(fā)中心負責人。2018年創(chuàng)立SIGAI，致力于研發(fā)零編程、可視化的機器視覺框架，用標準化的算法賦能各個行業(yè)，已于2020年6月完成pre-A輪融資。