|
導(dǎo)言 為了幫助參加校園招聘、社招的同學(xué)更好的準(zhǔn)備面試，SIGAI曾整理出了一些常見(jiàn)的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)面試題（上篇），獲得了小伙伴們的廣泛好評(píng)，并強(qiáng)烈要求推出下篇的面試問(wèn)題集錦。千呼萬(wàn)喚始出來(lái)，今日特地奉上，希望幫助各位更好的理解機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的算法原理和實(shí)踐應(yīng)用。 1、為什么隨機(jī)森林能降低方差？ 隨機(jī)森林的預(yù)測(cè)輸出值是多課決策樹的均值，如果有n個(gè)獨(dú)立同分布的隨機(jī)變量xi，它們的方差都為σ2，則它們的均值的方差為： 2、對(duì)于帶等式和不等式約束的優(yōu)化問(wèn)題，KKT條件是取得極值的充分條件還是必要條件？對(duì)于SVM呢？ 對(duì)于一個(gè)一般的問(wèn)題，KKT條件是取得極值的必要條件而不是充分條件。對(duì)于凸優(yōu)化問(wèn)題，則是充分條件，SVM是凸優(yōu)化問(wèn)題 3、解釋維數(shù)災(zāi)難的概念 當(dāng)特征向量數(shù)理很少時(shí)，增加特征，可以提高算法的精度，但當(dāng)特征向量的維數(shù)增加到一定數(shù)量之后，再增加特征，算法的精度反而會(huì)下降 4、Logistic回歸為什么用交叉熵而不用歐氏距離做損失函數(shù)？ 如果用歐氏距離，不是凸函數(shù)，而用交叉熵則是凸函數(shù) 5、解釋hinge loss損失函數(shù) 如果樣本沒(méi)有違反不等式約束，則損失為0；如果違反約束，則有一個(gè)正的損失值 6、解釋GBDT的核心思想 用加法模擬，更準(zhǔn)確的說(shuō)，是多棵決策樹樹來(lái)擬合一個(gè)目標(biāo)函數(shù)。每一棵決策樹擬合的是之前迭代得到的模型的殘差。求解的時(shí)候，對(duì)目標(biāo)函數(shù)使用了一階泰勒展開，用梯度下降法來(lái)訓(xùn)練決策樹 7、解釋XGBoost的核心思想 在GBDT的基礎(chǔ)上，目標(biāo)函數(shù)增加了正則化項(xiàng)，并且在求解時(shí)做了二階泰勒展開 8、解釋DQN中的經(jīng)驗(yàn)回放機(jī)制，為什么需要這種機(jī)制？ 將執(zhí)行動(dòng)作后得到的狀態(tài)轉(zhuǎn)移構(gòu)造的樣本存儲(chǔ)在一個(gè)列表中，然后從中隨機(jī)抽樣，來(lái)訓(xùn)練Q網(wǎng)絡(luò)。為了解決訓(xùn)練樣本之間的相關(guān)性，以及訓(xùn)練樣本分布變化的問(wèn)題 9、什么是反卷積？ 反卷積也稱為轉(zhuǎn)置卷積，如果用矩陣乘法實(shí)現(xiàn)卷積操作，將卷積核平鋪為矩陣，則轉(zhuǎn)置卷積在正向計(jì)算時(shí)左乘這個(gè)矩陣的轉(zhuǎn)置WT，在反向傳播時(shí)左乘W，與卷積操作剛好相反，需要注意的是，反卷積不是卷積的逆運(yùn)算 10、反卷積有哪些用途？ 實(shí)現(xiàn)上采樣；近似重構(gòu)輸入圖像，卷積層可視化 11、PCA（主成分分析）優(yōu)化的目標(biāo)是什么？ 最小化重構(gòu)誤差/最大化投影后的方差 12、LDA（線性判別分析）優(yōu)化的目標(biāo)是什么？ 最大化類間差異與類內(nèi)差異的比值 13、解釋神經(jīng)網(wǎng)絡(luò)的萬(wàn)能逼近定理 只要激活函數(shù)選擇得當(dāng)，神經(jīng)元的數(shù)理足夠，至少有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)可以逼近閉區(qū)間上任意一個(gè)連續(xù)函數(shù)到任意指定的精度 14、softmax回歸訓(xùn)練時(shí)的目標(biāo)函數(shù)時(shí)凸函數(shù)嗎？ 是，但有不止一個(gè)全局最優(yōu)解 15、SVM為什么要求解對(duì)偶問(wèn)題？為什么對(duì)偶問(wèn)題與原問(wèn)題等價(jià)？ 原問(wèn)題不容易求解，含有大量的不易處理的不等式約束。原問(wèn)題滿足Slater條件，強(qiáng)對(duì)偶成立，因此原問(wèn)題與對(duì)偶問(wèn)題等價(jià) 16、神經(jīng)網(wǎng)絡(luò)是生成模型還是判別模型？ 判別模型，直接輸出類別標(biāo)簽，或者輸出類后驗(yàn)概率p(y|x) 17、logistic回歸是生成模型還是判別模型？ 判別模型，直接輸出類后驗(yàn)概率p(y|x)，沒(méi)有對(duì)類條件概率p(x|y)或者聯(lián)合概率p(x, y)建模 18、Batch Normalization 和 Group Normalization有何區(qū)別？ BN是在 batch這個(gè)維度上進(jìn)行歸一化，GN是計(jì)算channel方向每個(gè)group的均值和方差 19、GAN中模型坍塌（model collapse）是指什么？ 模型坍塌，即產(chǎn)生的樣本單一，沒(méi)有了多樣性。 20、目前GAN訓(xùn)練中存在的主要問(wèn)題是什么？ （1） 訓(xùn)練不易收斂 （2）模型坍塌 21、Shufflenet為什么效果會(huì)好？ 通過(guò)引入“通道重排”增加了組與組之間信息交換。 22、模型壓縮的主要方法有哪些？ （1）從模型結(jié)構(gòu)上優(yōu)化：模型剪枝、模型蒸餾、automl直接學(xué)習(xí)出簡(jiǎn)單的結(jié)構(gòu) （2）模型參數(shù)量化將FP32的數(shù)值精度量化到FP16、INT8、二值網(wǎng)絡(luò)、三值網(wǎng)絡(luò)等 23、目標(biāo)檢測(cè)中IOU是如何計(jì)算的？ 檢測(cè)結(jié)果與 Ground Truth 的交集比上它們的并集，即為檢測(cè)的準(zhǔn)確率 IoU 24、給定0-1矩陣，如何求連通域？ 可采用廣度優(yōu)先搜索 25、OCR任務(wù)中文本序列識(shí)別的主流方法是什么？ RNN+CTC 26、在神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)中，哪些會(huì)有權(quán)重共享？？ （1）卷積神經(jīng)網(wǎng)絡(luò) （2）遞歸神經(jīng)網(wǎng)絡(luò) （3）全連接網(wǎng)絡(luò) 答案 （1）&（2） 27、一個(gè)典型人臉識(shí)別系統(tǒng)的識(shí)別流程？ 人臉檢測(cè)--》人臉對(duì)齊--》人臉特征提取--》人臉特征比對(duì) 28、平面內(nèi)有兩個(gè)矩形，如何快速計(jì)算它們的IOU？ 29、使用深度卷積網(wǎng)絡(luò)做圖像分類如果訓(xùn)練一個(gè)擁有1000萬(wàn)個(gè)類的模型會(huì)碰到什么問(wèn)題？ 提示：內(nèi)存/顯存占用；模型收斂速度等 30、HMM和CRF的區(qū)別？ 前者描述的是 P(X,Y)=P(X|Y)*P(Y), 是 generative model; 后者描述的是 P(Y|X), 是 discriminative model. 前者你要加入對(duì)狀態(tài)概率分布的先驗(yàn)知識(shí)，而后者完全是 data driven。 31、深度學(xué)習(xí)中為什么不用二階導(dǎo)去優(yōu)化？ Hessian矩陣是n*n， 在高維情況下這個(gè)矩陣非常大，計(jì)算和存儲(chǔ)都是問(wèn)題 32、深度機(jī)器學(xué)習(xí)中的mini-batch的大小對(duì)學(xué)習(xí)效果有何影響？ mini-batch太小會(huì)導(dǎo)致收斂變慢，太大容易陷入sharp minima，泛化性不好 33、線性回歸對(duì)于數(shù)據(jù)的假設(shè)是怎樣的？ http://en./wiki/Linear_regression （1） 線性，y是多個(gè)自變量x之間的線性組合 （2） 同方差性，不同的因變量x的方差都是相同的 （3） 弱外生性，假設(shè)用來(lái)預(yù)測(cè)的自變量x是沒(méi)有測(cè)量誤差的 （4） 預(yù)測(cè)變量之中沒(méi)有多重共線性 34、什么是共線性, 跟過(guò)擬合有啥關(guān)聯(lián)? 共線性：多變量線性回歸中，變量之間由于存在高度相關(guān)關(guān)系而使回歸估計(jì)不準(zhǔn)確。 共線性會(huì)造成冗余，導(dǎo)致過(guò)擬合。 解決方法：排除變量的相關(guān)性／加入權(quán)重正則。 35、Bias和Variance的區(qū)別？ Bias量了學(xué)習(xí)算法的期望預(yù)測(cè)與真實(shí)結(jié)果的偏離程度，即刻畫了算法本身的擬合能力。 Variance度量了同樣大小的訓(xùn)練集的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能變化，即刻畫了數(shù)據(jù)擾動(dòng)所造成的影響。 36、對(duì)于支持向量機(jī)，高斯核一般比線性核有更好的精度，但實(shí)際應(yīng)用中為什么一般用線性核而不用高斯核？ 如果訓(xùn)練樣本的量很大，訓(xùn)練得到的模型中支持向量的數(shù)量太多，在每次做預(yù)測(cè)時(shí)，高斯核需要計(jì)算待預(yù)測(cè)樣本與每個(gè)支持向量的內(nèi)積，然后做核函數(shù)變換，這會(huì)非常耗；而線性核只需要計(jì)算WTX+b 37、高斯混合模型中，為什么各個(gè)高斯分量的權(quán)重之和要保證為1？ 為了保證這個(gè)函數(shù)時(shí)一個(gè)概率密度函數(shù)，即積分值為1 38、介紹beam search算法的原理 這是一種解碼算法，每次選擇概率最大的幾個(gè)解作為候選解，逐步擴(kuò)展 39、介紹seq2seq的原理 整個(gè)系統(tǒng)由兩個(gè)RNN組成，一個(gè)充當(dāng)編碼器，一個(gè)充當(dāng)解碼器；編碼器依次接收輸入的序列數(shù)據(jù)，當(dāng)最后一個(gè)數(shù)據(jù)點(diǎn)輸入之后，將循環(huán)層的狀態(tài)向量作為語(yǔ)義向量，與解碼器網(wǎng)絡(luò)的輸入向量一起，送入解碼器中進(jìn)行預(yù)測(cè) 40、介紹CTC的原理 CTC通過(guò)引入空白符號(hào)，以及消除連續(xù)的相同符號(hào)，將RNN原始的輸出序列映射為最終的目標(biāo)序列?？梢越鉀Q對(duì)未對(duì)齊的序列數(shù)據(jù)進(jìn)行預(yù)測(cè)的問(wèn)題，如語(yǔ)音識(shí)別 41、介紹廣義加法模型的原理 廣義加法模型用多個(gè)基函數(shù)的和來(lái)擬合目標(biāo)函數(shù)，訓(xùn)練的時(shí)候，依次確定每個(gè)基函數(shù) 42、為什么很多時(shí)候用正態(tài)分布來(lái)對(duì)隨機(jī)變量建模？ 現(xiàn)實(shí)世界中很多變量都服從或近似服從正態(tài)分布。中心極限定理指出，抽樣得到的多個(gè)獨(dú)立同分布的隨機(jī)變量樣本，當(dāng)樣本數(shù)趨向于正無(wú)窮時(shí)，它們的和服從正態(tài)分布 |
|
|
