新智元報道

康奈爾大學(xué)的 Andrew Gordon Wilson 和 Permutation Venture 的 Yunus Saatchi 最近發(fā)布了一項對無監(jiān)督和半監(jiān)督式學(xué)習(xí)的研究，名為貝葉斯生成對抗網(wǎng)絡(luò)（Bayesian GAN）。

深度學(xué)習(xí)對大量標(biāo)簽數(shù)據(jù)的依賴是顯而易見的，這也成為抑制深度學(xué)習(xí)發(fā)展的一個潛在要素之一。長久以來，科學(xué)家們都在探索使用盡量少的標(biāo)簽數(shù)據(jù)，希望實現(xiàn)從監(jiān)督式學(xué)習(xí)到半監(jiān)督式學(xué)習(xí)再到最后的無監(jiān)督式學(xué)習(xí)的轉(zhuǎn)化。

本文的作者在文章中也提到，“自然高維數(shù)據(jù)的有效半監(jiān)督學(xué)習(xí)對于減少深度學(xué)習(xí)對大量標(biāo)簽數(shù)據(jù)集的依賴性至關(guān)重要?！?/p>

一般情況下，我們是沒有帶標(biāo)簽的數(shù)據(jù)的，除非以高成本或者通過人力勞動或通過昂貴的儀器（如用于自主駕駛的激光雷達(dá)）來實現(xiàn)的。

目前，無監(jiān)督學(xué)習(xí)離我們還有一段距離，但是半監(jiān)督式學(xué)習(xí)已經(jīng)成為最新的研究熱點。特別是進(jìn)入2017年以來，對抗生成網(wǎng)絡(luò)（GAN）和自動編碼等技術(shù)不斷獲得進(jìn)步，都佐證同時推動了半監(jiān)督學(xué)習(xí)領(lǐng)域的發(fā)展。

對于人工智能終極目標(biāo)之一——無監(jiān)督學(xué)習(xí)來說，半監(jiān)督學(xué)習(xí)也提供了一個實用和可量化的機制，以評估無人監(jiān)督學(xué)習(xí)中的最新進(jìn)展。

貝葉斯對抗生成網(wǎng)絡(luò)：常見基準(zhǔn)上能夠提供最好的半監(jiān)督學(xué)習(xí)量化結(jié)果

我們先來看一看文章的摘要：

作者提到，生成對抗網(wǎng)絡(luò)能在不知不覺中學(xué)習(xí)圖像、聲音和數(shù)據(jù)中的豐富分布。這些分布通常因為具有明確的相似性，所以很難去建模。

他們在研究中提出了一個實用的貝葉斯公式，在實踐中GAN來進(jìn)行無監(jiān)督學(xué)習(xí)和半監(jiān)督式學(xué)習(xí)。在這一框架之下，使用了動態(tài)的梯度漢密爾頓蒙特卡洛（Hamiltonian Monte Carlo）來將生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中的權(quán)重最大化。其獲得結(jié)果的方法非常的直接，并且在不需要任何標(biāo)準(zhǔn)的干預(yù)，比如特征匹配或者mini-batch discrimination的情況下，都獲得了良好的表現(xiàn)。

通過對生成器中的參數(shù)部署一個具有表達(dá)性的后驗機制（posteriors）。貝葉斯GAN能夠避免模式碰撞（mode-collapse），產(chǎn)生可判斷的、多樣化的候選樣本，并且提供在既有的一些基準(zhǔn)測試上，能夠提供最好的半監(jiān)督學(xué)習(xí)量化結(jié)果。比如，SVHN, CelebA 和 CIFAR-10。效果遠(yuǎn)遠(yuǎn)超過 DCGAN, Wasserstein GANs 和 DCGAN 等等。

機器學(xué)習(xí)的關(guān)鍵里程碑：高維自然信號生成模型的建立

通過學(xué)習(xí)高維自然信號，如圖像，視頻和音頻，進(jìn)而建立一個很好的生成模型，長久以來一直是機器學(xué)習(xí)的關(guān)鍵里程碑之一。在深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的賦能之下，生成對抗網(wǎng)絡(luò)（GAN）（Goodfellow等，2014）和變分自動編碼器（Kingma和Welling，2013）使AI 領(lǐng)域離實現(xiàn)這一目標(biāo)更近了。

GAN通過深層神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換白噪聲（white noise），以從數(shù)據(jù)分布中產(chǎn)生候選樣本。一個判別器會以一種監(jiān)督式的方法，來學(xué)習(xí)如何調(diào)整其參數(shù)，以正確地區(qū)分一個特定的樣本是來自生成器或者真實的數(shù)據(jù)分布。同時，生成器會更新其參數(shù)，以更好地“騙過”判別器。一旦生成器有了足夠的容量，它就能從感興趣的數(shù)據(jù)分布中近似地抽取CDF、反CDF組合。

由于設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)為圖像提供了合理的指標(biāo)（不同于例如高斯似然，Gaussian likelihoods），使用卷積神經(jīng)網(wǎng)絡(luò)的GAN以反過來提供令人信服的，在圖像上的隱含分布。

雖然GAN有著極大的影響力，但是他們的學(xué)習(xí)目標(biāo)會導(dǎo)致模式碰撞（mode

collapse），也就是，生成器只存儲了少量的幾個訓(xùn)練樣本，來騙過判別器。這種方法論是對過去的高斯混合中最大似然密度估計的一種“懷舊”：通過每一個組件的變化的碰撞，我們可以獲得一些永久性的相似性，然后把這些相似性儲存在數(shù)據(jù)集中，但是，這些相似性對于可生成的密度估計來說是無用的。

此外，在GAN的訓(xùn)練過程中，需要有大量的干預(yù)，其中包括，特征匹配、標(biāo)簽梳理和mini-batch discrimination。為了緩解這些在實踐中的困難，最近許多研究都著眼于在標(biāo)準(zhǔn)的GAN訓(xùn)練中，用可轉(zhuǎn)化的衡量標(biāo)注，比如f-fivergences和Wasserstein分歧來替換Jensen-Shannon 分歧。

這些研究中，很多都選擇了引入多變的正則化矩陣，以將相似性密度估計最大化。但是，正如選擇爭取的正則化矩陣非常困難一樣，決定自己想要在GAN的訓(xùn)練中使用的“分歧”，也同樣很難。

作者的想法是，GAN能夠通過完整的概率推理來進(jìn)行提升。確實，在生成器上的參數(shù)中的一個后驗分布，可以是寬泛的和高度多模式的?？偟膩碚f，GAN的訓(xùn)練是基于最小-最大化優(yōu)化的，通常會對后驗機制在整個網(wǎng)絡(luò)的權(quán)重進(jìn)行衡量，把其作為一個單一節(jié)點上的一個聚焦點。

這樣一來，即便生成器不對訓(xùn)練樣本進(jìn)行存儲，我們依然能期待，生成器中的樣本與數(shù)據(jù)分布中得到的樣本是完全相關(guān)的。

此外，在網(wǎng)絡(luò)權(quán)重中的后驗器（posterior）中的每一個模型都與更廣泛的不同的生成器形成呼應(yīng)，彼此都有自己極具意義的闡釋。通過完全呈現(xiàn)生成器和判別器上的參數(shù)中的后驗分布，我們能夠更加準(zhǔn)確地為真實的數(shù)據(jù)建模。隨后，推測的數(shù)據(jù)分布能夠被用于準(zhǔn)確和高數(shù)據(jù)效率和半監(jiān)督式的學(xué)習(xí)。

這種新提出的方法，簡潔性是其最大的優(yōu)勢——推理是直接進(jìn)行的、可解釋的、穩(wěn)定的。確實，所有的實驗結(jié)果的獲得，都不需要參數(shù)匹配，正則化或者任何的特別（ad-hoc）技巧。

相關(guān)代碼將很快公開。

效果：在6大數(shù)據(jù)集上的驗證

在本研究中，作者提出了一個簡單的貝葉斯公式，用于GAN中的端到端的無監(jiān)督和半監(jiān)督學(xué)習(xí)。在這個框架內(nèi)，使用動態(tài)的梯度Hamiltonian Monte Carlo將生成器和判別器的權(quán)重posteriors進(jìn)行邊際化。作者對從生成器中獲得的數(shù)據(jù)樣本進(jìn)行了分析，在生成器的權(quán)重中，展示了跨越幾個獨特模型的探索。還展示了在學(xué)習(xí)真正的分布的過程中，數(shù)據(jù)和循環(huán)的有效性。

作者稱，在幾個著名的基準(zhǔn)測試，比如SVHN, MNIST, CIFAR-10 和 CelebA中展示了最好的半監(jiān)督學(xué)習(xí)表現(xiàn)。

上圖是貝葉斯GAN在幾個數(shù)據(jù)集上與DCGAN、W-DCGAN等模型的性能比較。

MINST 是一個用于評估新的機器學(xué)習(xí)模型的著名基準(zhǔn)，包含了60k（50k訓(xùn)練和10k測試）手寫數(shù)字的標(biāo)簽圖像。

http://yann./exdb/mnist/

MINST 最早的作者是 Chris Burges ， Corinna Cortes ，后由Yann LeCun、Corinna Cortes 和 Christopher J.C. Burges共同完成。

作者共使用了6個著名的公開數(shù)據(jù)集來測試貝葉斯對抗生成網(wǎng)絡(luò)模型：synthetic, MNIST, CIFAR-10, SVHN 和 CelebA。每一個數(shù)據(jù)集有四個不同的標(biāo)簽樣本集。以上分別是CIFAR-10, SVHN 和 CelebA的樣本圖像。

未來發(fā)展方向：貝葉斯深度學(xué)習(xí)的持續(xù)探索

通過在生成器的加權(quán)參數(shù)進(jìn)行豐富的多模態(tài)分布探索，貝葉斯GAN可以捕獲各種各樣的互補和可解釋的數(shù)據(jù)表達(dá)。作者的研究已經(jīng)表明，這樣的表達(dá)可以使用簡單的推理程序來實現(xiàn)半監(jiān)督問題的優(yōu)越性能。

圖4：關(guān)于迭代次數(shù)的函數(shù)測試精度。 我們可以看到，在大約1000次SG-HMC迭代之后，采樣器混合得很好。我們還看到，每次迭代，SG-HMC采樣器比其它方案更有效地學(xué)習(xí)數(shù)據(jù)分發(fā)。

在將來，可以通過估計概率GAN的邊際相似性（marginal likelihood），根據(jù)參數(shù)分布將其整合在一起。邊際相似性提供了自動學(xué)習(xí)超參數(shù)的自然效用函數(shù)（natural utility function），以及用于在不同GAN架構(gòu)之間進(jìn)行模型比較。人們還可以研究各種差異度量（如α分歧家族），用于確定性相似推論，以促進(jìn)樣本中的熵。將貝葉斯GAN與非參數(shù)貝葉斯深層學(xué)習(xí)框架（如深度內(nèi)核學(xué)習(xí)）相結(jié)合也是有趣的。我們希望我們的工作將有助于啟發(fā)對貝葉斯深度學(xué)習(xí)的持續(xù)探索。

關(guān)于GAN

新智元此前的報道：《【最詳盡的GAN介紹】王飛躍等：生成式對抗網(wǎng)絡(luò) GAN 的研究進(jìn)展與展望》曾介紹：

生成式對抗網(wǎng)絡(luò) GAN (Generative adversarial networks) 是 Goodfellow 等在 2014 年提出的一種生成式模型。GAN 在結(jié)構(gòu)上受博弈論中的二人零和博弈 (即二人的利益之和為零, 一方的所得正是另一方的所失) 的啟發(fā), 系統(tǒng)由一個生成器和一個判別器構(gòu)成。生成器捕捉真實數(shù)據(jù)樣本的潛在分布, 并生成新的數(shù)據(jù)樣本; 判別器是一個二分類器, 判別輸入是真實數(shù)據(jù)還是生成的樣本。 生成器和判別器均可以采用目前研究火熱的深度神經(jīng)網(wǎng)絡(luò)。GAN 的優(yōu)化過程是一個極小極大博弈 (Minimax game) 問題, 優(yōu)化目標(biāo)是達(dá)到納什均衡 , 使生成器估測到數(shù)據(jù)樣本的分布。

2014 年提出 GAN 以來,各種基于 GAN 的衍生模型被提出, 這些模型的創(chuàng) 新點包括模型結(jié)構(gòu)改進(jìn)、理論擴展及應(yīng)用等。

在當(dāng)前的人工智能熱潮下, GAN 的提出滿足了 許多領(lǐng)域的研究和應(yīng)用需求, 同時為這些領(lǐng)域注入了新的發(fā)展動力。 GAN 已經(jīng)成為人工智能學(xué)界一個熱門的研究方向, 著名學(xué)者 LeCun 甚至將其稱為“過去十年間機器學(xué)習(xí)領(lǐng)域最讓人激動的點子”。目前, 圖像和視覺領(lǐng)域是對 GAN 研究和應(yīng)用最廣泛的一個領(lǐng)域，已經(jīng)可以生成數(shù)字、人臉等物體對象，構(gòu)成各種逼真的室內(nèi)外場景, 從分割圖像恢復(fù)原圖像, 給黑白圖像上色, 從物體輪廓恢復(fù)物體圖像, 從低分辨率圖像生成高分辨率圖像等。此外, GAN已經(jīng)開始被應(yīng)用到語音和語言處理、電腦病毒 監(jiān)測、棋類比賽程序等問題的研究中。