今天給大家介紹蒙特利爾算法研究所Yoshua Bengio教授課題組在ICML 2019發(fā)表的文章“GMNN:Graph Markov Neural Network”。作者在文章中提出了圖馬爾可夫神經(jīng)網(wǎng)絡GMNN，該模型可以結合統(tǒng)計關系學習方法和圖神經(jīng)網(wǎng)絡的優(yōu)點來研究關系數(shù)據(jù)的半監(jiān)督對象分類問題，能夠?qū)W習用于預測對象標簽的對象表示以及對對象標簽之間的依賴關系進行建模。經(jīng)過實驗證明，在對象分類，鏈接分類和無監(jiān)督節(jié)點表示學習方面，GMNN均獲得了最先進的結果。

現(xiàn)實世界的各種實體通過各種關系相互連接，例如網(wǎng)頁通過超鏈接鏈接，社交媒體用戶通過友誼關系建立聯(lián)系。對這類關系數(shù)據(jù)進行建模是機器學習中的一個重要主題，它包含了實體分類，鏈接（邊）預測和鏈接（邊）分類等各種應用。

半監(jiān)督對象分類是關系數(shù)據(jù)建模的一個基本問題，在研究這一問題時人們通常使用統(tǒng)計關系學習(SRL)方法或圖神經(jīng)網(wǎng)絡(GNN)。SRL通常使用條件隨機字段對對象標簽的依賴性進行建模，但是因為條件隨機場(CRF)中的勢函數(shù)被定義為手動設計的特征函數(shù)，導致模型的效果不夠理想，對象之間復雜的關系結構也會使SRL方法難以推斷未標記對象的標簽后驗分布，GNN專注于學習標記對象的標簽后驗分布而忽略對象標簽之間的依賴關系。

針對以上兩類方法存在的問題，作者提出了圖馬爾可夫神經(jīng)網(wǎng)絡(GMNN)，該模型結合SRL和GNN的優(yōu)點對這兩類方法進行互補，用條件隨機場對對象標簽的聯(lián)合分布進行建模，使用變分EM算法對其進行有效訓練，不僅能學習有效的對象表示，還能學習到不同對象間的標簽依賴關系。

GMNN模型首先使用CRF對基于對象屬性的對象標簽的聯(lián)合分布進行建模，由于大多數(shù)對象是未標記的，通過計算已標記對象的標簽的極大對數(shù)似然來學習模型參數(shù)是比較困難的，因此作者提出使用偽似然變分EM框架優(yōu)化對數(shù)似然的證據(jù)下界(ELBO)，對數(shù)似然的ELBO表示如公式(1)所示：

其中表示已標記對象的標簽而表示未標記對象的標簽，表示所有對象的屬性，是近似后驗分布的變分分布，和均為模型參數(shù)。

GMNN模型的偽似然變分EM框架中的E-step目的是計算變分分布，具體實現(xiàn)時使用了平均場和攤銷推理的思想，將變分分布表示為公式(2)：

其中表示未標記的對象標簽，表示的鄰域?qū)ο髽撕?。E-step通過最小化(2)中約等號兩邊公式的反KL散度以及通過預測已標記對象的標簽來訓練來確定GNN的目標函數(shù)。M-step中將表示為偽似然，使用另一個非線性GNN參數(shù)化對對象標簽進行建模。整體GMNN算法如表1所示：

表1 GMNN的算法框架

圖1展示了GMNN的基本框架，首先使用條件隨機場對目標對象標簽的聯(lián)合分布進行建模，然后使用偽似然變分EM框架進行優(yōu)化，其中E-step使用一個圖神經(jīng)網(wǎng)絡來學習標簽預測的對象表示，M-step則使用另一個圖神經(jīng)網(wǎng)絡來建模對象標簽。

圖1  GMNN的基本框架

作者通過對象分類、無監(jiān)督節(jié)點表示學習和鏈接分類這三個任務對GMNN的性能進行了評估。實驗中使用的數(shù)據(jù)集如表2所示：

表2 數(shù)據(jù)集統(tǒng)計

其中OC、NRL、LC分別表示對象分類、節(jié)點表示學習和鏈接分類任務。為了驗證GMNN的有效性，作者將GMNN與其它三類基線方法進行比較：（1）GNN methods：包括圖卷積網(wǎng)絡GCN、圖注意力網(wǎng)絡GAT、深度圖互信息DGI、DeepWalk和Planetoid；（2）SRL methods：包括概率關系模型PRM、關系馬爾可夫網(wǎng)絡RMN和馬爾可夫邏輯網(wǎng)絡MLN；（3）SSL methods：標簽傳播LP。

在對象分類任務中，GMNN的表現(xiàn)明顯優(yōu)于所有SRL方法，因為GMNN在推理過程中采用GNN模型學習有效的對象表示以改進推理，并且在學習過程中使用另一個GNN對本地標簽依賴項進行建模，這與SRL方法相比更為有效。GMNN還優(yōu)于標簽傳播方法，因為GMNN能夠使用對象屬性并以非線性方式傳播標簽，與GCN相比，GMNN的性能提升主要來自于對標簽依賴關系建模的能力。具體實驗結果如表3所示，對于鏈接分類，作者通過實驗得到了類似的結果。

表3  對象分類結果(%)

GMNN在Cora和Pubmed數(shù)據(jù)集上獲得了最佳結果。原因是GMNN使用網(wǎng)絡有效地模擬了不同節(jié)點的鄰域分布的平滑度。此外，GMNN的性能與半監(jiān)督環(huán)境下的性能非常接近(表2)，這表明學習到的節(jié)點表示非常有效。通過實驗還比較了不使用網(wǎng)絡的變體，在這種情況下GMNN性能顯著下降，這表明了使用作為鄰域分布正則化的重要性。具體實驗結果如表4所示：

表4  無監(jiān)督節(jié)點表示學習的結果(%)

文章主要研究了半監(jiān)督對象分類問題，并提出了一種稱為GMNN模型，該模型使用條件隨機場對對象標簽的聯(lián)合分布進行建模，并利用兩個圖神經(jīng)網(wǎng)絡來改進推理和學習過程。此外，作者在三個任務上對GMNN進行評估并證明了該模型的有效性。

原文鏈接

https:///abs/1905.06214

代碼

https://github.com/DeepGraphLearning/GMNN