Peng, H., Zhang, R., Dou, Y., Yang, R., Zhang, J., & Yu, P. S. (2021). Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks. arXiv preprint arXiv:2104.07886.

Xia C*, Zhang C*, Yan X, et al. Zero-shot user intent detection via capsule neural networks， EMNLP 2018

引言

異構(gòu)圖中具有豐富多樣的節(jié)點(diǎn)和連邊信息，傳統(tǒng)的同構(gòu)化異構(gòu)圖的方法將帶來(lái)異構(gòu)性損失?；谑止ぴ窂交蛟獔D等的關(guān)系型圖神經(jīng)網(wǎng)絡(luò)依賴固有實(shí)體關(guān)系，在細(xì)粒度任務(wù)中存在挑戰(zhàn)。為此，該文提出了一個(gè)全新的強(qiáng)化、遞歸且可擴(kuò)展的由鄰域選擇引導(dǎo)的多關(guān)系圖神經(jīng)網(wǎng)絡(luò)架構(gòu)RioGNN。

背景

圖神經(jīng)網(wǎng)絡(luò)（GNNs）通過(guò)聚合鄰居信息進(jìn)行表示，在生物信息學(xué)、社會(huì)網(wǎng)絡(luò)、自然語(yǔ)言處理、推薦系統(tǒng)、計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域都具有不錯(cuò)的應(yīng)用效果。其中，由于現(xiàn)實(shí)世界信息普遍存在的異構(gòu)性，能夠整合多種類型的節(jié)點(diǎn)和邊的信息整合的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建受到了廣泛關(guān)注。

一個(gè)異構(gòu)圖通常由具有多種類型的節(jié)點(diǎn)和節(jié)點(diǎn)之間的多關(guān)系邊組成。以MIMIC-III臨床數(shù)據(jù)集為例，可以觀察到存在異質(zhì)節(jié)點(diǎn)（如病人、疾病等）和關(guān)系（如患有同一疾病并使用了相同藥物的病人，在同一患者下的兩次訪問(wèn)具有相同的癥狀等）。

同質(zhì)化的GNN忽視或簡(jiǎn)化了實(shí)際網(wǎng)絡(luò)中節(jié)點(diǎn)和邊的多樣性和復(fù)雜性，這不足以代表數(shù)據(jù)的異質(zhì)性。人工構(gòu)建的元路徑、元圖和元架構(gòu)指導(dǎo)的關(guān)系型GNN雖然克服了以上困難，但由于僅基于數(shù)據(jù)類型及其結(jié)構(gòu)化連接，阻礙了這種異構(gòu)GNN在實(shí)際細(xì)粒度任務(wù)中的普及。

在糖尿病及其可疑疾病的檢測(cè)和診斷任務(wù)中，糖尿病、中風(fēng)和青光眼是中老年人的常見(jiàn)病，其早期癥狀識(shí)別非常重要。然而，由于這三種疾病的癥狀相似，在臨床實(shí)踐中很難對(duì)患者進(jìn)行區(qū)分。

例如，中風(fēng)的癥狀包括視力喪失、突然無(wú)力和刺痛感，這與II型糖尿病患者的癥狀相似。此外，糖尿病的早期癥狀之一是由液體水平變化引起的視力模糊。因此，眼睛可能會(huì)改變形狀，擾亂眼睛的聚焦能力。雖然這種視覺(jué)障礙可能表明是糖尿病，但在青光眼患者中也是如此。

因此，此類任務(wù)更多基于實(shí)體共享的共同屬性來(lái)指定關(guān)系，而不太依賴嚴(yán)格的實(shí)體聯(lián)系。

模型

基于以上背景，RioGNN被提出作為一種新型的強(qiáng)化、遞歸和可擴(kuò)展的鄰接選擇引導(dǎo)的多關(guān)系圖神經(jīng)網(wǎng)絡(luò)，以駕馭定制神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，同時(shí)保持關(guān)系依賴的表示。

首先 RioGNN根據(jù)實(shí)際任務(wù)構(gòu)建一個(gè)多關(guān)系圖，以反映節(jié)點(diǎn)、邊、屬性和標(biāo)簽的異質(zhì)性。

比如，同樣的疾病檢測(cè)任務(wù)，多關(guān)系圖把病人作為多關(guān)系圖的節(jié)點(diǎn)，把具有不同類似癥狀的病人連接成不同類型的邊，從而將任務(wù)轉(zhuǎn)換成多分類任務(wù)。

此外，為了避免不同類型的節(jié)點(diǎn)之間的嵌入過(guò)度同化，RioGNN 采用了一個(gè)標(biāo)簽感知的神經(jīng)相似性措施，以確定基于節(jié)點(diǎn)屬性的最相似的鄰居。

最后，RioGNN開(kāi)發(fā)了一個(gè)強(qiáng)化的關(guān)系感知鄰居選擇機(jī)制，在匯總不同關(guān)系的所有鄰居信息之前，選擇一個(gè)關(guān)系中目標(biāo)節(jié)點(diǎn)的最相似鄰居，以獲得最終的節(jié)點(diǎn)嵌入。

特別的是，為了提高鄰居選擇的效率，RioGNN提出了一個(gè)新的遞歸和可擴(kuò)展的強(qiáng)化學(xué)習(xí)框架，該框架對(duì)于不同規(guī)模的多關(guān)系圖具有可估計(jì)的深度和寬度。

由于通過(guò)過(guò)濾閾值機(jī)制對(duì)每個(gè)關(guān)系的個(gè)體重要性的認(rèn)可，RioGNN可以學(xué)習(xí)到更多的具有鑒別力的節(jié)點(diǎn)嵌入，并增強(qiáng)了可解釋性。

實(shí)驗(yàn)

該文在三個(gè)數(shù)據(jù)集中針對(duì)兩個(gè)任務(wù)下進(jìn)行了實(shí)驗(yàn)。

在真實(shí)世界的圖數(shù)據(jù)和實(shí)際任務(wù)上的綜合實(shí)驗(yàn)表明，與其他具有比較性的GNN模型相比，RioGNN在有效性、效率和模型的可解釋性方面都有所進(jìn)步。

結(jié)論

該文研究了RioGNN，一個(gè)強(qiáng)化的、遞歸的和可擴(kuò)展的鄰域選擇引導(dǎo)的多關(guān)系圖神經(jīng)網(wǎng)絡(luò)架構(gòu)。它是第一個(gè)基于多關(guān)系圖的任務(wù)驅(qū)動(dòng)型GNN框架，充分利用關(guān)系采樣、消息傳遞、度量學(xué)習(xí)和強(qiáng)化學(xué)習(xí)來(lái)指導(dǎo)不同關(guān)系內(nèi)部和之間的鄰居選擇。提出了一個(gè)靈活的鄰域選擇框架，采用了強(qiáng)化的關(guān)系感知鄰域選擇器與標(biāo)簽感知的神經(jīng)相似性鄰域測(cè)量。提出了一個(gè)遞歸和可擴(kuò)展的強(qiáng)化學(xué)習(xí)框架，通過(guò)可估計(jì)的深度和寬度來(lái)學(xué)習(xí)不同規(guī)模的圖或任務(wù)的優(yōu)化過(guò)濾閾值。首次從不同關(guān)系的重要性角度研究了多關(guān)系GNN的可解釋性。