論文作者：楊亞明，管子玉，王哲，趙偉，徐偲，陸維港，黃健斌

論文單位：西安電子科技大學(xué)，計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

現(xiàn)階段，圖（Graph）上的自監(jiān)督學(xué)習(xí)大多都遵循圖對(duì)比學(xué)習(xí)框架，這些方法通常需要先構(gòu)造一系列的正樣本對(duì)以及負(fù)樣本對(duì)，然后通過在低維表示空間中拉近正樣本并且推遠(yuǎn)負(fù)樣本來學(xué)習(xí)節(jié)點(diǎn)/圖的表示。目前，研究者們已經(jīng)探索了節(jié)點(diǎn)丟棄、連邊擾動(dòng)等各種生成正樣本的策略，以及特征打亂、批次采樣等各種生成負(fù)樣本的策略。然而，已有研究工作表明，這些正、負(fù)樣本的生成策略是數(shù)據(jù)集敏感的。例如，GraphCL通過系統(tǒng)性的研究發(fā)現(xiàn)連邊擾動(dòng)對(duì)社交網(wǎng)絡(luò)比較有益，但是對(duì)生物化學(xué)網(wǎng)絡(luò)可能有負(fù)面作用。

InfoGCL發(fā)現(xiàn)負(fù)樣本對(duì)于更稀疏的圖可能更有益。因此，在實(shí)踐中，研究者們需要根據(jù)數(shù)據(jù)集以及手頭任務(wù)的實(shí)際情況來探索、尋找合適的構(gòu)造正、負(fù)樣本的策略，這限制了已有方法的靈活性與泛化性。為了有效地應(yīng)對(duì)這個(gè)問題，在本項(xiàng)研究中，我們提出一個(gè)基于結(jié)構(gòu)聚類的異質(zhì)圖自監(jiān)督學(xué)習(xí)方法SHGP，它無需任何正樣本或者負(fù)樣本。

圖1 模型整體架構(gòu)圖。

我們的主要思路是通過對(duì)異質(zhì)圖執(zhí)行結(jié)構(gòu)聚類來產(chǎn)生聚類標(biāo)簽，并利用聚類標(biāo)簽來監(jiān)督異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。如圖1中的模型架構(gòu)圖所示，SHGP主要包括兩個(gè)模塊，Att-HGNN模塊可以被實(shí)現(xiàn)為任何基于注意力聚合機(jī)制的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（我們采用ie-HGCN模型，請(qǐng)參考原文https://mp.weixin.qq.com/s/oSWHzbpp54W9Ar_zE8ipjQ），它的作用是計(jì)算節(jié)點(diǎn)的表示：

Att-LPA模塊將經(jīng)典的標(biāo)簽傳播算法LPA以及Att-HGNN中的注意力聚合機(jī)制進(jìn)行了有機(jī)的結(jié)合，它的作用是在異質(zhì)圖上執(zhí)行結(jié)構(gòu)聚類，并將得到的聚類標(biāo)簽當(dāng)做偽標(biāo)簽：

這兩個(gè)模塊共享相同的注意力聚合機(jī)制，即，Att-HGNN和Att-LPA在每一次前向過程中都執(zhí)行相同的注意力聚合，區(qū)別是Att-HGNN聚合的是（投影后的）特征，而Att-LPA聚合的是上一輪產(chǎn)生的偽標(biāo)簽，兩者都有著完全相同的注意力聚合系數(shù)。我們?cè)?strong style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important;">Att-HGNN的頂層構(gòu)建一個(gè)softmax分類器，并將節(jié)點(diǎn)表示輸入到其中來預(yù)測(cè)節(jié)點(diǎn)標(biāo)簽。模型的損失為節(jié)點(diǎn)預(yù)測(cè)與節(jié)點(diǎn)偽標(biāo)簽之間的交叉熵：

計(jì)算得到損失以后，我們利用梯度下降來優(yōu)化所有的模型參數(shù)：

隨著優(yōu)化過程的進(jìn)行，模型會(huì)學(xué)習(xí)到越來越好的注意力分布（包括其他參數(shù)）。更好的注意力分布則會(huì)在下一輪迭代中促進(jìn)Att-HGNN和Att-LPA分別產(chǎn)生更好的節(jié)點(diǎn)嵌入（以及預(yù)測(cè)）和偽標(biāo)簽，進(jìn)而促進(jìn)模型學(xué)習(xí)得到更好的參數(shù)。這樣，兩個(gè)模塊可以緊密地相互作用，并相互增強(qiáng)對(duì)方，最終使得模型學(xué)習(xí)得到具有判別性的節(jié)點(diǎn)表示。

我們對(duì)節(jié)點(diǎn)的預(yù)訓(xùn)練表示進(jìn)行聚類。在每個(gè)數(shù)據(jù)集上，我們利用

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。