電子發(fā)燒友App
隨著深度學(xué)習(xí)在歐幾里得空間的成功應(yīng)用，例如CNN，RNN等極大的提高了圖像分類(lèi)，序列預(yù)測(cè)等任務(wù)的效果，近期來(lái)圖神經(jīng)網(wǎng)路也開(kāi)始蓬勃發(fā)展。圖神經(jīng)網(wǎng)絡(luò)分為譜域和空域兩大種類(lèi)，譜域通過(guò)拉普拉斯算子對(duì)于圖進(jìn)行類(lèi)微分處理，而空域通過(guò)信息傳遞的方式更新節(jié)點(diǎn)的embedding，均可以大幅度提高節(jié)點(diǎn)預(yù)測(cè)，鏈接預(yù)測(cè)，不規(guī)則圖形分類(lèi)等問(wèn)題的效果。
在大規(guī)模圖數(shù)據(jù)上訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)是一個(gè)大問(wèn)題，計(jì)算代價(jià)過(guò)大，內(nèi)存消耗過(guò)高均是制約圖神經(jīng)網(wǎng)絡(luò)在大圖訓(xùn)練的因素。而近期來(lái)，加速圖訓(xùn)練、優(yōu)化內(nèi)存的論文不斷出現(xiàn)。以GraphSage，F(xiàn)astGCN，VR-GCN，GraphSaint，Cluster-GCN，L-GCN，L2-GCN等系列模型被提出，并且得到了令人矚目的結(jié)果。美中不足的是，他們?nèi)匀粵](méi)有做到億級(jí)別數(shù)據(jù)的訓(xùn)練，最大的數(shù)據(jù)集不過(guò)是百萬(wàn)節(jié)點(diǎn)，如果在億級(jí)別數(shù)據(jù)上進(jìn)行訓(xùn)練，時(shí)間和空間復(fù)雜度都會(huì)是一個(gè)極大的考驗(yàn)。
SGC-Simplifying graph convolutional network 成為了最合適的替代品，在當(dāng)今大圖計(jì)算仍然沒(méi)有一個(gè)最優(yōu)且快的model的時(shí)候，在效果上退而求其次是不可避免的。SGC在訓(xùn)練效果上和原始GCN持平，但是在速度上有這不可比擬的優(yōu)勢(shì)，而且空間復(fù)雜度極小，具有在大圖上訓(xùn)練的潛力。
本文使用了飛槳圖學(xué)習(xí)框架PGL，同時(shí)調(diào)用了多個(gè)Paddle API，包括全連接層和數(shù)據(jù)讀入以及優(yōu)化函數(shù)。Paddle的優(yōu)化函數(shù)具有出色的性能，加快了訓(xùn)練速度，使得訓(xùn)練效果有了良好的表現(xiàn)。首先非常推薦在AI Studio上面直接進(jìn)行復(fù)現(xiàn)，AI Studio是一個(gè)很出色的平臺(tái)，同時(shí)對(duì)于優(yōu)質(zhì)作者有很強(qiáng)的算力支持，筆者是直接在AI Studio上面編輯復(fù)現(xiàn)的。當(dāng)然，PGL也可以部署到本地，有意向在本地運(yùn)行PGL的可以查詢(xún)PGL在github上的官網(wǎng)，從而實(shí)現(xiàn)本地部署。PGL的兩個(gè)特點(diǎn)在于高速性和模塊性，你可以很快的調(diào)動(dòng)許多已有的module，而不需要底層實(shí)現(xiàn)，就可以完成一些論文的復(fù)現(xiàn)。
復(fù)現(xiàn)實(shí)現(xiàn)的難點(diǎn)往往在于特征的預(yù)處理，對(duì)于沒(méi)有預(yù)處理的特征，直接上模型可能效果非常的差，甚至不如多層感知機(jī)，但是在預(yù)處理之后，往往能夠達(dá)到論文的精確度和速度，筆者在復(fù)現(xiàn)的時(shí)候嘗試過(guò)直接把存入的data輸入至模型，但是效果非常差，大概只有50%左右的ACC，不如多層感知機(jī)。但是在經(jīng)過(guò)一系列預(yù)處理后，可以直接復(fù)現(xiàn)論文水平。
本模型的特點(diǎn)在于模型簡(jiǎn)單，速度快，但精確度只是略好于多層感知機(jī)，稍遜于其他模型。但是在工業(yè)應(yīng)用上，已經(jīng)擁有了極高的價(jià)值。這里我們其實(shí)并沒(méi)有調(diào)用PGL的庫(kù)函數(shù)，例如GCN等。因?yàn)槲覀兊哪Ｐ秃芎?jiǎn)單，并不需要調(diào)用已有模型，同時(shí)已有模型由于兼容性等原因會(huì)降低速度，所以我主要應(yīng)用的是Paddle里面的nn.fc和decay_adam優(yōu)化器，前者是全連接層，后者是有衰減值的adam優(yōu)化器。筆者認(rèn)為這兩個(gè)函數(shù)，尤其是后者大大加速了訓(xùn)練。其次我們還使用了PGL的圖訓(xùn)練框架來(lái)加速訓(xùn)練，也達(dá)到了很好的效果。筆者認(rèn)為，上面三個(gè)函數(shù)是PGL+Paddle模型遠(yuǎn)遠(yuǎn)快于Pytorch的原因。
論文模型理解
在原始GCN上被分為多步完成的圖卷積操作SGC通過(guò)一步就完成，同時(shí)得到了相同的效果，可以看出其優(yōu)勢(shì)。
SGC最大的創(chuàng)新在于省去了激活函數(shù)，從而使得多個(gè)參數(shù)合成一個(gè)，減小了時(shí)間復(fù)雜度和空間復(fù)雜度。
論文模型復(fù)現(xiàn)過(guò)程
首先在AI Studio上安裝PGL庫(kù)函數(shù)和cython：
！pip install pgl
！pip install cython
這里對(duì)feature和adj矩陣都準(zhǔn)備進(jìn)行預(yù)處理，feature對(duì)行上進(jìn)行歸一化處理，adj通過(guò)degree準(zhǔn)備進(jìn)行normalization：
import scipy.sparse as sp
degree=dataset.graph.indegree（）
norm = np.zeros_like（degree， dtype=“float32”）
norm［degree 》 0］ = np.power（degree［degree 》 0］，-1.0）
dataset.graph.node_feat［“norm”］ = np.expand_dims（norm， -1）
def row_normalize（mx）：
“”“Row-normalize sparse matrix”“”
rowsum = np.array（mx.sum（1））
r_inv = np.power（rowsum， -1）.flatten（）
r_inv［np.isinf（r_inv）］ = 0.
r_mat_inv = sp.diags（r_inv）
mx = r_mat_inv.dot（mx）
return mx
def aug_normalized_adjacency（adj）：
adj = adj + sp.eye（adj.shape［0］）
adj = sp.coo_matrix（adj）
row_sum = np.array（adj.sum（1））
d_inv_sqrt = np.power（row_sum， -0.5）.flatten（）
d_inv_sqrt［np.isinf（d_inv_sqrt）］ = 0.
d_mat_inv_sqrt = sp.diags（d_inv_sqrt）
return d_mat_inv_sqrt.dot（adj）.dot（d_mat_inv_sqrt）.tocoo（）
通過(guò)之前的到的信息，對(duì)于feature和adj進(jìn)行歸一化處理：
鄰接矩陣的歸一化方程：
def pre_sgc（dataset，feature，norm=None）：
“”“
Implementation of Simplifying graph convolutional networks （SGC）
This is an implementation of the paper SEMI-SUPERVISED CLASSIFICATION
WITH Simplifying graph convolutional networks （https://arxiv.org/abs/1902.07153）。
Args：
gw： Graph wrapper object （：code：`StaticGraphWrapper` or ：code：`GraphWrapper`）
feature： A tensor with shape （num_nodes， feature_size）。
output： The output size for sgc.
activation： The activation for the output
name： Gcn layer names.
norm： If ：code：`norm` is not None， then the feature will be normalized. Norm must
be tensor with shape （num_nodes，） and dtype float32.
Return：
A tensor with shape （num_nodes， hidden_size）
”“”
num_nodes=np.shape（feature）［0］
adj=np.zeros（（num_nodes，num_nodes））
#print（np.shape（dataset.graph.edges））
for u in range（len（dataset.graph.edges））：
adj［dataset.graph.edges［u］［0］，dataset.graph.edges［u］［1］］=adj［dataset.graph.edges［u］［1］，dataset.graph.edges［u］［0］］=1
feature=dataset.graph.node_feat［‘words’］
feature=row_normalize（feature）
if norm==True：
adj=aug_normalized_adjacency（adj）
for i in range（args.degree）：
feature=adj.dot（feature）
return feature
得到預(yù)處理的圖算子：
這里的K我們?cè)赼rgs中設(shè)置，degree為2。進(jìn)行訓(xùn)練并且得到結(jié)果，紅色是train而綠色是validation：
我們對(duì)比Pytorch的官方復(fù)現(xiàn)，要達(dá)到同樣的效果，Pytorch需要100-150輪訓(xùn)練，我們利用PGL和Paddle可以在50輪甚至30輪達(dá)到收斂，速度極快！
正如之前開(kāi)頭所說(shuō)的那樣，我們需要的其實(shí)是工業(yè)應(yīng)用圖神經(jīng)網(wǎng)絡(luò)，而時(shí)間復(fù)雜度和空間復(fù)雜度往往是我們重點(diǎn)考慮的，Paddle在速度上的高效是其作為深度學(xué)習(xí)平臺(tái)的優(yōu)點(diǎn)，同時(shí)他的接口也是簡(jiǎn)單易懂，所以才可以迅速并簡(jiǎn)單的復(fù)現(xiàn)一篇論文。
編輯：hfy
工商網(wǎng)監(jiān)
評(píng)論