GCN基礎(chǔ)知識 ·

其實有關(guān)GCN的相關(guān)基礎(chǔ)知識在網(wǎng)上都查的到，后面涉及到的數(shù)學知識還是十分復雜的，這里就不詳細推導每一個步驟。這里就直接給出一個最終的結(jié)論，也是Kipf and Welling在2016年 GCN領(lǐng)域最經(jīng)典的paper《Semi-supervised classification with graph convolutional networks.》里對原始的基于拉普拉斯譜變換進行了一些簡化得到最終的圖卷積公式：

，其中是一個對稱歸一化矩陣， ，，其中是單位矩陣，是臨接矩陣，是矩陣 的對角度矩陣，是第t層的中間隱層表示。即初始的輸入是每一個node節(jié)點的embedding表示，這樣最后GCN輸出的最后一層節(jié)點的Embedding包不但包含了節(jié)點的初始特征還包含了網(wǎng)絡(luò)的拓撲特征。從GCN最基本的變換公式可以看出，我們需要做的是結(jié)合業(yè)務(wù)場景定義的是臨接矩陣和節(jié)點的初始狀態(tài)。

上面其實是最基本的GCN的函數(shù)形式，以后所有的GCN變體都是在這個基礎(chǔ)之上進行衍生，比方說當?shù)臅r候，就是另一種形式的GCN。

下面從2篇paper出發(fā)，講解一下GNN在反欺詐領(lǐng)域的落地應(yīng)用。

一、《Heterogeneous Graph Neural Networks for Malicious Account Detection》

即在異構(gòu)網(wǎng)絡(luò)中使用Graph Neural network去進行欺詐。根據(jù)分析出的欺詐賬戶規(guī)律，總結(jié)出黑產(chǎn)用戶活動的2個規(guī)律：

Device aggregation：設(shè)備聚集性，即黑產(chǎn)手中的設(shè)備資源是有限的，這里的設(shè)備是一個抽象的概念，具體化可以有IP、設(shè)備ID、賬戶等信息。

Activity aggregation：活動方式的聚集性，即由于黑產(chǎn)設(shè)備是在同一批的控制之下活動的，那么這些賬戶之間一定存在著較大的共線性。

理解這兩個黑產(chǎn)活動規(guī)律是很重要的，后面的模型都是針對這兩個規(guī)律進行構(gòu)建。

正如paper標題中所說的，論文提出的是一個異構(gòu)網(wǎng)絡(luò)，即網(wǎng)絡(luò)中的節(jié)點包括了2類：Account(賬戶) 和 Device(設(shè)備資源)。如果網(wǎng)絡(luò)中某一個節(jié)點account i在設(shè)備節(jié)點device j上有登錄或者注冊等行為（這里的account可以認為是主維度字段，device可以認為是關(guān)聯(lián)維度字段），那么節(jié)點i和j之間就有一條邊（個人認為這樣的定義有點太寬松了，應(yīng)該加上時間窗口），這樣N個account和device的節(jié)點就可以形成一個網(wǎng)絡(luò)，其臨接矩陣的表征形式為。由于這里面的設(shè)備是一個抽象的概念，如果具體的話可以有IP、設(shè)備ID、阿里設(shè)備指紋等形式(假設(shè)具體的設(shè)備字段個數(shù)為D)，所有針對某一類具體的設(shè)備字段會有一個sub-graph即，而的鄰居矩陣維度即頂點數(shù)和一樣，只不過只留下了和當前type d有關(guān)系的邊。

接下來我們要定義節(jié)點的初始狀態(tài)矩陣，這里可以發(fā)現(xiàn)矩陣的行數(shù)是節(jié)點的數(shù)量N，而列數(shù)是。其中是當節(jié)點為account時，將數(shù)據(jù)按照時間劃分出個time slot（在實際工程中，可以加入其它和節(jié)點相關(guān)的特征進去），并統(tǒng)計每一個time slot中的操作次數(shù)；而則是當節(jié)點為device不同關(guān)聯(lián)維度的種類數(shù)即type d的數(shù)量，這里采用的是one-hot編碼的方式。由于是異構(gòu)網(wǎng)絡(luò)，即一個矩陣中存在含義不同的節(jié)點，但是為了保證每一個節(jié)點的維度都一致，多余的維度即針對account 節(jié)點來說就多余了為，對于device 節(jié)點來說就多余了維，都采用填充0的方式進行對齊。

下面就是圖神經(jīng)網(wǎng)絡(luò)的遞推迭代公式：

其中屬于圖神經(jīng)網(wǎng)絡(luò)的中間層輸出，和屬于模型參數(shù)，隨著模型一起學習。最后的損失函數(shù)，即當T層之后，可以使用少部分標注數(shù)據(jù)進行網(wǎng)絡(luò)參數(shù)的學習，最終的損失函數(shù)是交叉熵形式為：

這里作者發(fā)現(xiàn)，在公式一中，可以使用attention機制來優(yōu)化效果，即優(yōu)化升級公式二引入attention機制，得到

其中，，其中。

二、《GeniePath: Graph Neural Networks with Adaptive Receptive Paths》

從題目中可以看到“Adaptive Receptive Paths”，即自適應(yīng)的最佳搜索路徑。

這也是本篇paper最大的創(chuàng)新點和貢獻點，創(chuàng)新點是相對于基礎(chǔ)的GCN來講的，從上面可知基礎(chǔ)的GCN迭代公式形式為：，如果神經(jīng)網(wǎng)絡(luò)的層數(shù)為T，那么T層的節(jié)點輸出就是考慮了距離當前節(jié)點t距離為T的所有鄰居，為了增加考慮的鄰居數(shù)，可以不斷的增加T，但是過多的層數(shù)會導致模型參數(shù)量過大，導致模型在訓練的時候難以收斂，故有些paper會結(jié)合殘差網(wǎng)絡(luò)的概念引入殘差網(wǎng)絡(luò)，即。

但是這樣依然是會有2個比較顯著的缺陷：

并不是所有鄰居都是同等重要的（對應(yīng)paper里的breadth 方向的Adaptive Receptive Paths）；

并不是所有深度搜索的路徑都是一樣重要的（對應(yīng)paper里的depth方向的Adaptive Receptive Paths）。

上圖形象的說明了adaptive receptive path的概念，即目標target節(jié)點周圍的鄰居以及對應(yīng)更遠的hop的路徑重要程度是不一樣的，圖中有淺藍色底色的區(qū)域就是adaptive receptive path。哪些鄰居節(jié)點和更遠的延伸路徑是adaptive receptive path，這就是本篇paper要解決的問題。

基于此，paper提出了基于breadth 和depth兩個方向自適應(yīng)優(yōu)化的算法框架：

//這里需要注意的是， breadth function需要具備permutation invariant的性質(zhì)，即無論鄰居節(jié)點輸入的順序如何， breadth function生成的結(jié)果都是一樣的

具體來說：breadth function 形式：，其中

depth function 形式（很大程度上借鑒了LSTM的信息流控制形式）：

對于每一個節(jié)點i來講，這兩個步驟的具體表現(xiàn)如下圖所示：

圖中操作代表了。

另一種綜合考慮breadth function和depth function的變體Variant形式

即將depth function的操作推遲，首先僅僅按照breadth function操作對原始輸入數(shù)據(jù)進行T層轉(zhuǎn)換，得到每一層的輸出結(jié)果向量，接下來將序列輸入到下述變換公式中：

其中

這兩年GNN以及GCN的概念還是非?；鸬?，個人經(jīng)驗是，我們在運用的時候，網(wǎng)絡(luò)層間的迭代公式使用目前常用的幾種就可以，作為算法工程師的我們唯一需要注意的地方就是：

定義好臨接矩陣AA的形式；

定義好節(jié)點特征狀態(tài)XX的初始形式。

接下來就可以使用GCN來直接進行節(jié)點的分類，或者提取節(jié)點的全面特征，供后續(xù)的分類所用。

作者有話說·

本文主要參考了阿里螞蟻金服團隊的《Heterogeneous Graph Neural Networks for Malicious Account Detection》和《GeniePath: Graph Neural Networks with Adaptive Receptive Paths》，兩篇論文均使用了當下最流行的Graph Neural Network 相關(guān)知識。

隨著GNN技術(shù)應(yīng)用于反欺詐領(lǐng)域，GNN以及相關(guān)變種模型以強大的網(wǎng)絡(luò)拓撲表征能力，挖掘出具有欺詐社區(qū)屬性的黑產(chǎn)團伙，也使得反欺詐挖掘算法邁上了一個新的臺階。

原文標題：“芯”分享 | GNN在反欺詐領(lǐng)域的落地應(yīng)用

文章出處：【微信公眾號：芯盾時代】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。