網(wǎng)絡(luò)科學(xué)是從交叉學(xué)科研究成長起來的一個(gè)新興的學(xué)術(shù)領(lǐng)域。致力于研究復(fù)雜網(wǎng)絡(luò)的性質(zhì)，并且應(yīng)用這些性質(zhì)去研究一些具有網(wǎng)絡(luò)特點(diǎn)的領(lǐng)域，比如信息技術(shù)網(wǎng)絡(luò)、計(jì)算機(jī)網(wǎng)絡(luò)、生物圈網(wǎng)絡(luò)、學(xué)習(xí)和認(rèn)知網(wǎng)絡(luò)、社會關(guān)系網(wǎng)絡(luò)、經(jīng)濟(jì)和金融網(wǎng)絡(luò)等。這個(gè)領(lǐng)域以數(shù)學(xué)中的圖論為理論基礎(chǔ)，從物理中的統(tǒng)計(jì)力學(xué)、計(jì)算機(jī)科學(xué)中的數(shù)據(jù)挖掘和信息可視化、統(tǒng)計(jì)學(xué)中的推斷建模、以及社會學(xué)和經(jīng)濟(jì)學(xué)中的社會結(jié)構(gòu)理論等學(xué)科和分之中汲取方法論營養(yǎng)。美國國家科研委員會（National Research Council）將網(wǎng)絡(luò)科學(xué)定義為“研究物理、生物、和社會現(xiàn)象的網(wǎng)絡(luò)化表達(dá)、創(chuàng)建針對這些象限具有預(yù)測效果的模型”的學(xué)科。

近年來，網(wǎng)絡(luò)科學(xué)家一直試圖解決的基本問題之一是，確定最能影響網(wǎng)絡(luò)功能的、稱為關(guān)鍵參與者（key players）的最佳節(jié)點(diǎn)集（optimal set of nodes）。

確定主要參與者可以極大地有益于許多實(shí)際應(yīng)用，例如，增強(qiáng)網(wǎng)絡(luò)免疫的技術(shù)、輔助流行病控制、藥物設(shè)計(jì)和防止病毒營銷等。然而，由于其具有NP艱難性，使用具有多項(xiàng)式時(shí)間復(fù)雜度的精確算法來解決此問題已證明具有很高的挑戰(zhàn)性。

中國國防科技大學(xué)的科學(xué)家、會同加州大學(xué)洛杉磯分校（UCLA）和哈佛醫(yī)學(xué)院（HMS）的中國學(xué)者，最近開發(fā)了一種名為“FINDER”（發(fā)現(xiàn)者）的深度強(qiáng)化學(xué)習(xí)框架，該框架可以更有效率地識別復(fù)雜網(wǎng)絡(luò)中的關(guān)鍵參與者。該框架中接受了由經(jīng)典網(wǎng)絡(luò)模型生成的一小套合成網(wǎng)絡(luò)的訓(xùn)練，然后應(yīng)用于實(shí)際場景。該最新研究成果論文在發(fā)表在今天的《自然》雜志的”機(jī)器智能“分刊上。

進(jìn)行這項(xiàng)研究的高級研究人員之一、哈佛醫(yī)學(xué)院中國學(xué)者、劉養(yǎng)宇（Yang-Yu Liu）說，“這項(xiàng)工作是由網(wǎng)絡(luò)科學(xué)中的一個(gè)基本問題所激發(fā)的：我們?nèi)绾握业阶罴训年P(guān)鍵角色集，這些角色的激活或移除將最大程度地增強(qiáng)或降低網(wǎng)絡(luò)功能？” “已經(jīng)提出了許多近似和啟發(fā)式策略來處理特定的應(yīng)用場景，但是我們?nèi)匀蝗狈σ粋€(gè)統(tǒng)一的框架來有效地解決這個(gè)問題?！?/p>

該框架代表通過深度強(qiáng)化學(xué)習(xí)在網(wǎng)絡(luò)中尋找關(guān)鍵參與者，它以最近開發(fā)的深度學(xué)習(xí)技術(shù)為基礎(chǔ)，用于解決組合優(yōu)化問題。研究人員在由經(jīng)典網(wǎng)絡(luò)模型生成的大量小型合成網(wǎng)絡(luò)上對該框架進(jìn)行了培訓(xùn)，并使用針對要解決的任務(wù)的獎勵函數(shù)來指導(dǎo)該框架。這樣的策略指導(dǎo)該框架根據(jù)其當(dāng)前狀態(tài)，即當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)，確定在一段時(shí)間內(nèi)累積最大報(bào)酬應(yīng)該采取的行動，即應(yīng)選擇的節(jié)點(diǎn)。

參與這項(xiàng)研究的另一位資深研究員、加州大學(xué)洛杉磯分校中國學(xué)者、孫益州（Yizhou Sun）說：“在傳統(tǒng)的強(qiáng)化學(xué)習(xí)任務(wù)中，例如在機(jī)器人技術(shù)中，代表狀態(tài)和動作可能很簡單，而網(wǎng)絡(luò)并非如此。” “在進(jìn)行該項(xiàng)目時(shí)，我們面臨的另一個(gè)挑戰(zhàn)是確定如何表示網(wǎng)絡(luò)，因?yàn)樗哂须x散的數(shù)據(jù)結(jié)構(gòu)并且位于一個(gè)非常高度的空間中。為解決此問題，我們擴(kuò)展了當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)來表示節(jié)點(diǎn)的動作和圖形的狀態(tài)，這是與強(qiáng)化學(xué)習(xí)任務(wù)共同學(xué)習(xí)的?！?/p>

如圖所示尋找在9/11恐怖分子網(wǎng)絡(luò)中的關(guān)鍵參與者，其中每個(gè)節(jié)點(diǎn)代表參與9/11攻擊的恐怖分子，邊緣代表他們的社交交流。節(jié)點(diǎn)大小與其程度成正比。三種方法：（a）高程度； （b）該深度強(qiáng)化學(xué)習(xí)框架； （c）集體影響力。藍(lán)色節(jié)點(diǎn)表示剩余圖中的節(jié)點(diǎn)，紅色節(jié)點(diǎn)表示在當(dāng)前時(shí)間步確定的關(guān)鍵參與者，灰色節(jié)點(diǎn)是其余的孤立節(jié)點(diǎn)。面板（d）展示了這三種方法的累積歸一化連接曲線，其中的水平軸是已刪除節(jié)點(diǎn)的比例，垂直軸是其余的巨型連接組件中節(jié)點(diǎn)的比例。

為了有效地表示復(fù)雜的網(wǎng)絡(luò)，研究人員共同確定了各個(gè)網(wǎng)絡(luò)狀態(tài)和動作的最佳表示，以及當(dāng)網(wǎng)絡(luò)處于特定狀態(tài)時(shí)確定最佳動作的最佳策略。結(jié)果表示可以指導(dǎo)該學(xué)習(xí)框架識別網(wǎng)絡(luò)中的關(guān)鍵參與者。

該研究團(tuán)隊(duì)所設(shè)計(jì)的新框架具有很高的靈活性，因此只需更改其獎勵功能，就可以將其應(yīng)用于各種現(xiàn)實(shí)網(wǎng)絡(luò)的分析，非常有效，因?yàn)榘l(fā)現(xiàn)它在效率和速度方面都優(yōu)于許多以前確定網(wǎng)絡(luò)中關(guān)鍵參與者的策略。還可以輕松擴(kuò)展該學(xué)習(xí)框架以分析包含數(shù)千個(gè)甚至數(shù)百萬個(gè)節(jié)點(diǎn)的廣泛網(wǎng)絡(luò)。

研究人員說，“與現(xiàn)有技術(shù)相比，該學(xué)習(xí)框架在尋找復(fù)雜網(wǎng)絡(luò)關(guān)鍵參與者的有效性和效率上均取得了卓越的表現(xiàn)?！?“這代表了解決復(fù)雜的現(xiàn)實(shí)世界網(wǎng)絡(luò)上具有挑戰(zhàn)性的優(yōu)化問題的范式轉(zhuǎn)變。該學(xué)習(xí)框架不需要領(lǐng)域特定知識，而只需真實(shí)網(wǎng)絡(luò)的程度異質(zhì)性，就可以通過在小型合成圖上僅進(jìn)行一次離線自訓(xùn)練來實(shí)現(xiàn)此目標(biāo)，然后令人驚訝地將現(xiàn)實(shí)世界網(wǎng)絡(luò)的各個(gè)領(lǐng)域的規(guī)模都大大提高了。”

迄今為止，新的深層加固框架已取得了令人鼓舞的結(jié)果。將來，它可用于研究社交網(wǎng)絡(luò)、電網(wǎng)、傳染病的傳播以及許多其他類型的網(wǎng)絡(luò)。

該團(tuán)隊(duì)的發(fā)現(xiàn)強(qiáng)調(diào)了經(jīng)典網(wǎng)絡(luò)模型的希望，并從中汲取了靈感。盡管簡單的模型可能看起來非?；A(chǔ)，但實(shí)際上，它們通常捕獲了許多現(xiàn)實(shí)世界網(wǎng)絡(luò)的主要特征，即程度異質(zhì)性。當(dāng)嘗試解決與復(fù)雜網(wǎng)絡(luò)有關(guān)的復(fù)雜優(yōu)化問題時(shí)，此功能可能具有巨大的價(jià)值。