基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)方法

來源：《指揮控制與仿真》，作者王?？?/p>

摘 要:為將基于離散符號的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示為機(jī)器更加容易學(xué)習(xí)、處理和應(yīng)用的形式,根據(jù)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識的特點,提出一種基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)方法。該方法采用基于元路徑的多層異構(gòu)圖嵌入模型,對想定場景中的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體及其關(guān)系知識進(jìn)行表示學(xué)習(xí),將其映射為連續(xù)向量空間中的稠密實值向量,從而有效揭示兵棋聯(lián)合作戰(zhàn)態(tài)勢實體之間的全局隱含特征,為大規(guī)模聯(lián)合作戰(zhàn)態(tài)勢知識的獲取、融合與推理奠定良好基礎(chǔ)。實驗結(jié)果表明,基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)方法針對性強(qiáng),對于評估指標(biāo)提升較大,為復(fù)雜兵棋聯(lián)合作戰(zhàn)態(tài)勢知識的表示學(xué)習(xí)提供了可行范例。

關(guān)鍵詞:兵棋;聯(lián)合作戰(zhàn)態(tài)勢知識;圖嵌入;知識表示學(xué)習(xí);元路徑

聯(lián)合作戰(zhàn)態(tài)勢是聯(lián)合作戰(zhàn)時空、信息、表征和不確定性等多重復(fù)雜因素綜合作用的結(jié)果,是聯(lián)合作戰(zhàn)復(fù)雜性的外在表現(xiàn)[1]。對反映聯(lián)合作戰(zhàn)態(tài)勢的實體知識進(jìn)行客觀準(zhǔn)確表征,是研究聯(lián)合作戰(zhàn)態(tài)勢的基礎(chǔ)和前提,其核心和要點在于描繪聯(lián)合作戰(zhàn)態(tài)勢實體之間的復(fù)雜關(guān)聯(lián)關(guān)系[2]。作戰(zhàn)大數(shù)據(jù)是聯(lián)合作戰(zhàn)態(tài)勢知識的主要來源,具有海量、稀疏和結(jié)構(gòu)復(fù)雜等特點[3]。聯(lián)合作戰(zhàn)態(tài)勢知識表示是在特定場景范圍內(nèi),針對聯(lián)合作戰(zhàn)態(tài)勢實體和關(guān)系進(jìn)行建模,使得機(jī)器可以學(xué)習(xí)、處理和運(yùn)用各種聯(lián)合作戰(zhàn)態(tài)勢知識[4]。傳統(tǒng)基于離散符號的聯(lián)合作戰(zhàn)態(tài)勢知識表示方法善于表征顯性的形式化作戰(zhàn)態(tài)勢知識,但計算效率低下,不易融合擴(kuò)展。需要進(jìn)一步深入探索聯(lián)合作戰(zhàn)態(tài)勢實體知識的非形式化表示方法,將聯(lián)合作戰(zhàn)態(tài)勢知識表示為機(jī)器易于計算、學(xué)習(xí)和處理的形式,為智能指揮決策提供堅實的基礎(chǔ)知識支撐[5]。

聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)是面向聯(lián)合作戰(zhàn)態(tài)勢知識中的實體及其關(guān)系知識進(jìn)行表示學(xué)習(xí),將聯(lián)合作戰(zhàn)態(tài)勢知識中的實體、屬性及其關(guān)聯(lián)關(guān)系表示為連續(xù)向量空間中的稠密實值向量,使得機(jī)器可以高效學(xué)習(xí)、處理和運(yùn)用各種聯(lián)合作戰(zhàn)態(tài)勢實體知識。其本質(zhì)是在低維向量空間中對符號化的聯(lián)合作戰(zhàn)態(tài)勢實體及其關(guān)系語義知識進(jìn)行向量化重構(gòu),從而提高知識計算效率,實現(xiàn)異構(gòu)信息融合,有效緩解數(shù)據(jù)稀疏帶來的諸多知識計算難題,有效提升聯(lián)合作戰(zhàn)態(tài)勢知識獲取、融合、推理的性能[6]。因此,在知識表示學(xué)習(xí)過程中保證聯(lián)合作戰(zhàn)態(tài)勢知識的結(jié)構(gòu)信息以及實體和關(guān)系的語義描述信息不失真,確保從離散符號向連續(xù)向量映射的準(zhǔn)確性顯得極為重要。由于聯(lián)合作戰(zhàn)態(tài)勢實體知識的異構(gòu)性特征和層次化特點,對于聯(lián)合作戰(zhàn)態(tài)勢實體知識的表示學(xué)習(xí)主要存在兩方面挑戰(zhàn):一是聯(lián)合作戰(zhàn)態(tài)勢實體之間可能存在不同類型的連接關(guān)系,使得聯(lián)合作戰(zhàn)態(tài)勢實體知識難以進(jìn)行統(tǒng)一嵌入表達(dá);二是作為聯(lián)合作戰(zhàn)態(tài)勢實體關(guān)系連接服從冪率分布,存在大量擁有少量鄰居節(jié)點的聯(lián)合作戰(zhàn)態(tài)勢實體節(jié)點,此類實體節(jié)點難以有效表征。

兵棋作為一種特殊的戰(zhàn)爭模擬系統(tǒng),是研究智能化作戰(zhàn)的重要工具和手段,也是檢驗軍事智能技術(shù)和探索軍事智能應(yīng)用的最佳平臺,可為聯(lián)合作戰(zhàn)態(tài)勢實體知識的表示學(xué)習(xí)研究提供了重要依托。本文依托兵棋推演平臺,以兵棋聯(lián)合作戰(zhàn)想定場景中的態(tài)勢實體、屬性及其關(guān)系為基礎(chǔ),提出一種基于元路徑的多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)方法,通過設(shè)計合理的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識元路徑模式,利用兵棋聯(lián)合作戰(zhàn)態(tài)勢實體豐富的屬性信息和不同實體類型的多層拓?fù)浣Y(jié)構(gòu)信息,力圖捕捉兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識的多層異構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)信息和實體語義關(guān)聯(lián)信息,從而有效提升基于離散向量的聯(lián)合作戰(zhàn)態(tài)勢知識的表征能力。實驗結(jié)果表明,在聯(lián)合作戰(zhàn)態(tài)勢實體關(guān)系推理任務(wù)中,本文提出的算法性能更佳。

1 圖嵌入概述

圖嵌入(Graph Embedding)也稱網(wǎng)絡(luò)嵌入(Network Embedding)或圖表示學(xué)習(xí)(Graph Representation Learning)。其通過將信息網(wǎng)絡(luò)嵌入低維向量空間,實現(xiàn)網(wǎng)絡(luò)實體分類、關(guān)系推理和社團(tuán)檢測等任務(wù)?；趫D嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)是下游深度學(xué)習(xí)和多關(guān)系型聯(lián)合作戰(zhàn)大數(shù)據(jù)挖掘任務(wù)的基礎(chǔ)。根據(jù)圖的網(wǎng)絡(luò)結(jié)構(gòu)特性不同,目前的圖嵌入模型研究主要集中在同質(zhì)網(wǎng)絡(luò)嵌入、異構(gòu)網(wǎng)絡(luò)嵌入和多層異構(gòu)網(wǎng)絡(luò)嵌入三個方面。

1.1 同質(zhì)網(wǎng)絡(luò)嵌入

同質(zhì)網(wǎng)絡(luò)(Homogeneous Network)中互相連接的實體和關(guān)系類型傾向于具有更多的相似性。DeepWalk[7]模型采用無監(jiān)督特征學(xué)習(xí)技術(shù),通過隨機(jī)游走的方式,從信息網(wǎng)絡(luò)中的某個節(jié)點開始生成文本序列,然后，采用Skip-Gram模型訓(xùn)練得到網(wǎng)絡(luò)節(jié)點的詞向量。LINE[8]模型為解決大規(guī)模網(wǎng)絡(luò)嵌入問題,將節(jié)點的一階相似性與二階相似性引入目標(biāo)函數(shù),能夠更加靈活地對信息網(wǎng)絡(luò)的局部結(jié)構(gòu)和全局結(jié)構(gòu)特征進(jìn)行知識表示學(xué)習(xí)。與DeepWalk模型相比,LINE模型適用范圍更廣,可用于有/無向圖,以及有/無權(quán)圖的知識表示學(xué)習(xí)。node2vec[9]模型靈活定義了節(jié)點網(wǎng)絡(luò)鄰居概念,設(shè)計了一個偏置隨機(jī)游走過程,通過綜合考慮深度優(yōu)先和廣度優(yōu)先搜索,實現(xiàn)了對鄰居實體的有效探索,從而學(xué)習(xí)到了更加豐富的實體知識表示信息。SDNE[10]模型為應(yīng)對圖嵌入知識表示的高度非線性、結(jié)構(gòu)特征保持和網(wǎng)絡(luò)稀疏難題等挑戰(zhàn),采用半監(jiān)督深度學(xué)習(xí)模型,通過設(shè)計合理的目標(biāo)函數(shù)保留網(wǎng)絡(luò)結(jié)構(gòu)的局部和全局信息,并對稀疏網(wǎng)絡(luò)具有魯棒性。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一種基于圖結(jié)構(gòu)的深度學(xué)習(xí)模型,其目標(biāo)是學(xué)習(xí)包含鄰居信息的節(jié)點狀態(tài)嵌入向量[11]。GCN[12]模型是一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的圖結(jié)構(gòu)數(shù)據(jù)半監(jiān)督學(xué)習(xí)方法,受圖譜卷積局部結(jié)構(gòu)一階相似選擇的啟發(fā),將圖的結(jié)構(gòu)特征和節(jié)點的特征信息共同編碼進(jìn)行知識表示學(xué)習(xí)。GraphSAGE[13]模型提出了一個通用的歸納框架,有效利用網(wǎng)絡(luò)節(jié)點的特性信息為以前未見過的實體節(jié)點生成嵌入向量。與以往為每個實體節(jié)點單獨(dú)訓(xùn)練嵌入向量不同的是,GraphSAGE模型提供了一個通過從實體節(jié)點的本地鄰居中采樣和聚集特性來生成嵌入向量的函數(shù)。

1.2 異構(gòu)網(wǎng)絡(luò)嵌入

異構(gòu)網(wǎng)絡(luò)(Heterogeneous Network)相對于同質(zhì)網(wǎng)絡(luò)而言,網(wǎng)絡(luò)中的實體節(jié)點或邊具有多種類型。由于異構(gòu)網(wǎng)絡(luò)中實體節(jié)點和邊類型的多樣性特征,其網(wǎng)絡(luò)特性挖掘和網(wǎng)絡(luò)表示學(xué)習(xí)的難度較大。PTE[14]模型提供了一種用于文本數(shù)據(jù)的半監(jiān)督預(yù)測性文本嵌入方法。首先將標(biāo)記信息和不同層次的詞共現(xiàn)信息表示為一個大規(guī)模的異構(gòu)文本網(wǎng)絡(luò),然后將其嵌入到一個低維向量空間中。PTE模型不僅保留了單詞和文檔的語義相近性,而且對特定任務(wù)具有很強(qiáng)的預(yù)測能力。metapath2vec[15]模型首先基于元路徑的隨機(jī)游走方法,形式化構(gòu)造網(wǎng)絡(luò)實體節(jié)點的異構(gòu)性鄰居,然后利用異構(gòu)Skip-Gram模型進(jìn)行實體節(jié)點嵌入。metapath2vec++模型則進(jìn)一步通過對異構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)和語義相關(guān)性特征進(jìn)行網(wǎng)絡(luò)嵌入學(xué)習(xí)。metapath2vec和metapath2vec++不僅在各種異構(gòu)網(wǎng)絡(luò)挖掘任務(wù)中表現(xiàn)突出,而且還能分辨不同網(wǎng)絡(luò)實體之間的結(jié)構(gòu)和語義相關(guān)性。HERec[16]模型設(shè)計了一種基于元路徑的隨機(jī)游走策略來生成有意義的節(jié)點序列進(jìn)行網(wǎng)絡(luò)嵌入。首先利用一組融合函數(shù)對學(xué)習(xí)到的節(jié)點嵌入進(jìn)行變換,然后將其集成到擴(kuò)展的矩陣分解模型中,將擴(kuò)展后的矩陣分解模型與融合函數(shù)結(jié)合起來,對等級預(yù)測任務(wù)進(jìn)行聯(lián)合優(yōu)化。

1.3 多層異構(gòu)網(wǎng)絡(luò)嵌入

現(xiàn)實世界的許多網(wǎng)絡(luò)不僅節(jié)點類型多樣,而且具有多重結(jié)構(gòu),稱之為多層異構(gòu)網(wǎng)絡(luò)(Multiplex Heterogeneous Network)。PMNE[17]模型提供了網(wǎng)絡(luò)聚合、結(jié)果聚合和層間協(xié)同分析三種方法,將多層網(wǎng)絡(luò)映射到連續(xù)向量空間?！熬W(wǎng)絡(luò)聚合”和“結(jié)果聚合”可以在不利用層間交互的情況下,將標(biāo)準(zhǔn)的網(wǎng)絡(luò)嵌入方法應(yīng)用于合并后的圖或每一層,為多層網(wǎng)絡(luò)尋找向量空間?！皩娱g協(xié)同分析”考慮了層間相互作用的影響,能夠?qū)⑷魏螁螌泳W(wǎng)絡(luò)嵌入方法擴(kuò)展為多層網(wǎng)絡(luò)。MVE[18]模型通過投票機(jī)制,設(shè)計了一種多層網(wǎng)絡(luò)表示學(xué)習(xí)方法。通過在投票過程中引入注意力機(jī)制，對多視圖的權(quán)重信息進(jìn)行整合,將多層網(wǎng)絡(luò)嵌入到魯棒性最高的單個協(xié)作嵌入向量中。MNE[19]模型在保持關(guān)系特性的基礎(chǔ)上,結(jié)合不同類型的關(guān)系信息,對每個節(jié)點分別提出了一種高維的通用嵌入和一種低維的附加嵌入方法。該模型可以基于統(tǒng)一的網(wǎng)絡(luò)嵌入模型,聯(lián)合學(xué)習(xí)多個關(guān)系嵌入向量。Mvn2vec[20]模型研究了保存和協(xié)作對網(wǎng)絡(luò)表示學(xué)習(xí)的影響,探索了同時建模來獲得更好的嵌入質(zhì)量的可行性。該模型證實了保存和協(xié)作對于多層網(wǎng)絡(luò)嵌入的有效性和重要性。AMHEN模型提出了一個支持直推學(xué)習(xí)和歸納學(xué)習(xí)的通用框架GATNE和GATNE-I,并將網(wǎng)絡(luò)實體的屬性考慮在內(nèi)進(jìn)行圖嵌入學(xué)習(xí)。該模型的基本嵌入和屬性嵌入可以在不同類型的實體關(guān)系中共享,而邊嵌入通過自注意力機(jī)制對鄰域信息進(jìn)行匯聚計算。

綜合分析上述四種嵌入模型,多層異構(gòu)網(wǎng)絡(luò)嵌入模型考慮了聯(lián)合作戰(zhàn)態(tài)勢實體知識結(jié)構(gòu)的多層次特征,以及實體和關(guān)系的類型多樣性特征,更加符合聯(lián)合作戰(zhàn)態(tài)勢實體及其關(guān)系的特點。但由于真實想定場景中聯(lián)合作戰(zhàn)態(tài)勢知識圖譜的結(jié)構(gòu)及其元路徑模式相比公開數(shù)據(jù)集而言更加復(fù)雜,僅基于網(wǎng)絡(luò)的結(jié)構(gòu)特征和固定元路徑模式進(jìn)行聯(lián)合作戰(zhàn)態(tài)勢知識表示學(xué)習(xí),無法完全反映聯(lián)合作戰(zhàn)態(tài)勢實體及其關(guān)系的復(fù)雜語義描述信息,需要根據(jù)軍事領(lǐng)域知識的具體特點進(jìn)行針對性建模。本文以兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜為起點,深入分析聯(lián)合作戰(zhàn)態(tài)勢知識圖譜的實體和關(guān)系類型,充分利用實體屬性描述信息,并結(jié)合自注意力機(jī)制,根據(jù)聯(lián)合作戰(zhàn)體系構(gòu)建內(nèi)容,設(shè)計了五種不同類型的實體關(guān)系類型模式,采用圖嵌入模型中的變長元路徑計算方法,對聯(lián)合作戰(zhàn)態(tài)勢中的實體及其關(guān)系進(jìn)行知識表示學(xué)習(xí)。

2 模型定義

定義1:兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜G=(V，E),描述兵棋聯(lián)合作戰(zhàn)態(tài)勢的實體及其關(guān)聯(lián)關(guān)系。更進(jìn)一步講,是通過作戰(zhàn)態(tài)勢實體特征的概念化,以及實體關(guān)系的語義化對兵棋聯(lián)合作戰(zhàn)想定場景的態(tài)勢實體及其關(guān)系進(jìn)行整體描述,如圖1所示。其中,V={v1，v2，…，vn}表示聯(lián)合作戰(zhàn)態(tài)勢中的實體集,vi表示聯(lián)合作戰(zhàn)態(tài)勢實體,如各種飛機(jī)類型實體、目標(biāo)類型實體等,n表示聯(lián)合作戰(zhàn)態(tài)勢中實體的數(shù)量。E={eij}表示實體之間的關(guān)系集,eij={vi，vj}表示節(jié)點vi和vj間的關(guān)系,權(quán)重wij≥0表示vi和vj間語義關(guān)系的屬性強(qiáng)度。由于兵棋聯(lián)合作戰(zhàn)態(tài)勢實體間關(guān)系具有明確的指向性,因此兵棋聯(lián)合作戰(zhàn)態(tài)勢知識圖譜為有向有權(quán)圖,且eij≠eji和wij≠wji。如海軍航空兵對敵水面艦船實施火力打擊,由于受環(huán)境、飛機(jī)武器掛載以及艦艇類型等不同因素的影響,不同類型的飛機(jī)對不同類型艦船的命中概率不同,都能夠通過聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜進(jìn)行整體描述。

圖1 兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜示意圖

定義2:多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜G=(V,E,O,R,A)滿足態(tài)勢實體類型映射函數(shù)φ:V→O和關(guān)系類型映射函數(shù)ψ:E→R。其中,O和R分別表示實體和關(guān)系類型的集合。對聯(lián)合作戰(zhàn)想定場景中的每一個態(tài)勢實體v∈V和關(guān)系e∈E均屬于某一特定的實體或關(guān)系類型,即φ(v)∈O和ψ(e)∈R,且|O|+|R|>2。否則,該兵棋聯(lián)合作戰(zhàn)態(tài)勢知識圖譜是同質(zhì)的。因此,多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢知識圖譜中的實體及關(guān)系不再簡單表示為vi和eij,而是加入了相應(yīng)的類型描述,分別表示為

和

表示多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜中實體包含的屬性信息集。

定義3:多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜嵌入是給定兵棋聯(lián)合作戰(zhàn)態(tài)勢異構(gòu)實體知識圖譜,在不同實體關(guān)系類型情況下,學(xué)習(xí)不同類型態(tài)勢實體在低維連續(xù)向量空間中的實值嵌入向量,即對每一種不同的實體間關(guān)系類型r,通過映射函數(shù)fr:V→

d學(xué)習(xí)實體集V的低維嵌入向量X∈

|V|×d。其中,d?|V|,Xv表示實體節(jié)點v的嵌入向量。

3 模型框架

如圖2所示，本節(jié)重點介紹基于元路徑的多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜嵌入模型框架。該模型框架主要由兩部分組成,分別是兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)模型和異構(gòu)Skip-Gram模型。前者通過匯聚生成態(tài)勢實體的低維嵌入向量捕捉聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)信息、實體屬性信息和實體關(guān)系信息,其結(jié)果作為異構(gòu)Skip-Gram模型的輸入學(xué)習(xí)捕捉態(tài)勢實體知識的語義信息。

圖2 多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體
知識圖譜嵌入模型框架

兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)模型主要由三部分組成,分別是基本嵌入向量生成模型、實體節(jié)點屬性向量生成模型和邊嵌入向量生成模型。三個模型的輸出結(jié)果匯聚生成聯(lián)合作戰(zhàn)態(tài)勢實體嵌入向量。對于基本嵌入向量生成模型,沒有考慮不同類型實體以及不同類型實體關(guān)系對生成實體節(jié)點嵌入向量的影響,只考慮了多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜的結(jié)構(gòu)特征,采用隨機(jī)游走方法直接生成每個實體節(jié)點vi的基本嵌入向量bi。當(dāng)進(jìn)一步考慮實體節(jié)點的屬性對生成實體嵌入向量的影響時,實體嵌入向量是相應(yīng)實體類型z=φ(vi)的函數(shù),表示為bi=hz(xi)。值得注意的是,對于不同類型的實體節(jié)點vi,其屬性向量xi可能具有不同的維度。

對于每個實體節(jié)點vi在實體關(guān)系類型r情況下的k階邊嵌入向量,由實體節(jié)點vi鄰居的邊嵌入向量聚合而成,表示為

(1)

其中,Ni,r表示與實體節(jié)點vi關(guān)系類型為r的鄰居節(jié)點集合。模型中,每個關(guān)系類型為r的實體節(jié)點vi初始邊嵌入向量為實體屬性xi的函數(shù),表示為

其中,gz,r是關(guān)系類型為r的實體節(jié)點vi的特征轉(zhuǎn)換函數(shù),邊嵌入向量的聚合函數(shù)采用平均聚合而成。因此,公式(1)可進(jìn)一步表示為

(2)

其中,σ(x)=1/(1+exp(-x))為Sigmoid激活函數(shù)。將實體節(jié)點vi的所有K階邊嵌入向量

表示為ui,r。

最終,聚合成實體節(jié)點vi的s×m維邊嵌入向量Ui：

Ui=(ui，1，ui，2，…，ui，m)

(3)

其中,s表示邊嵌入向量的維度,m表示與實體節(jié)點vi連接的邊類型的數(shù)量。

根據(jù)以上分析,計算匯聚后的邊類型為r的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體節(jié)點vi的嵌入向量vi，r,可得

(4)

其中,bi表示實體節(jié)點vi的基本嵌入向量。αr為超參數(shù),表示在總的實體嵌入向量中邊嵌入向量的重要性。

表示需要訓(xùn)練的變換矩陣。由于自注意力機(jī)制有利于捕捉影響力更強(qiáng)的邊類型[21]，因此,本文采用自注意力機(jī)制計算r型邊的實體節(jié)點嵌入向量Ui的線性向量組合系數(shù)ai，r∈Rm:

(5)

其中,wr和Wr分別表示r類型邊的da維和da×s維訓(xùn)練參數(shù),上標(biāo)T表示向量或矩陣的轉(zhuǎn)置運(yùn)算。由此,可以進(jìn)一步得到

(6)

其中,λp表示ai,r的第p個元素,計算方法為

(7)

對于實體節(jié)點vi的屬性向量生成項,βr為超參數(shù),Dz表示實體類型為z的節(jié)點vi的特征轉(zhuǎn)換矩陣。

模型首先采用基于元路徑的隨機(jī)游走方法匯聚生成兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識的節(jié)點序列,然后，采用異構(gòu)Skip-Gram模型[22]學(xué)習(xí)序列中實體知識節(jié)點的嵌入向量。具體而言,從邊類型r的角度描述兵棋聯(lián)合作戰(zhàn)態(tài)勢知識圖譜時,生成子圖Gr=(V,Er,A),進(jìn)而可以從中提取邊類型為r的元路徑模式Γ:V1→V2→…→Vt→…→Vl。其中,游走的元路徑模式Γ通過預(yù)先定義完成,l表示該元路徑模式Γ的長度。然而,由于兵棋聯(lián)合作戰(zhàn)態(tài)勢實體的關(guān)系復(fù)雜性特征,本節(jié)基于聯(lián)合作戰(zhàn)體系的構(gòu)建內(nèi)容,將兵棋聯(lián)合作戰(zhàn)態(tài)勢實體間關(guān)系定義為偵察情報關(guān)系、指揮控制關(guān)系、聯(lián)合打擊關(guān)系、信息保障關(guān)系和后裝保障關(guān)系5類。然而,在這些不同類型的聯(lián)合作戰(zhàn)態(tài)勢實體關(guān)系中,每種關(guān)系的實體關(guān)聯(lián)元路徑長度并不一致。以聯(lián)合打擊關(guān)系元路徑模式為例,空中飛行中隊通過選擇的作戰(zhàn)飛機(jī)類型及其掛載類別,選擇掛載相應(yīng)的攻擊性武器,并通過空空武器殺傷指數(shù)定義表對相應(yīng)空中飛行目標(biāo)類別的機(jī)型實施打擊。但對后裝保障關(guān)系元路徑模式,要對攻擊性武器實施保障,首先應(yīng)確定保障的后勤物資類型,然后實施相應(yīng)的保障。因此,本節(jié)在每種關(guān)系內(nèi)部采用變長元路徑模式描述實體之間的語義聯(lián)系。基于馬爾科夫過程,在步驟t時基于元路徑模式隨機(jī)游走的轉(zhuǎn)移概率定義為

(8)

其中,vi∈Vt,Ni,r表示與實體節(jié)點vi關(guān)系類型為r的鄰居?；谠窂降碾S機(jī)游走策略可以確保不同類型節(jié)點之間的語義聯(lián)系,從而將更加合適的實體節(jié)點序列輸入異構(gòu)Skip-Gram模型,增強(qiáng)基于語義信息的嵌入向量生成效果。假設(shè)在類型為r邊上長度為l的隨機(jī)游走路徑為P=(vp1,…,vpl)。由此可得,該路徑上的邊(vpt-1,vpt)∈Er(t=2…l)所處的語義上下文為C={vpk|vpk∈P,|k-t|≤c,t≠k}。其中,c為上下文窗口半徑。

因此,在給定實體節(jié)點vi及其路徑語義上下文C情況下,多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜嵌入模型的目標(biāo)是最小化以下負(fù)對數(shù)似然函數(shù):

-logPθ({vj|vj∈C}|vi)=∑vj∈C-logPθ(vj|vi)

(9)

其中,θ表示模型相關(guān)參數(shù)。本章采用異構(gòu)softmax函數(shù)對實體vi的節(jié)點類型進(jìn)行歸一化處理,然后，在給定實體節(jié)點vi情況下，計算游走到實體節(jié)點vj的轉(zhuǎn)移概率,可得

(10)

其中,vj∈Vt,ck表示實體節(jié)點vk的上下文向量,vi表示邊類型為r的實體節(jié)點vi匯聚后的嵌入向量。

最后,采用異構(gòu)負(fù)采樣方法計算每個實體節(jié)點對的目標(biāo)函數(shù)-log?Pθ(vj|vi)可得

(11)

其中,L為訓(xùn)練樣本中的負(fù)樣本數(shù)量,vk由實體節(jié)點vj對應(yīng)集合Vt中定義的噪聲分布中隨機(jī)選取。模型算法總結(jié)如表1所示。

4 實驗分析

首先介紹實驗過程中采用的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識數(shù)據(jù)集及相關(guān)基線模型,然后根據(jù)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體關(guān)系，推理任務(wù)評估算法性能,最后通過模型參數(shù)的敏感性分析討論模型的魯棒性。

1)數(shù)據(jù)集

本節(jié)聚焦多模態(tài)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識獲取任務(wù),采用多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜作為知識庫。知識庫中包括兵棋聯(lián)合作戰(zhàn)態(tài)勢相關(guān)的人員、裝備、設(shè)施、目標(biāo)、自然環(huán)境和作戰(zhàn)能力等類型實體及其屬性信息,以及基于聯(lián)合作戰(zhàn)體系內(nèi)容視角的不同態(tài)勢實體間關(guān)系,其中包括情報偵察關(guān)系、指揮控制關(guān)系、聯(lián)合打擊關(guān)系、信息保障關(guān)系和后裝保障關(guān)系。以指揮控制關(guān)系類型為例,本節(jié)根據(jù)聯(lián)合作戰(zhàn)體系構(gòu)建內(nèi)容基本理論,貫穿戰(zhàn)略、戰(zhàn)役、戰(zhàn)術(shù)各層級,從作戰(zhàn)集團(tuán)到聯(lián)合作戰(zhàn)指揮機(jī)構(gòu),再到作戰(zhàn)任務(wù)執(zhí)行部隊,以及具體的作戰(zhàn)行動人員或裝備,設(shè)計構(gòu)建完整的聯(lián)合作戰(zhàn)指揮控制關(guān)系類型元路徑模式。該元路徑模式不再詳細(xì)區(qū)分隸屬、配屬、所屬、指揮等細(xì)粒度關(guān)系類型,而是聚焦于聯(lián)合戰(zhàn)役級指揮控制相關(guān)態(tài)勢要素,將該元路徑上相關(guān)的部隊、人員、裝備等實體之間的序列關(guān)系均定義為指揮控制關(guān)系。該方法既反映了聯(lián)合作戰(zhàn)體系構(gòu)建的基本特征,同時減少了態(tài)勢實體間的關(guān)系類型數(shù)量,降低了模型計算的復(fù)雜度,提高了模型的語義表達(dá)性能。

表1 模型算法

同時,為增強(qiáng)本節(jié)基于元路徑的多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜嵌入模型算法的性能比較優(yōu)勢,本文還采用公開的亞馬遜電子類產(chǎn)品數(shù)據(jù)集進(jìn)行對比分析[23]。該數(shù)據(jù)集中包含了電子類產(chǎn)品的屬性信息、商品共現(xiàn)關(guān)系信息和同時購買關(guān)系信息。其中,商品的屬性信息主要包括價格、品牌和種類等。數(shù)據(jù)集的統(tǒng)計情況如表2所示。

表2 數(shù)據(jù)集統(tǒng)計情況

2)基線模型及參數(shù)設(shè)定

根據(jù)不同的網(wǎng)絡(luò)結(jié)構(gòu)特征,分別選取經(jīng)典的圖嵌入模型作為基線模型進(jìn)行性能比較分析。其中,在異構(gòu)網(wǎng)絡(luò)中選取了metapath2vec模型,在多層異構(gòu)網(wǎng)絡(luò)中選取了GATNE-I模型。需要說明的是,為增強(qiáng)模型比較,在所有模型中本節(jié)設(shè)定的最終嵌入向量維度為d=200,邊嵌入向量維度為s=10,每個節(jié)點的游走次數(shù)設(shè)定為20,游走長度根據(jù)不同的元路徑模式長度而定,實體節(jié)點語義上下文窗口半徑c=5,每個正訓(xùn)練樣本的負(fù)樣本數(shù)設(shè)置為L=5,最大迭代次數(shù)為50,模型在每個訓(xùn)練過程中停止的條件為驗證集上的ROC-AUC在一個訓(xùn)練過程中沒有改善,每種關(guān)系類型r的超參數(shù)設(shè)置為αr=1和βr=1。模型采用TensorFlow中的自適應(yīng)矩估計(Adam Optimizer)進(jìn)行優(yōu)化,學(xué)習(xí)率設(shè)定為η=0.001。

3)模型性能

實體關(guān)系推理是一種用于發(fā)現(xiàn)實體間潛在關(guān)系的常見方法,多用于知識圖譜補(bǔ)全。聯(lián)合作戰(zhàn)態(tài)勢實體關(guān)系推理任務(wù)主要是基于知識圖譜中已有的態(tài)勢實體關(guān)系,推理預(yù)測可能存在的態(tài)勢實體關(guān)系。在實驗過程中,隱藏多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜中的部分實體關(guān)系,對剩余作戰(zhàn)態(tài)勢實體知識圖譜中的實體及其關(guān)系進(jìn)行訓(xùn)練。實驗分別構(gòu)建了訓(xùn)練集、驗證集和測試集。訓(xùn)練集用于模型參數(shù)訓(xùn)練,驗證集用于超參數(shù)調(diào)優(yōu)和模型訓(xùn)練中止,測試集用于評估模型性能且在已調(diào)優(yōu)的超參數(shù)下只運(yùn)行一次。驗證集和測試集分別包含了按10%隨機(jī)選擇的正邊。對于每種邊的類型,隨機(jī)選擇的負(fù)邊數(shù)量相等。

在性能分析過程中,這里采用常見的評估標(biāo)準(zhǔn),如ROC-AUC、PR-AUC和F1分?jǐn)?shù)。為避免閾值產(chǎn)生的影響,假設(shè)測試集中隱藏的邊數(shù)量是給定的,相關(guān)指標(biāo)在選定的邊類型中均勻分布。兩個數(shù)據(jù)集在三個評估標(biāo)準(zhǔn)下的定量實驗結(jié)果如表3所示。實驗結(jié)果顯示,在亞馬遜公開數(shù)據(jù)集上,這里提出的模型性能與經(jīng)典模型差別不大,F1分?jǐn)?shù)甚至低于metapath2vec模型。其主要原因在于,亞馬遜數(shù)據(jù)集實體類型和關(guān)系類型相比較而言簡單,本節(jié)提出的模型優(yōu)勢沒有充分體現(xiàn)。值得注意的是,三種經(jīng)典圖嵌入模型算法在兵棋聯(lián)合作戰(zhàn)態(tài)勢數(shù)據(jù)集上的性能下降明顯,其主要原因在于聯(lián)合作戰(zhàn)態(tài)勢數(shù)據(jù)集中的實體及其關(guān)系類型更為多樣,元路徑模式更為復(fù)雜。相比較三種經(jīng)典圖嵌入模型算法,本節(jié)提出的模型性能提升較為明顯,尤其在兵棋聯(lián)合作戰(zhàn)態(tài)勢數(shù)據(jù)集上的表現(xiàn)更為突出,相比較GATNE-I模型,ROC-AUC、PR-AUC和F1分?jǐn)?shù)分別提升5.63%、1.82%和1.85%。這說明,兵棋聯(lián)合作戰(zhàn)態(tài)勢實體及其關(guān)系相比電商領(lǐng)域?qū)嶓w及其關(guān)系更為復(fù)雜,需要從具體應(yīng)用場景出發(fā),針對領(lǐng)域?qū)嶋H特點和領(lǐng)域數(shù)據(jù)集中的多關(guān)系型數(shù)據(jù)不同的網(wǎng)絡(luò)結(jié)構(gòu)特征和實體間的語義聯(lián)系,設(shè)計更為適應(yīng)的元路徑模式,從而提高兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識表示學(xué)習(xí)模型的性能。

表3 不同模型在數(shù)據(jù)集上的性能比較

接下來考察多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜嵌入模型中的實體嵌入向量維度d以及邊嵌入向量維度s在聯(lián)合作戰(zhàn)態(tài)勢數(shù)據(jù)集上相對于指標(biāo)ROC-AUC的敏感性。由圖3的實驗結(jié)果可知,相比較模型中的默認(rèn)設(shè)置實體嵌入向量維度d=200和邊嵌入向量維度為s=10而言,ROC-AUC曲線隨著維度變化的波動幅度較小。由此可以得出結(jié)論,本節(jié)模型在較大的基本嵌入或邊嵌入維度范圍內(nèi),性能相對穩(wěn)定,魯棒性較好,僅當(dāng)基本嵌入或邊嵌入維度太小或太大時性能才會出現(xiàn)小幅下降。

圖3 不同基本嵌入或邊嵌入維度對模型性能的影響

5 結(jié)束語

本文針對多源異構(gòu)聯(lián)合作戰(zhàn)態(tài)勢信息的復(fù)雜性特點,依托兵棋推演平臺,以兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識為研究對象,以兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜為研究起點,聚焦兵棋聯(lián)合作戰(zhàn)想定場景中多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識嵌入問題,基于聯(lián)合作戰(zhàn)體系構(gòu)建基本理論,通過合理設(shè)計了實體間語義聯(lián)系的元路徑模式,提出了基于元路徑的兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜嵌入模型,將作戰(zhàn)態(tài)勢實體知識轉(zhuǎn)化為更加適合機(jī)器學(xué)習(xí)和處理的向量形式,實現(xiàn)了對兵棋聯(lián)合作戰(zhàn)態(tài)勢實體知識圖譜結(jié)構(gòu)特征和作戰(zhàn)態(tài)勢實體間語義關(guān)系特征的有效捕捉,為大規(guī)模聯(lián)合作戰(zhàn)態(tài)勢知識的智能獲取和推理奠定良好基礎(chǔ)。

審核編輯：符乾江