一種基于偽標(biāo)簽半監(jiān)督學(xué)習(xí)的小樣本調(diào)制識(shí)別算法

來源：《西北工業(yè)大學(xué)學(xué)報(bào)》，作者史蘊(yùn)豪等

摘 要：針對(duì)有標(biāo)簽樣本較少條件下的通信信號(hào)調(diào)制識(shí)別問題，提出了一種基于偽標(biāo)簽半監(jiān)督學(xué)習(xí)技術(shù)的小樣本調(diào)制方式分類算法，通過優(yōu)選人工特征集、設(shè)計(jì)高性能分類器以及基于輸出概率的偽標(biāo)簽數(shù)據(jù)選擇方法，構(gòu)建高效的偽標(biāo)簽標(biāo)注系統(tǒng)，然后通過該偽標(biāo)簽標(biāo)注系統(tǒng)與基于深度學(xué)習(xí)的信號(hào)分類方法配合，實(shí)現(xiàn)在少量有標(biāo)簽樣本和大量無標(biāo)簽樣本條件下的調(diào)制方式分類。仿真結(jié)果表明，對(duì)6種數(shù)字信號(hào)進(jìn)行調(diào)制識(shí)別，在信噪比大于5 dB時(shí)，偽標(biāo)簽算法可將模型識(shí)別性能提高5%～10%，該算法設(shè)計(jì)簡單，具有較大應(yīng)用價(jià)值。

關(guān) 鍵 詞：調(diào)制識(shí)別; 偽標(biāo)簽; 半監(jiān)督學(xué)習(xí)

通信信號(hào)調(diào)制方式識(shí)別是通信偵察、認(rèn)知電子戰(zhàn)領(lǐng)域的關(guān)鍵技術(shù)之一，在實(shí)際戰(zhàn)場(chǎng)環(huán)境中，由于敵我雙方的非協(xié)作特性，使得在還原敵方通信信號(hào)、獲取敵方情報(bào)信息之前必須進(jìn)行調(diào)制方式識(shí)別，此外，通信信號(hào)調(diào)制方式識(shí)別也為后續(xù)的信號(hào)解調(diào)、比特流分析、協(xié)議識(shí)別、信號(hào)解密、靈巧干擾等提供了重要支撐。

調(diào)制識(shí)別技術(shù)發(fā)展至今，已逐漸形成兩大類基于似然比的調(diào)制識(shí)別方法和基于特征的調(diào)制識(shí)別方法。基于似然比的調(diào)制識(shí)別方法主要是通過計(jì)算似然概率模型估計(jì)不同調(diào)制方式的概率，然后將各個(gè)信號(hào)代入檢驗(yàn)，最后判定似然概率最大的為識(shí)別結(jié)果?；谒迫槐鹊恼{(diào)制識(shí)別算法主要分為3類[1-3]，但該類方法普適性差的缺點(diǎn)較為明顯，由于概率密度函數(shù)都是針對(duì)特殊環(huán)境提出來的，因此參數(shù)微小的偏差和模型失配都會(huì)導(dǎo)致識(shí)別率大幅降低。基于特征的調(diào)制識(shí)別方法通過提取信號(hào)不同特征搭配分類算法從而做到對(duì)信號(hào)的識(shí)別，如文獻(xiàn)[4]使用高階累積量對(duì)8種數(shù)字信號(hào)進(jìn)行識(shí)別，文獻(xiàn)[5]混合高階累積量與循環(huán)譜特征對(duì)信號(hào)進(jìn)行分類，文獻(xiàn)[6-7]使用信號(hào)熵特征對(duì)不同調(diào)制信號(hào)進(jìn)行分類。但是基于人工提取特征的調(diào)制識(shí)別算法中，對(duì)特征區(qū)分度要求較高，一旦特征對(duì)于不同信號(hào)辨別性能差，識(shí)別模型效果就會(huì)顯著下降，因此有必要對(duì)自動(dòng)提取特征的方法進(jìn)行研究。

近年來，深度學(xué)習(xí)在模式識(shí)別、計(jì)算機(jī)視覺等領(lǐng)域取得了顯著突破，利用深度學(xué)習(xí)的方法自動(dòng)提取信號(hào)特征并對(duì)信號(hào)調(diào)制方式進(jìn)行識(shí)別也已經(jīng)取得了不錯(cuò)的效果，O′Shea等[8-9]最早于2016年利用有監(jiān)督深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)調(diào)制方式識(shí)別，該論文直接使用卷積祌經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)構(gòu)建端到端的學(xué)習(xí)模型，成功對(duì)包括WBFM、DSB、BPSK、16QAM在內(nèi)的11種數(shù)字或模擬調(diào)制方式進(jìn)行了識(shí)別。Jeong等[10]學(xué)者在論文中提出了一種算法，利用短時(shí)傅里葉變換(short-time Fourier transform,STFT)將信號(hào)從時(shí)域轉(zhuǎn)換為時(shí)頻域，并通過深度卷積神經(jīng)網(wǎng)絡(luò)提取時(shí)頻域特征，最終完成了對(duì)2-FSK、4-FSK、8-FSK等7種調(diào)制識(shí)別方式的識(shí)別，其在-4 dB的信噪比下仍有90%以上的識(shí)別正確率。Meng等[11]學(xué)者提出了一種聯(lián)合噪聲估計(jì)的調(diào)制識(shí)別算法，該研究提出了一種巧妙的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)將原始信號(hào)數(shù)據(jù)和信噪比作為神經(jīng)網(wǎng)絡(luò)的輸入，仿真結(jié)果顯示這種算法在不同信噪比下、不同頻偏下的識(shí)別成功率已經(jīng)非常接近理論識(shí)別率的上限。文獻(xiàn)[12]提出利用時(shí)頻圖的紋理信息進(jìn)行調(diào)制識(shí)別，在大樣本條件下，可取得良好的分類效果。Zhang等[13]利用卷積神經(jīng)網(wǎng)絡(luò)提取信號(hào)SPWVD時(shí)頻圖特征和BJD時(shí)頻圖特征并與大量手工特征融合對(duì)BPSK、QPSK，OFDM等8種調(diào)制方式進(jìn)行識(shí)別，在-4 dB時(shí)仍有92.5%的識(shí)別準(zhǔn)確率。

雖然基于深度學(xué)習(xí)的調(diào)制識(shí)別方法已經(jīng)取得了非常顯著的成果，但是國內(nèi)外專家的研究重點(diǎn)都偏向于有監(jiān)督深度學(xué)習(xí)方法，而有監(jiān)督深度學(xué)習(xí)方法需要大量有標(biāo)簽信號(hào)樣本作為支撐。但在實(shí)際應(yīng)用中，一些敏感的軍用通信信號(hào)由于受敵方保密要求的限制以及地理環(huán)境條件的制約，在平時(shí)只能獲取十分有限的信號(hào)樣本，而這些信號(hào)真正到了戰(zhàn)場(chǎng)又會(huì)大量出現(xiàn)。因此，如何利用少量有標(biāo)簽信號(hào)結(jié)合大量無標(biāo)簽信號(hào)的小樣本調(diào)制方式識(shí)別逐漸成了大家關(guān)注的重點(diǎn)方向之一?，F(xiàn)階段，國內(nèi)外針對(duì)小樣本調(diào)制識(shí)別的研究尚處于起步階段，但在其他領(lǐng)域已有一些半監(jiān)督學(xué)習(xí)算法出現(xiàn)。半監(jiān)督學(xué)習(xí)解決的就是有標(biāo)簽樣本數(shù)量較少情況下如何提升模型性能的問題，其核心思想為結(jié)合無標(biāo)簽數(shù)據(jù)進(jìn)行優(yōu)化。盡管無標(biāo)簽數(shù)據(jù)沒有標(biāo)簽信息但是它們和有標(biāo)簽數(shù)據(jù)一樣都是從相同的數(shù)據(jù)源獨(dú)立同分布采樣得到的，因此它們包含的關(guān)于數(shù)據(jù)分布的信息對(duì)優(yōu)化模型大有裨益[14]。半監(jiān)督學(xué)習(xí)方法主要包括自訓(xùn)練學(xué)習(xí)方法[15]、生成式學(xué)習(xí)方法[16]以及半監(jiān)督支持向量機(jī)等[17]。

為了充分利用無標(biāo)簽信號(hào)解決小樣本調(diào)制識(shí)別問題，本文提出了一種基于偽標(biāo)簽半監(jiān)督學(xué)習(xí)的小樣本調(diào)制識(shí)別模型。該模型通過優(yōu)選人工特征集結(jié)合高性能分類器為無標(biāo)簽信號(hào)進(jìn)行預(yù)測(cè)打上偽標(biāo)簽，然后利用深度學(xué)習(xí)類方法聯(lián)合訓(xùn)練帶標(biāo)簽樣本與偽標(biāo)簽樣本從而實(shí)現(xiàn)小樣本調(diào)制識(shí)別。

1 小樣本識(shí)別模型
本文采用基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)方法，在僅有少量有標(biāo)簽信號(hào)樣本的條件下進(jìn)行調(diào)制方式識(shí)別。基于偽標(biāo)簽的半監(jiān)督學(xué)習(xí)是一種增量算法，算法流程圖如圖1所示，在分類器訓(xùn)練部分，首先通過少量有標(biāo)簽樣本提取優(yōu)選人工特征送入高性能分類器中進(jìn)行訓(xùn)練，將信號(hào)識(shí)別準(zhǔn)確率提升到一個(gè)較高水準(zhǔn)，此時(shí)若環(huán)境中存在大量無標(biāo)簽樣本，則進(jìn)入偽標(biāo)簽生成部分，利用訓(xùn)練好的高性能分類器對(duì)無標(biāo)簽樣本進(jìn)行預(yù)測(cè)，通過預(yù)測(cè)的概率對(duì)無標(biāo)簽樣本進(jìn)行排序，給可靠的無標(biāo)簽樣本打上偽標(biāo)簽并加入到訓(xùn)練集中，但該過程并非選擇所有的無標(biāo)簽樣本均加入訓(xùn)練集，因?yàn)槿繜o標(biāo)簽樣本內(nèi)包含的錯(cuò)誤標(biāo)簽樣本會(huì)嚴(yán)重干擾模型收斂。當(dāng)環(huán)境中無標(biāo)簽樣本不足時(shí)，也可利用分類器訓(xùn)練部分模塊直接進(jìn)行信號(hào)分類。

圖片

圖1 算法流程圖

偽標(biāo)簽算法不斷迭代增加有標(biāo)簽樣本數(shù)量，當(dāng)有標(biāo)簽樣本數(shù)量滿足迭代要求時(shí)，進(jìn)入深度學(xué)習(xí)訓(xùn)練部分，將所有帶標(biāo)簽的樣本數(shù)據(jù)組合新的訓(xùn)練集，使用分類能力更強(qiáng)的深度學(xué)習(xí)類方法對(duì)所有標(biāo)簽樣本進(jìn)行聯(lián)合訓(xùn)練，最后利用訓(xùn)練好的模型對(duì)測(cè)試信號(hào)進(jìn)行預(yù)測(cè)。本文選取BP神經(jīng)網(wǎng)絡(luò)作為生成偽標(biāo)簽的高性能分類器，選取CNN卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)方法訓(xùn)練真實(shí)標(biāo)簽樣本與偽標(biāo)簽樣本的合集。

2 信號(hào)人工特征
本文選取多類具有良好區(qū)分性能的人工特征作為BP神經(jīng)網(wǎng)絡(luò)輸入，這些特征均已被證明具有良好的區(qū)分能力，其中包括高階累積量特征、熵特征以及時(shí)頻特征。

2.1 信號(hào)高階累積量特征
在調(diào)制識(shí)別技術(shù)領(lǐng)域，高階累積量是應(yīng)用非常廣泛的特征之一，其具有較強(qiáng)的周期分量，可用于準(zhǔn)確識(shí)別不同的數(shù)字調(diào)制信號(hào)。為了提取高階累積量，首先要計(jì)算信號(hào)的高階矩，信號(hào)高階矩由(1)式計(jì)算：

Mpq=E[x(n)p-q(x*(n))q]

(1)

通過信號(hào)各高階矩便可計(jì)算得到許多高階累積量,本文選擇下列高階累積量,這些累積量均已被證明在調(diào)制樣式分類中有較好鑒別性能[18-19]

圖片

2.2 信息熵特征
熵是用于評(píng)價(jià)信號(hào)或系統(tǒng)狀態(tài)平均不確定性的指標(biāo)。在信息論領(lǐng)域,熵用于衡量信息的信息量大小,信息的不確定程度越大,則其熵值越大,因此信息熵理論為我們提供了一個(gè)很好的信號(hào)特征描述方法。本文提取信號(hào)的功率譜熵、奇異譜熵和能量譜熵,以此作為信號(hào)的特征[20-21]。

2.2.1 功率譜熵

假設(shè)時(shí)間序列X長為L,對(duì)其進(jìn)行離散傅里葉變換,變換結(jié)果為

圖片

(9)

式中：圖片表示傅里葉變換后的第k個(gè)頻譜；N表示變換點(diǎn)數(shù),一般要求N為2的整數(shù)冪且接近序列X的長度。計(jì)算頻譜序列Y在y(k)處的功率譜

圖片

(10)

記

圖片

(11)

將(11)式代入香農(nóng)熵計(jì)算公式,可得到功率譜香農(nóng)熵。香農(nóng)熵計(jì)算公式為:圖片式中,H表示熵值;pi表示信號(hào)概率分布。

2.2.2 奇異譜熵

奇異譜分析是近年來非常流行的一種研究非線性時(shí)間序列數(shù)據(jù)的強(qiáng)大方法,它結(jié)合相空間重構(gòu)和奇異值分解對(duì)時(shí)間序列維數(shù)進(jìn)行估計(jì)。若一段離散時(shí)間序列為

X=[x1,x2,x3…xN]

首先將信號(hào)分段,假設(shè)分段長度為m,在奇異譜分析過程中,m最好為信號(hào)周期的整數(shù)倍且不宜超過信號(hào)序列長度的1/3,重構(gòu)后的序列軌跡矩陣為

圖片

(12)

對(duì)(12)式矩陣進(jìn)行奇異值分解,可得

圖片

(13)

式中：U和V均為正交矩陣；U為左奇異矩陣；V為右奇異矩陣;Σ矩陣可化為對(duì)角陣

圖片

式中,σk表示矩陣M的奇異值且除對(duì)角線上元素以外其余值均為零,對(duì)角線上的非零元素便構(gòu)成了序列的奇異值譜,即

σ={σ1,σ2,…σi,…σj|j

記pi表示非零奇異值σi占所有非零奇異值之和的比值

圖片

(14)

將(14)式代入香農(nóng)熵計(jì)算公式,即可得到奇異值香農(nóng)熵。

將(14)式帶入指數(shù)熵計(jì)算公式,即可得到奇異譜指數(shù)熵。指數(shù)熵的計(jì)算公式為:H=E[e1-pi]=∑pie1-pi。式中,H表示熵值;pi表示信號(hào)概率分布。

2.2.3 能量譜熵

對(duì)于序列信號(hào)X={x1,x2…xN},其能量譜定義為

圖片

(15)

式中,X(ω)表示序列X的離散傅里葉變換。記pi為

圖片

(16)

將(16)式代入指數(shù)熵計(jì)算公式,即可得到信號(hào)能量譜指數(shù)熵。

2.3 時(shí)頻特征
2.3.1 歸一化中心瞬時(shí)振幅功率密度最大值

歸一化中心瞬時(shí)振幅的功率密度最大值可在一定程度上反應(yīng)不同信號(hào)的譜特征,其定義如下[22]:

圖片

式中：Ns表示信號(hào)序列長度；ma表示信號(hào)瞬時(shí)幅度的均值。

2.3.2 歸一化中心瞬時(shí)振幅絕對(duì)值的標(biāo)準(zhǔn)差

序列信號(hào)歸一化中心瞬時(shí)振幅絕對(duì)值的標(biāo)準(zhǔn)差可由(18)式求得,其定義如下

圖片

(21)

3 網(wǎng)絡(luò)結(jié)構(gòu)
本節(jié)將對(duì)選擇的BP網(wǎng)絡(luò)與CNN卷積神經(jīng)網(wǎng)絡(luò)作詳細(xì)介紹。選用BP網(wǎng)絡(luò)主要原因是BP網(wǎng)絡(luò)具有學(xué)習(xí)能力,可以自動(dòng)學(xué)習(xí)各個(gè)特征對(duì)分類結(jié)果影響的權(quán)重,即送入網(wǎng)絡(luò)的特征中若有部分在分類方面作用不明顯那么其所屬權(quán)重就會(huì)減小。因此對(duì)于BP網(wǎng)絡(luò)而言,其對(duì)輸入的特征會(huì)自動(dòng)進(jìn)行“特征篩選”,這在一定程度上可以減輕對(duì)先驗(yàn)信息的依賴,此外,由于深度神經(jīng)網(wǎng)絡(luò)等模型參數(shù)龐大、權(quán)重太多,在小樣本條件時(shí)模型過擬合現(xiàn)象非常嚴(yán)重,因此淺層BP網(wǎng)絡(luò)用作小樣本階段訓(xùn)練具有明顯優(yōu)勢(shì)。

BP網(wǎng)絡(luò)的訓(xùn)練過程如圖2所示,在開始訓(xùn)練時(shí),由于僅有少量的有標(biāo)簽信號(hào)樣本,訓(xùn)練出的模型泛化能力弱,而人工特征不依賴于訓(xùn)練數(shù)據(jù),可以彌補(bǔ)訓(xùn)練數(shù)據(jù)量較少時(shí)特征表達(dá)能力不足的問題,因此本文設(shè)計(jì)的BP網(wǎng)絡(luò)模型輸入為已具備分類能力的優(yōu)選特征集。首先對(duì)信號(hào)進(jìn)行歸一化處理,然后計(jì)算信號(hào)熵特征、高階累積量特征和時(shí)頻特征,將所有特征組合后一起送入BP網(wǎng)絡(luò)訓(xùn)練,最后利用softmax分類器輸出信號(hào)預(yù)測(cè)概率。

圖片

圖2 網(wǎng)絡(luò)訓(xùn)練過程

BP網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,本文設(shè)計(jì)的BP網(wǎng)絡(luò)由1層輸入層,4層全連接層以及softmax分類器構(gòu)成,輸入層大小為1*13,分別代表13種人工提取的特征,各全連接層神經(jīng)元個(gè)數(shù)分別為16,32,64,32,各神經(jīng)元均采用ReLU激活函數(shù)。為提升網(wǎng)絡(luò)的泛化能力,在第三、四層全連接層后使用dropout技術(shù)干擾訓(xùn)練以防止網(wǎng)絡(luò)過擬合,以提高網(wǎng)絡(luò)在測(cè)試樣本上的泛化能力,但干擾只發(fā)生在網(wǎng)絡(luò)訓(xùn)練階段,在網(wǎng)絡(luò)模型生成偽標(biāo)簽時(shí)則停止干擾,Dropout比率設(shè)置為0.5。BP網(wǎng)絡(luò)訓(xùn)練產(chǎn)生的損失函數(shù)如下所示:

圖片

圖3 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖片

(22)

式中:圖片表示有標(biāo)簽信號(hào)產(chǎn)生的分類損失；圖片表示偽標(biāo)簽信號(hào)產(chǎn)生的分類損失；N表示有標(biāo)簽信號(hào)數(shù)量；N′偽標(biāo)簽信號(hào)數(shù)量,μ用于控制2類損失的比重。

在利用偽標(biāo)簽算法迭代訓(xùn)練BP網(wǎng)絡(luò)過程中,有時(shí)難免給無標(biāo)簽信號(hào)樣本打上錯(cuò)誤的偽標(biāo)簽,因此偽標(biāo)簽的準(zhǔn)確性對(duì)網(wǎng)絡(luò)最終的識(shí)別率有決定性影響。由于softmax分類器輸出的是各個(gè)類別的預(yù)測(cè)概率,因此本文提出可靠條件為

p2+p3≤p1

(23)

式中：p1表示softmax分類器輸出的最大概率；p2，p3依次表示softmax分類器輸出的第二大、第三大概率。即只有softmax輸出的最大概率大于第二大概率與第三大概率之和時(shí),才會(huì)給該無標(biāo)簽信號(hào)打上偽標(biāo)簽,通過此基于輸出概率的樣本選擇算法便可在一定程度上保證偽標(biāo)簽的可靠性。

無標(biāo)簽樣本標(biāo)注偽標(biāo)簽結(jié)束后,將真實(shí)標(biāo)簽樣本與偽標(biāo)簽樣本聯(lián)合起來送入CNN卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,CNN結(jié)構(gòu)如圖4所示。為充分發(fā)揮卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力,本文直接將IQ信號(hào)輸入卷積神經(jīng)網(wǎng)絡(luò),信號(hào)輸入網(wǎng)絡(luò)前,將其轉(zhuǎn)換為二維數(shù)據(jù),即若信號(hào)長為L,則轉(zhuǎn)換后的數(shù)據(jù)格式為[2,L],兩路分別代表I路數(shù)據(jù)與Q路數(shù)據(jù)。網(wǎng)絡(luò)共包含3層卷積層和3層全連接層,其中第一個(gè)卷積層卷積核個(gè)數(shù)為64,核尺寸為2*4,第二個(gè)卷積層卷積核個(gè)數(shù)為32,核尺寸為1*4,第三個(gè)卷積層卷積核個(gè)數(shù)為16,核尺寸為1*4。卷積層完成對(duì)序列數(shù)據(jù)的特征提取,將提取后的特征轉(zhuǎn)換為一維序列送入全連接層,3層全連接層的維度分別為64,32,16,將第三個(gè)全連接層輸出的特征送入softmax分類器進(jìn)行分類,輸出預(yù)測(cè)結(jié)果,并通過反向傳播不斷優(yōu)化網(wǎng)絡(luò)參數(shù)。

圖片

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

4 仿真結(jié)果及分析
本文選用的調(diào)制信號(hào)集為{BPSK,4PAM,4PSK,8PSK,16QAM,64QAM},共計(jì)6種數(shù)字調(diào)制信號(hào),信號(hào)序列長度L=100,信噪比從-10至20 dB,間隔為2 dB。訓(xùn)練集每類信號(hào)生成4 000個(gè)信號(hào)樣本,信噪比隨機(jī),共計(jì)24 000個(gè)樣本。測(cè)試集每類信號(hào)每個(gè)信噪比點(diǎn)生成500個(gè)信號(hào),共計(jì)48 000個(gè)信號(hào),所有信號(hào)均由MATLABR2016a仿真生成。

網(wǎng)絡(luò)訓(xùn)練均基于Python下的Keras深度學(xué)習(xí)框架實(shí)現(xiàn),硬件平臺(tái)為Intel(R)Core(TM)i7-8700CPU,GPU為NVIDIA GeForce 1060Ti。

4.1 信號(hào)特征提取分析
本節(jié)對(duì)6類數(shù)字信號(hào)在-10至20 dB間每個(gè)信噪比點(diǎn)生成500個(gè)樣本,提取信號(hào)13種特征并取平均值,取其中具有代表性的特征并繪圖,得到圖5所示的特征曲線圖。在進(jìn)行信號(hào)奇異譜分析時(shí),由于信號(hào)序列長度L=100,且基帶序列為隨機(jī)生成無周期特性,因此設(shè)置分段長度m=33;在計(jì)算序列離散傅里葉變換時(shí),由于要求傅里葉變換點(diǎn)數(shù)靠近序列長度且為2的整數(shù)冪,因此設(shè)置傅里葉變換點(diǎn)數(shù)

圖片

圖5 信號(hào)特征曲線圖

N=128。

圖5a)至5e)分別代表信號(hào)功率譜香農(nóng)熵、高階累積量C40、高階累積量C61、奇異譜指數(shù)熵、功率譜峰值和瞬時(shí)幅度標(biāo)準(zhǔn)差隨信噪比變化的曲線?？梢钥闯?隨著信噪比的不斷上升,各類信號(hào)特征間的差異越來越大,代表著特征的區(qū)分能力越來越強(qiáng),但每個(gè)特征均有無法區(qū)分的調(diào)制信號(hào),因此本文選擇綜合13類特征一起作為分類特征。

4.2 偽標(biāo)簽算法可行性分析
本節(jié)對(duì)比3類識(shí)別算法在不同訓(xùn)練樣本總量下的識(shí)別性能,分別為人工提取特征結(jié)合BP神經(jīng)網(wǎng)絡(luò)、時(shí)序IQ序列結(jié)合CNN卷積神經(jīng)網(wǎng)絡(luò)、時(shí)序IQ序列結(jié)合LSTM循環(huán)神經(jīng)網(wǎng)絡(luò),LSTM網(wǎng)絡(luò)為KERAS框架下的CuDNNLSTM。3類算法均迭代200次,使用Adam函數(shù)優(yōu)化。當(dāng)不同樣本量條件下進(jìn)行調(diào)制方式識(shí)別時(shí),各算法在測(cè)試集上的性能如圖6所示,從仿真結(jié)果可以看出,當(dāng)訓(xùn)練樣本數(shù)量有限時(shí),例如圖6a)所示總樣本量為600個(gè),通過人工提取特征結(jié)合BP神經(jīng)網(wǎng)絡(luò)的識(shí)別率要遠(yuǎn)高于CNN卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率以及LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的識(shí)別率。但隨著樣本數(shù)量的不斷增加,人工提取特征結(jié)合BP神經(jīng)網(wǎng)絡(luò)的識(shí)別率變化不大,而CNN卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率和LSTM網(wǎng)絡(luò)的識(shí)別率則上升的非?？?當(dāng)總樣本量達(dá)到6 000時(shí),CNN的最高識(shí)別性能已經(jīng)優(yōu)于人工提取特征結(jié)合BP網(wǎng)絡(luò)的性能,其最高識(shí)別率可以達(dá)到85%以上,當(dāng)總樣本量達(dá)到24 000時(shí),網(wǎng)絡(luò)的最高識(shí)別率可以達(dá)到95%以上。因此,利用人工特征結(jié)合BP神經(jīng)網(wǎng)絡(luò)在樣本量較少的情況下采用偽標(biāo)簽增量算法增加訓(xùn)練數(shù)據(jù)總樣本量,而后采用CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練是可行的。

圖片

圖6 不同樣本總量下各算法識(shí)別率曲線

4.3 偽標(biāo)簽算法識(shí)別率分析
通過4.2節(jié)中的仿真結(jié)果可分析出,在樣本量充足的條件下本文提出的CNN深度卷積神經(jīng)網(wǎng)絡(luò)模型性能優(yōu)于CuDNNLSTM網(wǎng)絡(luò),因此本文選用CNN作為訓(xùn)練模型對(duì)打偽標(biāo)簽后的樣本集進(jìn)行訓(xùn)練。

假設(shè)初始條件為有每類調(diào)制信號(hào)有100,500,1 000個(gè)帶標(biāo)簽樣本,共600,3 000,6 000個(gè)帶標(biāo)簽樣本以及48 000個(gè)無標(biāo)簽樣本,首先通過人工提取特征結(jié)合BP神經(jīng)網(wǎng)絡(luò)對(duì)600,3 000,6 000個(gè)帶標(biāo)簽樣本進(jìn)行訓(xùn)練,而后通過偽標(biāo)簽增量算法對(duì)無標(biāo)簽樣本打偽標(biāo)簽,最后利用CNN對(duì)有標(biāo)簽樣本、偽標(biāo)簽樣本的IQ序列進(jìn)行聯(lián)合訓(xùn)練。在CNN網(wǎng)絡(luò)訓(xùn)練過程中,由于真實(shí)標(biāo)簽樣本與測(cè)試集樣本分布相同且標(biāo)簽準(zhǔn)確,因此本文選用真實(shí)標(biāo)簽樣本作為驗(yàn)證集,以此提升網(wǎng)絡(luò)在測(cè)試集上的識(shí)別性能。

當(dāng)使用600個(gè)真實(shí)標(biāo)簽樣本對(duì)大量無標(biāo)簽樣本預(yù)測(cè)偽標(biāo)簽時(shí),樣本數(shù)隨迭代次數(shù)的變化如表1所示。

表1 600個(gè)真實(shí)樣本

圖片

從表1的結(jié)果可以看出,隨著迭代次數(shù)的不斷增加,偽標(biāo)簽數(shù)量不斷提升,但由于設(shè)置了可靠條件,所以偽標(biāo)簽樣本總量并未達(dá)到48 000。將所有真實(shí)標(biāo)簽樣本和偽標(biāo)簽樣本一并送入CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,共計(jì)29 520個(gè)樣本,測(cè)試集的識(shí)別率如圖7所示。

圖片

圖7 偽標(biāo)簽算法識(shí)別率對(duì)比

當(dāng)訓(xùn)練樣本總量為29 520時(shí),算法各部分運(yùn)行時(shí)間如表2所示,當(dāng)使用3 000個(gè)真實(shí)標(biāo)簽樣本對(duì)大量無標(biāo)簽樣本預(yù)測(cè)偽標(biāo)簽時(shí),樣本數(shù)隨迭代次數(shù)的變化如表3所示,從表3的結(jié)果可以看出,隨著迭代次數(shù)的不斷增加,偽標(biāo)簽數(shù)量不斷提升,經(jīng)過5次迭代后訓(xùn)練樣本數(shù)總數(shù)可達(dá)36 566個(gè),測(cè)試集的識(shí)別率如圖8所示,當(dāng)訓(xùn)練樣本總量為36 566個(gè)時(shí),算法各部分運(yùn)行時(shí)間如表4所示。

表2 算法運(yùn)行時(shí)間 單位：s

圖片

表3 3 000個(gè)真實(shí)樣本

圖片

表4 算法運(yùn)行時(shí)間 單位：s

圖片

圖8 偽標(biāo)簽算法識(shí)別率對(duì)比

當(dāng)使用6 000個(gè)真實(shí)標(biāo)簽樣本對(duì)大量無標(biāo)簽樣本預(yù)測(cè)偽標(biāo)簽時(shí),樣本數(shù)隨迭代次數(shù)的變化如表5所示。從表5的結(jié)果可以看出,隨著迭代次數(shù)的不斷增加,偽標(biāo)簽樣本數(shù)量不斷提升,經(jīng)過5次迭代后訓(xùn)練樣本數(shù)總數(shù)可達(dá)41 063個(gè),測(cè)試集的識(shí)別率如圖9所示。

表5 6 000個(gè)真實(shí)樣本

圖片

圖9 偽標(biāo)簽算法識(shí)別率對(duì)比

當(dāng)訓(xùn)練樣本總量為41 063時(shí),算法各部分運(yùn)行時(shí)間如表6所示。

表6 算法運(yùn)行時(shí)間 單位：s

圖片

通過仿真結(jié)果可以看出,在小樣本條件下,利用偽標(biāo)簽增量算法對(duì)傳統(tǒng)特征結(jié)合BP神經(jīng)網(wǎng)絡(luò)的識(shí)別性能有一定的提升,當(dāng)信噪比大于5 dB時(shí),本文提出的偽標(biāo)簽CNN的網(wǎng)絡(luò)識(shí)別率相較于BP神經(jīng)網(wǎng)絡(luò)結(jié)合人工特征的識(shí)別率可提高約5%～10%。

實(shí)際上本文提出的偽標(biāo)簽半監(jiān)督模型,其性能與生成偽標(biāo)簽所用的人工特征集以及分類器密切相關(guān),通過大量實(shí)驗(yàn)發(fā)現(xiàn)，如果偽標(biāo)簽標(biāo)注分類器不能很好區(qū)分信號(hào)類型,那么能夠獲得的有效偽標(biāo)簽樣本就會(huì)較少,總體識(shí)別準(zhǔn)確率就會(huì)偏低,但如果能進(jìn)一步提升偽標(biāo)簽分類器的識(shí)別率，將其控制到90%以上,那么整體算法的識(shí)別率甚至可以接近100%。在實(shí)際應(yīng)用過程中,一方面可以實(shí)時(shí)監(jiān)控偽標(biāo)簽樣本數(shù)量分布,從而掌握深度學(xué)習(xí)類方法是否有足夠的樣本量支撐,另一方面還可以不斷改進(jìn)特征集和分類器,繼續(xù)研究更具區(qū)分能力的特征并選擇更復(fù)雜的模型作為偽標(biāo)簽生成器,這樣深度學(xué)習(xí)類方法的性能也會(huì)不斷提升。

5 結(jié) 論
本文針對(duì)戰(zhàn)場(chǎng)信號(hào)調(diào)制識(shí)別領(lǐng)域可能出現(xiàn)的小樣本情況進(jìn)行研究,設(shè)計(jì)了基于人工優(yōu)選特征集與BP神經(jīng)網(wǎng)絡(luò)的信號(hào)偽標(biāo)簽標(biāo)注方法,并結(jié)合基于CNN的通信信號(hào)分類模型,形成了小樣本條件下通信信號(hào)分類新的解決方案,通過大量的實(shí)驗(yàn)驗(yàn)證了方案的可行性,在單個(gè)信號(hào)類型的帶標(biāo)簽樣本量為100以上時(shí),本文模型就可有效工作,且在不同標(biāo)簽樣本量條件下,其總體性能均比常規(guī)方法有明顯提升。

審核編輯：符乾江