近來移動通信和 5G 網(wǎng)絡(luò)等快速發(fā)展，它們的調(diào)控與配置因為充滿了多樣性和動態(tài)變化而面臨非常多的挑戰(zhàn)。因此近來很多研究科學(xué)家開始利用機器學(xué)習(xí)及深度學(xué)習(xí)加強移動和無線網(wǎng)絡(luò)的配置，并幫助應(yīng)對數(shù)據(jù)量和算法驅(qū)動的應(yīng)用程序的增長。本論文基本是首篇綜述深度學(xué)習(xí)及無線網(wǎng)絡(luò)交叉學(xué)科研究面貌的調(diào)研，讀者可以閱讀原論文全面了解該新興交叉學(xué)科。

互聯(lián)網(wǎng)連接的移動設(shè)備正在滲透生活、工作和娛樂的各個方面。智能手機數(shù)量不斷增加以及不斷增多的應(yīng)用程序引發(fā)了移動數(shù)據(jù)流量的激增。事實上，最新行業(yè)預(yù)測顯示，到 2021 年，全球 IP 年流量將達到 3.3 澤字節(jié) ( 1015 兆字節(jié))，同年，智能手機流量將超過 PC 流量 [1]。由于用戶偏好轉(zhuǎn)向無線連接，當前移動基礎(chǔ)設(shè)施面臨著巨大的容量需求。針對這一日益增長的需求，有人建議采用靈活的資源供給方式 [ 2 ]，分布式解決移動管理問題 [ 3 ]。然而，長遠來看，互聯(lián)網(wǎng)服務(wù)提供商 ( ISP ) 必須開發(fā)智能異構(gòu)架構(gòu)和工具，以催生第五代移動系統(tǒng) ( 5G )，并逐步滿足終端用戶的迫切需求 [4], [5]。

移動網(wǎng)絡(luò)架構(gòu)日益多樣化且復(fù)雜性不斷提高，監(jiān)控和管理眾多網(wǎng)絡(luò)元素的問題因而變得棘手。因此，廣大研究人員對多功能機器智能嵌入未來移動網(wǎng)絡(luò)這一課題的興趣空前高漲 [6]，[7]。這種趨勢反映在機器學(xué)習(xí)（ML）解決方案中，從無線接入技術(shù)（RAT）選擇 [8] 到惡意軟件檢測 [9]，以及支持機器學(xué)習(xí)實踐的網(wǎng)絡(luò)系統(tǒng)的開發(fā)。機器學(xué)習(xí)能夠從流量數(shù)據(jù)中系統(tǒng)地挖掘有價值的信息，并自動發(fā)現(xiàn)其相關(guān)性，這類問題對于人類專家來說太過復(fù)雜 [12]。作為機器學(xué)習(xí)的重要部分，深度學(xué)習(xí)在計算機視覺 [13] 和自然語言處理（NLP）[14] 等領(lǐng)域取得了卓越的進展。網(wǎng)絡(luò)研究人員也開始認識到深度學(xué)習(xí)的重要性，并探索如何將深度學(xué)習(xí)應(yīng)用到移動網(wǎng)絡(luò)領(lǐng)域 [15], [16]。

我們有充分理由在在 5G 移動和無線網(wǎng)絡(luò)中嵌入深度學(xué)習(xí)，尤其在處理移動環(huán)境產(chǎn)生的異構(gòu)數(shù)據(jù)。因為這些數(shù)據(jù)通常來源廣泛，格式各異，并且表現(xiàn)出復(fù)雜的相關(guān)性 [17]。傳統(tǒng)的機器學(xué)習(xí)工具需要繁瑣的特征工程才能根據(jù)這些數(shù)據(jù)做出準確的推論和決策。深度學(xué)習(xí)消除了領(lǐng)域?qū)I(yè)知識的門檻，因為它采用分層特征提取，該技術(shù)可以有效地提取信息并從數(shù)據(jù)中獲取越來越抽象的相關(guān)性，同時最大限度地減少數(shù)據(jù)預(yù)處理工作量。基于圖形處理單元（GPU）的并行計算進一步使深度學(xué)習(xí)能夠在毫秒內(nèi)進行推理。這有利于分析網(wǎng)絡(luò)，提高管理準確度并克服傳統(tǒng)數(shù)學(xué)技術(shù)（例如凸優(yōu)化、博弈論、元啟發(fā)式）的運行時間限制。

盡管移動網(wǎng)絡(luò)領(lǐng)域的深度學(xué)習(xí)炙手可熱，但現(xiàn)有的成果分散在不同的研究領(lǐng)域，缺乏全面而簡明的研究。本文通過介紹這兩個領(lǐng)域交叉研究的最新調(diào)查，填補了深度學(xué)習(xí)與移動、無線網(wǎng)絡(luò)之間的鴻溝。除了回顧相關(guān)度最高的文獻之外，本文還討論了各種深度學(xué)習(xí)架構(gòu)的優(yōu)缺點，并提出深度學(xué)習(xí)模型的選擇策略，以解決移動網(wǎng)絡(luò)問題。此外，本文還進一步研究了針對個人移動網(wǎng)絡(luò)任務(wù)量身定制深度學(xué)習(xí)的方法，以在復(fù)雜環(huán)境下實現(xiàn)最佳性能的方法。最后，本文指出未來值得深入研究的方向和尚未解決的重要問題，而最終目標是為用深度學(xué)習(xí)來解決各領(lǐng)域問題的網(wǎng)絡(luò)研究人員和從業(yè)人員提供明確的指導(dǎo)。

本文結(jié)構(gòu)：如圖 1 所示，本文采用自上而下的方式組織文章。首先，本文將討論圍繞深度學(xué)習(xí)、未來移動網(wǎng)絡(luò)和使用深度學(xué)習(xí)構(gòu)建的網(wǎng)絡(luò)應(yīng)用程序進行的高層次概述工作，這些工作有助于定義本文的范圍和貢獻 (第 2 節(jié))。鑒于深度學(xué)習(xí)技術(shù)是移動網(wǎng)絡(luò)社區(qū)中的新課題，第 3 節(jié)給出了深度學(xué)習(xí)的基本背景，突出了解決移動網(wǎng)絡(luò)問題的直接優(yōu)勢。許多因素能夠促進移動網(wǎng)絡(luò)應(yīng)用領(lǐng)域的深度學(xué)習(xí)實現(xiàn) (包括專用的深度學(xué)習(xí)庫、優(yōu)化算法等)。第 4 節(jié)討論了這些促進因素，幫助移動網(wǎng)絡(luò)研究人員和工程師選擇合適的深入學(xué)習(xí)軟硬件平臺。

圖 1：本文圖解示意圖

第 5 節(jié)介紹和比較了最先進的深度學(xué)習(xí)模型，并提供了網(wǎng)絡(luò)問題解決方案。第 6 節(jié)回顧了近期深度學(xué)習(xí)領(lǐng)域中移動和無線網(wǎng)絡(luò)應(yīng)用，本文將這些應(yīng)用分為不同的場景，從移動流量分析到安全以及新興應(yīng)用。第 7 節(jié)討論了如何針對移動網(wǎng)絡(luò)問題定制深度學(xué)習(xí)模型，并強調(diào)網(wǎng)絡(luò)研究中，深度學(xué)習(xí)應(yīng)用相關(guān)的開放性問題（第 8 節(jié)）。本文結(jié)尾部分簡要討論移動網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)之間的相互作用（第 9 節(jié)）。

論文：Deep Learning in Mobile and Wireless Networking: A Survey

摘要：移動設(shè)備以及移動應(yīng)用和服務(wù)的日益普及對移動和無線網(wǎng)絡(luò)基礎(chǔ)設(shè)施的需求達到前所未有的高度。即將推出的 5G 系統(tǒng)正在發(fā)展，以應(yīng)對移動通信量的爆炸式增長，并靈活管理網(wǎng)絡(luò)資源，從而最大限度地提高用戶體驗及細粒度抽取實時分析的能力。該任務(wù)頗具挑戰(zhàn)性，因為移動環(huán)境日趨復(fù)雜、多樣化并不斷發(fā)展變化。一個潛在的解決方案是采用先進的機器學(xué)習(xí)技術(shù)來幫助應(yīng)對數(shù)據(jù)量和算法驅(qū)動的應(yīng)用程序的增長。深度學(xué)習(xí)的最新成果是有效解決這一問題的基礎(chǔ)。

本文通過對深度學(xué)習(xí)與移動、無線網(wǎng)絡(luò)研究的交叉領(lǐng)域開展綜合性研究，填補了二者之間的鴻溝。首先，本文簡要介紹了深度學(xué)習(xí)技術(shù)的基本背景和最新進展，以及在網(wǎng)絡(luò)方面的潛在應(yīng)用。然后討論了幾種有助于在移動系統(tǒng)上高效部署深度學(xué)習(xí)的技術(shù)和平臺。隨后，本文對基于深度學(xué)習(xí)的移動和無線網(wǎng)絡(luò)研究進行了百科全書式的回顧，并按不同領(lǐng)域進行了分類。此外，本文還基于自己的經(jīng)驗討論了如何根據(jù)移動環(huán)境定制深度學(xué)習(xí)。最后明確了當前的挑戰(zhàn)和未來的研究方向。

近來深度學(xué)習(xí)有很多先進的綜述性調(diào)查或研究，它們都令深度學(xué)習(xí)尤其是移動端網(wǎng)絡(luò)架構(gòu)在終端設(shè)備上有很大的提升。一般來說，深度學(xué)習(xí)的這些進步主要體現(xiàn)在先進的并行計算、分布式機器學(xué)習(xí)系統(tǒng)、便捷的深度學(xué)習(xí)框架和高效的最優(yōu)化方法等。我們在下表 3 展示了這些進步，并在論文中詳細討論它們。

表 2：與深度學(xué)習(xí)和移動網(wǎng)絡(luò)相關(guān)的現(xiàn)有調(diào)研、學(xué)術(shù)論文和專著匯總。符號 D 表示該出版物所處的研究領(lǐng)域，?標記不直接覆蓋該領(lǐng)域的文章，但讀者可以從中檢索一些相關(guān)的見解，與深度學(xué)習(xí)和移動網(wǎng)絡(luò)相關(guān)的出版物都使用陰影表示。

3. 深度學(xué)習(xí)基礎(chǔ)

我們首先將簡述深度學(xué)習(xí)，并重點介紹該領(lǐng)域的核心原則以及成功的關(guān)鍵優(yōu)勢。深度學(xué)習(xí)實際上是機器學(xué)習(xí)的一個分支，它通過多層非線性處理單元從原始數(shù)據(jù)中分層抽取特征與知識，因而能針對一些目標執(zhí)行高效的預(yù)測或決策。相比傳統(tǒng)機器學(xué)習(xí)，深度學(xué)習(xí)的主要優(yōu)勢是在于自動抽取特征，因而避免了昂貴的人工特征預(yù)處理過程。此外，我們在下圖 2 中展示了深度學(xué)習(xí)、機器學(xué)習(xí)以及人工智能之間的關(guān)系。

圖 2：深度學(xué)習(xí)、機器學(xué)習(xí)和 AI 之間關(guān)系的維恩圖。本調(diào)研重點關(guān)注移動和無線網(wǎng)絡(luò)中的深度學(xué)習(xí)應(yīng)用。

對于一般的深度學(xué)習(xí)來說，它們可以抽象為一系列相互嵌套的復(fù)合函數(shù)，且這種復(fù)合函數(shù)在直觀上可以表示為一系列疊加的層級。如下展示了一般深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的訓(xùn)練和推斷過程，其中正向傳播即神經(jīng)網(wǎng)絡(luò)的推斷過程。因為它們可以抽象為一個復(fù)合函數(shù)，那么根據(jù)復(fù)合函數(shù)的鏈式求導(dǎo)法則，我們可以輕松地使用反向傳播和最優(yōu)化方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

圖 3：4 層卷積網(wǎng)絡(luò)的學(xué)習(xí)和推斷過程，其中 w(·) 代表每一個隱藏層的權(quán)重、σ(·) 代表激活函數(shù)、λ 為學(xué)習(xí)率、?(·) 表示了卷積運算，而 L(w) 為需要優(yōu)化的損失函數(shù)。

4. 深度學(xué)習(xí)在移動網(wǎng)絡(luò)中的應(yīng)用

5G 系統(tǒng)是試圖提升信息吞吐量并獲得低延遲通信服務(wù)的協(xié)議，它們能很大程度上提升用戶的 QoE [4]。但在 5G 系統(tǒng)上構(gòu)建深度學(xué)習(xí)智能系統(tǒng)是非常復(fù)雜和昂貴的。幸運的是，目前一些進步令深度學(xué)習(xí)在移動端的應(yīng)用變成了可能：（i）高級并行計算，（ii）分布式機器學(xué)習(xí)系統(tǒng)，（iii）優(yōu)秀的深度學(xué)習(xí)框架，（iv）快速優(yōu)化算法和（v）霧計算（fog computing）。我們在下表 3 中總結(jié)了這些優(yōu)勢。

表 3：在移動系統(tǒng)中嵌入深度學(xué)習(xí)的工具和技術(shù)匯總

因為并行計算和分布式系統(tǒng)的進步，目前深度學(xué)習(xí)出現(xiàn)了很多適用于移動端的框架和平臺，它們都尋求在移動端上精簡和優(yōu)化深度模型。我們在表 4 中對比了這些平臺。

表 4：深度學(xué)習(xí)移動平臺對比

5. 深度學(xué)習(xí)：頂尖性能

若我們重新回顧圖 2，機器學(xué)習(xí)方法可以很自然地分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)，而深度學(xué)習(xí)在這些領(lǐng)域中都實現(xiàn)了當前最頂尖的性能。在這一章節(jié)中，我們將介紹深度學(xué)習(xí)的關(guān)鍵原則，并討論它們在解決移動網(wǎng)絡(luò)問題上的潛力。下圖 4 和表 5 都展示了當前基本的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。

圖 4：MLP、RBM、AE、CNN、RNN、GAN 和 DRL 的基本結(jié)構(gòu)和操作原理。

如上所示為基本的深度網(wǎng)絡(luò)架構(gòu)，當然最基礎(chǔ)的是有感知機發(fā)展而來的多層感知機或全連接網(wǎng)絡(luò)，該網(wǎng)絡(luò)前后兩層的所有神經(jīng)元都相互有連接。而后卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)都基于一些先驗特征而只有局部連接，這樣不僅減少了權(quán)重數(shù)量，同時還加強了模型的性能。

以下展示了各神經(jīng)網(wǎng)絡(luò)架構(gòu)的屬性、優(yōu)勢和應(yīng)用于移動網(wǎng)絡(luò)的潛力等：

表 5：不同深度學(xué)習(xí)架構(gòu)匯總。陰影部分是 GAN 和 DRL，因為它們是建立在其他模型之上的。

6. 深度學(xué)習(xí)驅(qū)動的移動和無線網(wǎng)絡(luò)

深度學(xué)習(xí)在移動網(wǎng)絡(luò)領(lǐng)域應(yīng)用廣泛。本文在不同的網(wǎng)絡(luò)管區(qū)中組織和分類深度學(xué)習(xí)應(yīng)用，并描述其貢獻。接下來，本文將介紹所有領(lǐng)域的重要出版物，并對比其設(shè)計和原則。

無線傳感器網(wǎng)絡(luò)（WSN）由一組分布在不同地理區(qū)域的獨特或異構(gòu)傳感器組成。它們通過無線通道協(xié)同監(jiān)測物理或環(huán)境狀態(tài)（如溫度、壓力、運動和污染），并將已收集數(shù)據(jù)傳輸?shù)?a target="_blank">中心服務(wù)器。

圖 5：蜂窩、WiFi 和無線傳感器網(wǎng)絡(luò)中的移動數(shù)據(jù)收集過程示意圖。BSC：基站控制器；RNC：無線電網(wǎng)絡(luò)控制器。

不同無線網(wǎng)絡(luò)中收集的數(shù)據(jù)是不一樣的，如下展示了由不同基礎(chǔ)設(shè)施收集的不同數(shù)據(jù)及及其類型。

表 6：移動大數(shù)據(jù)的分類。

后面表 7、圖 6 和表 8 展示了上述不同數(shù)據(jù)類型的應(yīng)用、部署與研究工作等。

表 7：網(wǎng)絡(luò)級移動數(shù)據(jù)分析工作總結(jié)。

圖 6：應(yīng)用級移動數(shù)據(jù)分析的兩種部署方法示意圖，即基于云（左）的方法和基于邊緣（右）的方法。基于云的方法在云端推斷并將結(jié)果發(fā)送給邊緣設(shè)備。相反，基于邊緣的方法則是在邊緣設(shè)備上部署可進行本地推理的模型。

表 8：應(yīng)用級移動數(shù)據(jù)分析工作的總結(jié)。

表 9：深度學(xué)習(xí)驅(qū)動的移動分析和室內(nèi)定位的研究工作總結(jié)。

表 10：深度學(xué)習(xí)驅(qū)動的 WSNs 研究工作總結(jié)。

無線網(wǎng)絡(luò)其實還能使用強化學(xué)習(xí)和模仿學(xué)習(xí)等先進的技術(shù)控制移動網(wǎng)絡(luò)：

圖 7：應(yīng)用于移動和無線網(wǎng)絡(luò)管控的三種管控方法的原理，即強化學(xué)習(xí)（上）、模仿學(xué)習(xí)（中）和分析管控（下）。

表 11：深度學(xué)習(xí)驅(qū)動的網(wǎng)絡(luò)管控研究工作總結(jié)。

表 12：深度學(xué)習(xí)驅(qū)動的網(wǎng)絡(luò)安全研究工作總結(jié)。

7. 把深度學(xué)習(xí)適用于移動網(wǎng)絡(luò)

盡管深度學(xué)習(xí)在諸多移動網(wǎng)絡(luò)領(lǐng)域表現(xiàn)不凡，但免費午餐定理（NFL）表明，一個模型不可能一勞永逸地解決所有問題 [356]。這意味著對于任何特定的移動和無線網(wǎng)絡(luò)問題，我們可能需要采用不同的深度學(xué)習(xí)架構(gòu)以取得更好表現(xiàn)。本節(jié)將重點討論如何從三個角度為移動網(wǎng)絡(luò)應(yīng)用定制深度學(xué)習(xí)，即移動設(shè)備和系統(tǒng)、分布式數(shù)據(jù)中心以及不斷變化的移動網(wǎng)絡(luò)環(huán)境。

表 13：深度學(xué)習(xí)驅(qū)動的新興移動網(wǎng)絡(luò)應(yīng)用總結(jié)。

表 14：移動設(shè)備和系統(tǒng)的深度學(xué)習(xí)研究工作總結(jié)。

圖 8：模型并行（左）和訓(xùn)練并行（右）的基本原理。

圖 9：深度終身學(xué)習(xí)（左）和深度遷移學(xué)習(xí)（右）的基本原理。終身學(xué)習(xí)保留已學(xué)的知識，而遷移學(xué)習(xí)利用源領(lǐng)域標記數(shù)據(jù)改善沒有知識保留的目標領(lǐng)域?qū)W習(xí)。

8. 未來研究展望

盡管深度學(xué)習(xí)在移動網(wǎng)絡(luò)領(lǐng)域取得的成果日益顯著，但仍有若干個關(guān)鍵的開放性研究問題存在，值得去關(guān)注。接下來，本文將討論這些挑戰(zhàn)并界定這些可通過深度學(xué)習(xí)解決的重要移動網(wǎng)絡(luò)問題，進而為未來的移動網(wǎng)絡(luò)研究提供見解。

圖 10：意大利米蘭 3D 移動流量表面（左）和 2D 投影（右）的實例。圖像 [163] 通過 [402] 中的數(shù)據(jù)繪制而成。

圖 11：移動流量數(shù)據(jù)（左）和其他數(shù)據(jù)（右）之間的類比。

9. 結(jié)論

深度學(xué)習(xí)在移動和無線網(wǎng)絡(luò)領(lǐng)域扮演著日益重要的角色。本文給出了一份有關(guān)這兩個不同領(lǐng)域之間交叉點的最新的全面工作調(diào)查，并總結(jié)了各種深度學(xué)習(xí)模型的基本概念和高級原理，然后通過回顧不同應(yīng)用場景下的工作來關(guān)聯(lián)深度學(xué)習(xí)和移動網(wǎng)絡(luò)學(xué)科。本文還討論了如何針對一般移動網(wǎng)絡(luò)應(yīng)用定制深度學(xué)習(xí)模型，這是以前調(diào)查完全忽視的一個方面。最后，本文得出了可能會帶來有價值的未來研究結(jié)果的若干個開放的研究問題和有希望的方向，并希望這篇文章能成為研究人員和從業(yè)人員將機器智能應(yīng)用于移動網(wǎng)絡(luò)環(huán)境中復(fù)雜問題的有趣而明確的指南。