導讀：為了推動基于工業(yè)互聯(lián)網(wǎng)的智慧工廠快速發(fā)展，邊緣智能技術相關研究與應用獲得廣泛關注。針對邊緣節(jié)點計算資源受限的難題，提出了基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系，并給出了邊緣智能協(xié)同計算任務分配與邊緣智能模型輕量化方法。邊緣智能協(xié)同計算技術解決了單一邊緣節(jié)點計算能力與智慧工廠應用海量計算資源需求間的矛盾，降低了邊緣智能技術的部署開銷，提高了工業(yè)互聯(lián)網(wǎng)部署的靈活性與可擴展性。

0 引言

工業(yè)互聯(lián)網(wǎng)已成為全球制造業(yè)發(fā)展的新趨勢，我國作為制造業(yè)大國，為了應對新一輪科技革命和產業(yè)變革，從戰(zhàn)略規(guī)劃與技術推動等多方面開展了相關行動。***總書記在制造強國戰(zhàn)略重要論述中要求，推動制造業(yè)高質量發(fā)展，堅定不移建設制造強國。在新基建的推動下，5G、人工智能、云計算等技術與傳統(tǒng)工業(yè)深度融合，為實現(xiàn)智能制造提供了技術支撐，將有力促進制造強國早日實現(xiàn)。

國際上，德國提出“工業(yè)4.0”、美國提出“先進制造業(yè)國家戰(zhàn)略計劃”、日本提出“科技工業(yè)聯(lián)盟”、英國提出“工業(yè)2050戰(zhàn)略”，也都是為了實現(xiàn)信息技術與制造技術深度融合的數(shù)字化、網(wǎng)絡化、智能化制造，實現(xiàn)智慧工廠［1］。

在智慧工廠建設中，工業(yè)互聯(lián)網(wǎng)賦能智能制造，工業(yè)互聯(lián)網(wǎng)作為關鍵技術手段，通過對工業(yè)要素的互聯(lián)互通、相關要素的深度協(xié)同，實現(xiàn)了設備管理精細化、生產過程一體化、企業(yè)管理標準化、分析應用數(shù)據(jù)化和決策支持科學化［2］。

邊緣智能是邊緣計算與人工智能相互結合的一種新興技術方案，其發(fā)展對邊緣計算和人工智能具有雙贏優(yōu)勢：一方面，邊緣數(shù)據(jù)可以借助智能算法釋放潛力，提供更高的可用性。隨著萬物互聯(lián)的發(fā)展，邊緣數(shù)據(jù)需要借鑒智能算法進行分析，實現(xiàn)智能化的功能。以深度學習為代表的智能算法能從邊緣數(shù)據(jù)中提取實時信息以提高決策的效率和準確性［3-4］。

另一方面，邊緣計算能為智能算法提供更多的數(shù)據(jù)和應用場景。傳統(tǒng)的人工智能和大數(shù)據(jù)應用都存放在云端服務器和大數(shù)據(jù)中心［3-4］，而邊緣智能技術在網(wǎng)絡邊緣部署具備通信與計算能力的邊緣設備（稱為邊緣節(jié)點），直接從物端設備獲取海量數(shù)據(jù)并實現(xiàn)智能計算，將有力推動人工智能應用的進一步普及與發(fā)展，特別是工業(yè)互聯(lián)網(wǎng)相關的應用［5］。

但邊緣智能技術發(fā)展面臨多方面困難，包括人工智能算法的資源需求與邊緣節(jié)點資源有限之間的矛盾、智能任務需求多樣與邊緣節(jié)點設備能力單一之間的矛盾等。邊緣智能協(xié)同計算系統(tǒng)由中心云服務器、邊緣節(jié)點、物端設備之間的協(xié)作組成，可以有效地解決上述矛盾。

基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系，解決了邊緣節(jié)點計算資源受限的難題，滿足了智能制造等工業(yè)應用場景對任務響應時延的要求。本文所提邊緣智能協(xié)同計算主要是考慮多個邊緣節(jié)點之間的協(xié)同，通過合理優(yōu)化任務分配策略，在工業(yè)互聯(lián)網(wǎng)網(wǎng)絡邊緣完成各種應用的智能計算，既可以減輕單一邊緣節(jié)點的計算壓力又可以滿足各類人工智能算法對算力的需求，在滿足工業(yè)互聯(lián)網(wǎng)智能計算應用需求的同時避免了云服務器到物端設備的計算任務的通信開銷。進一步地，為了降低邊緣節(jié)點部署的軟硬件開銷，本文提出了相應的邊緣智能模型輕量化方法，提升邊緣智能協(xié)同計算技術的可擴展性，有助于面向智慧工廠的工業(yè)互聯(lián)網(wǎng)絡的廣泛應用。

1 基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系

未來智慧工廠的應用需求，例如基于視覺檢測的故障缺陷自動檢測、集中遠程操控等，需要實現(xiàn)工業(yè)生產效率提升、工業(yè)投資有效提升、安全生產性能提升。在智慧工廠中，遠程操控類、無人搬運車及移動監(jiān)控類業(yè)務對于響應時延要求非常高，除了網(wǎng)絡傳輸時延之外，人工智能的計算時延、大數(shù)據(jù)分析的處理時延等也至關重要。因此，本文在工業(yè)互聯(lián)網(wǎng)體系中引入了邊緣智能協(xié)同概念，設計了相應的基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構。在如圖1所示基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構中，從邊緣設備到云端主要包括以下功能模塊。

圖1 基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構

（1）工藝建模與參數(shù)優(yōu)化模塊：通過邊緣設備和傳感器等采集工廠生產線、運營系統(tǒng)等數(shù)據(jù)，通過大數(shù)據(jù)分析與工藝建模，得到最優(yōu)的工藝參數(shù)配置，并結合人工智能算法獲得工藝參數(shù)調優(yōu)方法，實現(xiàn)工業(yè)生產效率的提升。

（2）邊緣智能協(xié)同與算法實現(xiàn)模塊：針對智慧工廠基于人工智能的垂直應用高計算容量需求與實際生產環(huán)境下邊緣設備計算能力有限的典型矛盾，利用邊緣智能協(xié)同計算技術實現(xiàn)邊緣設備高效實時信息采集與處理。典型應用包括有色金屬加工行業(yè)中的銅箔質量實時監(jiān)測與生產設備故障預檢等。

（3）無線空口安全防護模塊：針對工業(yè)互聯(lián)網(wǎng)應用中無線傳播特性下存在的空口安全隱患，提供無線空口安全防護能力，例如檢測違法終端與基站、防御多種安全攻擊等，以確保廠區(qū)無線通信環(huán)境安全可控，提升安全生產性能。

（4）云邊協(xié)同智能管控平臺：針對上述功能模塊，形成云邊端一體化系統(tǒng)與管控平臺，支持大數(shù)據(jù)存儲分析、人工智能建模與算法實現(xiàn)、可視化界面管理。本文給出的基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構設計方案充分利用了邊緣智能協(xié)同計算能力，滿足智慧工廠各類應用的性能要求，提供確定性業(yè)務保證的能力。

2 邊緣智能的協(xié)同計算任務分配

通過進一步利用邊緣節(jié)點強大的可計算的擴展能力，可以在邊緣環(huán)境架構下實現(xiàn)對深度學習的神經(jīng)網(wǎng)絡模型的并行訓練，以達到時延更小的目的，更好地將云服務器計算量卸載到邊緣。分布式模型的并行訓練包括不同任務網(wǎng)絡模型間的并行訓練、同一任務網(wǎng)絡模型內部的并行訓練兩個方面。

2.1 不同任務網(wǎng)絡模型間的并行訓練在實際場景中通常存在多種任務需要同時進行處理，包括質量檢測、視頻監(jiān)控、危險預警等任務。受益于邊緣節(jié)點的多任務計算能力，可以在邊緣節(jié)點中部署多種任務的子模型，以達到在某一邊緣節(jié)點進行不同的數(shù)據(jù)分析處理任務的目的。

邊緣節(jié)點可以將從傳感器設備接收到的數(shù)據(jù)執(zhí)行分配到的任務，通過將自身的子任務模型得到的結果傳輸至云服務器，并且同時對自身的子任務網(wǎng)絡模型進行訓練，而后將多個子任務網(wǎng)絡模型訓練得到的權重分別傳輸至云服務器進行模型同步。云服務器一般具有任務分配、資源分配、數(shù)據(jù)管理以及數(shù)據(jù)可視化功能。云服務器可以根據(jù)邊緣節(jié)點的算力不同以及任務的優(yōu)先級不同給邊緣節(jié)點分配不同的子任務與資源，并且根據(jù)各個邊緣節(jié)點更新得到的任務網(wǎng)絡模型的權重對模型進行同步，而后分析匯總各個邊緣節(jié)點的子任務執(zhí)行結果，對相應數(shù)據(jù)結果進行可視化展示。為了進一步降低時延，每隔一定周期根據(jù)任務復雜度與邊緣節(jié)點的計算能力之間的關系分配任務，以達到減少信號處理任務完成時間的目的。

2.2 同一任務網(wǎng)絡模型內部的并行訓練對于質量檢測、視頻監(jiān)控等涉及圖像處理的任務，可以在不同邊緣節(jié)點之間實現(xiàn)同一任務網(wǎng)絡模型內部的并行訓練，包括卷積層與全連接層的訓練并行化。

（1）卷積層的訓練并行化：假設輸入卷積層的圖像或者視頻幀數(shù)據(jù)矩陣為X，卷積核矩陣為F，將X與F進行卷積相乘后得到特征矩陣A。根據(jù)卷積層的特性，多個卷積區(qū)域間互不產生影響，因此可以將X拆分為多個卷積區(qū)域進行并行卷積，從而達到進一步降低時延的目的。將每個卷積區(qū)域分別與濾波器參數(shù)矩陣卷積，可以組成特征矩陣A，其中的每個元素都是基于X和F中對應的卷積區(qū)域計算的。不同的任務可以同時訪問X中不同的卷積區(qū)域而不需要更新它們的值，這些任務之間不存在數(shù)據(jù)依賴性。

（2）全連接層的訓練并行化：全連接層部署著多個神經(jīng)元，每層的神經(jīng)元均與前一層的神經(jīng)元全部相連。設在第i層的Li一共有ni個神經(jīng)元，每個神經(jīng)元與前一層的ni-1個神經(jīng)元全部相連，但是此層的神經(jīng)元均相互獨立，因此每層的每個獨立的神經(jīng)元可以進行并行計算。

2.3 權重更新與模型同步對于每一個邊緣節(jié)點，需要根據(jù)傳感器接收到的數(shù)據(jù)進行實時的子任務模型訓練與更新，而由于邊緣節(jié)點的算力不同、存儲資源不同可能導致多個邊緣節(jié)點的工作負載、傳輸能力不在同一等級上，因此需要云服務器對邊緣節(jié)點的子任務模型進行同步。權重更新與模型同步的步驟如下。

（1）協(xié)同初始化：云服務器在給各個邊緣節(jié)點分配子任務時，由云服務器同時給每個子任務網(wǎng)絡模型賦予相同的全局權重系數(shù)W0，其可以由云服務器提前對一些輸入數(shù)據(jù)進行訓練得到。

（2）邊緣節(jié)點本地權重的更新：邊緣節(jié)點通過分配到的子任務網(wǎng)絡模型的初始全局權重W0對輸入數(shù)據(jù)進行分析，并將這些數(shù)據(jù)傳輸至云服務器進行數(shù)據(jù)可視化展示。同時，邊緣節(jié)點m根據(jù)輸入數(shù)據(jù)對本地權重系數(shù) W0m進行更新，更新為W1m，待到迭代一定次數(shù)后，將其傳輸至云服務器。

（3）云服務器全局權重的更新：云服務器接收到一定迭代次數(shù)后全部邊緣節(jié)點的本地權重系數(shù)W1m之后，根據(jù)W1m通過對原來全局權重系數(shù)進行分析調整后，即可得到新的全局權重W1，其更新的公式為：

其中，Qm為每個邊緣節(jié)點的本地權重在全局權重更新過程中的系數(shù)，而后再將該系數(shù)廣播到所有的邊緣節(jié)點上完成模型同步。最后，重復步驟（2）、（3）即可不斷地更新邊緣節(jié)點之間的模型直至達到完全收斂。

3 邊緣智能計算模型輕量化

在智慧工廠應用中，大部分面向機器視覺的智能計算任務一般使用深度卷積神經(jīng)網(wǎng)絡進行計算，其巨大的參數(shù)量和通道量使習得的神經(jīng)網(wǎng)絡模型在應用中需要消耗大量的存儲和計算資源，這對模型在移動端和嵌入式設備上落地帶來困難。因此，為了適應終端有限的內存和計算條件，有必要在模型正式部署前對神經(jīng)網(wǎng)絡進行優(yōu)化。本文采用基于知識蒸餾的邊緣智能計算模型輕量化方法。知識蒸餾是一種通用的神經(jīng)網(wǎng)絡輕量化方法，通過對教師模型所習得的知識進行學習，以獲得網(wǎng)絡更加緊湊的學生模型，并且能夠在節(jié)省內存占用的同時很好地保留原始網(wǎng)絡的性能。

基于知識蒸餾的神經(jīng)網(wǎng)絡輕量化訓練流程如圖 2（a）所示。可采用多任務的學習方法，將訓練好的教師模型的輸出結果sT以及數(shù)據(jù)的真實標簽y作為學生模型的目標來訓練學生模型，以使學生網(wǎng)絡的輸出結果接近目標值。訓練完的學生模型還可直接應用到實際部署的具備邊緣智能能力的設備中，具體參見圖2（b）。

圖2 基于知識蒸餾的神經(jīng)網(wǎng)絡輕量化訓練流程

具體來說，可以把模型看成一個黑盒子，把知識定義為輸入到輸出的映射關系。采用網(wǎng)絡的Softmax輸出結果作為學習任務的目標進行訓練，公式為：

其中，xi表示輸入x的第i個元素，Softmax表征了網(wǎng)絡對輸出結果的預測概率，并利用T因子縮小不同結果的概率差距，以使訓練目標能夠提供更多的類別間和類內信息。同時，因為訓練時使用了有標簽的數(shù)據(jù)，將標簽y與學生模型的Softmax分布的交叉熵加入到損失函數(shù)中，加入更多的監(jiān)督信號，可以改善學生模型的表現(xiàn)。

4 結束語

本文提出了基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系，研究了邊緣智能協(xié)同計算任務分配與邊緣智能模型輕量化方法。邊緣智能協(xié)同計算技術實現(xiàn)了在工業(yè)互聯(lián)網(wǎng)網(wǎng)絡邊緣完成各種應用的智能計算，解決了邊緣節(jié)點計算資源受限的難題，滿足了智能制造等工業(yè)應用場景中對任務響應時延的要求，有助于面向智慧工廠的工業(yè)互聯(lián)網(wǎng)絡的廣泛部署與應用。

參考文獻

［1］ 宋慧欣。 和利時： 深拓FA， 布局智能工廠［J］。 自動化博覽， 2016（8）：20-22.［2］ 郭義偉。 2023年實現(xiàn)集團全覆蓋［N］。 中國煤炭報， 2019-07-09（008）。［3］ 施巍松， 張星洲， 王一帆， 等。 邊緣計算： 現(xiàn)狀與展望［J］。 計算機研究與發(fā)展， 2019，56（1）：69-89.［4］ 張星洲， 魯思迪， 施巍松。 邊緣智能中的協(xié)同計算技術研究［J］。 人工智能， 2019（5）：55-67.［5］ 李肯立， 劉楚波。 邊緣智能： 現(xiàn)狀和展望［J］。 大數(shù)據(jù)， 2019，5（3）：69-75.
編輯：lyn